基本信息
源码名称:php实现采集器 示例源码
源码大小:3.42KB
文件格式:.zip
开发语言:PHP
更新时间:2018-08-04
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 2 元×
微信扫码支付:2 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
由于只会web开发,没有C以及其他语言编写的能力,于是用php写了采集器
<?php header("content-type:text/html;charset=utf-8"); date_default_timezone_set('PRC'); //设置中国时区 $strk='于 '.date("Y-m-d H:i:s").' 启动'."计划信息收集系统"; echo "\n"; echo iconv('utf-8','gbk//IGNORE',$strk); echo "\n"; $cookie = tempnam(dirname(__FILE__).'/tmp','cookie'); //设置cookie保存的路径 require_once 'function.php'; require_once 'planconfig.php'; $time=time(); $times=time(); $logget=array(); //执行配置 while(true){ if(time()-$time>=5){ echo "\n\n"; $pcount=count($plan_config); foreach($plan_config as $k=>$v){ $data=post_data($v['url'],$v['post']); //采集指定页面数据 if(!empty($data)){ $getadd=$v['function']($data);//调用匹配函数 //print_r($getadd); $post=array( 'uid'=>$v['uid'], 'qs'=>$getadd['qs'], 'qslength'=>$v['qslength'], 'tnub'=>$getadd['tnub'], 'key'=>$v['key'], 'dwd'=>$v['dwd'] ); if(empty($logget[$k])){ $logget[$k]=0; } $n=0; // print_r($getadd); if($logget[$k]!=$getadd['qs']){ $get_type=post_content($v['addapi'], $cookie, $post);//把数据发送到提交api // print_r($getadd); if($get_type==1){ $logget[$k]=$getadd['qs']; $n=1; } }else{ $ec="数据已经存在。。。。。。。"; } $ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求成功。。。{$n}"; }else{ $ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求失败。。。"; } echo date("Y-m-d H:i:s"); echo iconv('utf-8','gbk//IGNORE',$ec); echo "\n\n"; } $tsstr="。。。。。。。。。。。5秒后再次执行。。。"; echo iconv('utf-8','gbk//IGNORE',$tsstr); $time=time(); }else{ if(time()-$times>=1){ echo iconv('utf-8','gbk//IGNORE',"。。。。"); } $times=time(); } } // for($i=0;$i<5;$i ){ //sleep(1); // } //@unlik($cookie); //删除cookie文件 // $content=json_decode($content,true); //file_put_contents('save.txt', $content); //保存抓取的页面内容