怎么利用PHP抓取百度阅读
发布时间：2022-07-04 09:41:18 所属栏目：PHP教程 来源：互联网
导读：抓取方法如下:首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。 于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的是XHR和script两个分类下。 经过排查，发现在
|
抓取方法如下:首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。 于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的是XHR和script两个分类下。 经过排查，发现在script分类下有个jsonp请求比较像是小说内容，请求的地址是 http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7 返回的是一个jsonp字符串，然后我发现，如果把地址里面的callback=wenku7去掉，返回的就是一个json字符串，这样解析起来就方便不少，可以直接在php里面转换成数组。 再来分析一下返回数据的结构，返回的json字符串之后是一个树状的结构，每个节点都有一个t属性和c属性，t属性用来指明这个节点的标签，比如h2 div等等，c属性就是内容了，但也有两种可能，一个是字符串，另一个是数组，数组的每个元素都是一个节点。 这种结构最好解析了，用一个递归就搞定,最终代码如下： <?php classBaiduYuedu { protected$bookId; protected$bookToken; protected$cookie; protected$result; publicfunction__construct($bookId,$bookToken,$cookie){ $this->bookId =$bookId; $this->bookToken =$bookToken; $this->cookie =$cookie; } publicstaticfunctionparseNode($node){ $str='' if(is_string($node['c'])){ $str.=$node['c']; }elseif(is_array($node['c'])){ foreach($node['c']as$d){ $str.= self::parseNode($d); } } switch($node['t']){ case'h2': $str.="nn"; break; case'br': case'div': case'p': $str.="n"; break; case'img': case'span': break; case'obj': $tmp='('. self::parseNode($node['data'][0]) .')' $str.=str_replace("n",'',$tmp); break; default: trigger_error('Unkown type:'.$node['t'], E_USER_WARNING); break; } return$str; } publicfunctionget($page= 1){ echo"getting page {$page}...n"; $ch= curl_init(); $url= sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page); curl_setopt_array($ch,array( CURLOPT_URL =>$url, CURLOPT_RETURNTRANSFER => 1, CURLOPT_HEADER => 0, CURLOPT_HTTPHEADER =>array('Cookie: '.$this->cookie) )); $ret= json_decode(curl_exec($ch), true); curl_close($ch); $str='' if(!emptyempty($ret)){ $str.= self::parseNode($ret); $str.=$this->get($page+ 1); } return$str; } publicfunctionstart(){ $this->result =$this->get(); } publicfunctiongetResult(){ return$this->result; } publicfunctionsaveTo($path){ if(emptyempty($this->result)){ trigger_error('Result is empty', E_USER_ERROR); return; } file_put_contents($path,$this->result); echo"save to {$path}n"; } } //phpfensi.com //使用示例 $yuedu=newBaiduYuedu(�a3769eae009581becba',Ǝed1dedb240b11bf0731336eff95093f','你的百度域cookie'); $yuedu->start(); $yuedu->saveTo('result.txt'); 这个类前两个参数可以从小说的介绍页面获得，第一个参数bookId就是url里ebook后面跟着的字符串，第二个参数bookToken在页面源代码搜索bdjsonUrl，m参数后面的那个字符串就是。 注：如果不传入百度cookie或者百度cookie无效，则只能抓取免费阅读部分，要抓完整的内容必须保证cookie可以正常使用。 总结：以上就是这篇文章的全部内容了，希望本文的内容对大家学习或者使用PHP能有一定的帮助，如果有疑问大家可以留言交流。 （编辑：四平站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |