10分钟写的一个采集马蜂窝游记的小程序

随着物质的改善，旅游业逐渐成为人们*的焦点。炎热的国庆节刚刚过去。利用这种余热，我想很多人都想知道你通常去哪里玩，所以我花了10分钟写了一个小程序来收集黄蜂巢游记。当然，速度可以如此之快，这完全取决于著名的PHP爬虫框架phpspider。在国际惯例中，让我们看看如何编写代码。它被认为是抛砖引玉。^_^黄蜂巢不同于传统网站。由于并发量高，一些数据需要实时，如观众数量和拇指数量，Ajax在许多地方使用，Ajax对普通收藏家来说是一个大问题。观察了黄蜂巢网站，最终确定了收集路线：获得热门城市->在城市下获取游记列表->获取游记内容->提取游记标题、城市、出发时间等。，然后我们用三个步骤来实现它。。。1、首先，我们应该收集这些受欢迎的城市。当我们点击页数时，我们发现他的数据是由Ajax加载的，最后一页是297，POST方法提交的参数如下：显然，这个page是页数。这里有一个问题。phpspider框架有URL重机制，POST只有一个URL，但query_string不影响POST数据。我们可以在后面添加page=1 |2|3.所以我们的代码可以这样写:设置列表页面规则:123‘list_url_regexes’=>array(“http://www.mafengwo.cn/mdd/base/list/pagedata_citylistpage=d ”,)入口回调函数入口所有城市名单12345678911214$spider->on_scan_page=function($page,$content,$phpspider)上面Ajax分页的末页是297页for($i=0;$i$url,‘method’=>‘post’,‘fields’=>array(‘mddid’=>21536,‘page’=>$i,));////热点城市列表页URL入队列$phpspider->add_url($url,$options);}};2、点击进入热门城市下的游记列表后，我们可以看到他下面的游记列表和上面一样，也是Ajax加载的。我们可以打开chrome的开发者工具，点击Network，然后点击分页获取Ajax的URL：POST和城市列表一样，参数如下：显然page是页数，当然，我们可以通过POST直接访问ajax地址：http://www.mafengwo.cn/gonglve/ajax.phpact=get_t..直接报错，他需要来路，综合以上，我们的代码可以这样写：首先，我们应该在on_start回调函数中添加来路URL1234$spider->on_start=function($phpspider){$phpspider->add_header(‘Referer’,’http://www.mafengwo.cn/mdd/citylist/21536.html’);};和上面获得的城市列表一样，设置列表匹配规则：123list_url_regexes’=>array(“http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid=d )，然后在on_，list_page回调判断，如果是第一页，就会获得总页数。然后循环进入队列，12345678101112111517181920212preg_match(‘#共(.*)页#’,$data_page,$out);for($i=0;$i<$out[1];$i ){$v=$page[‘request’][‘fields’][‘mddid’];$url=“http://www.mafengwo.cn/gonglve/ajax.phpact=get_travellist&mddid={$v}&page={$i}”;$options=array(‘url_type’=>$url,‘method’=>‘post’,‘fields’=>array(‘mddid’=>$v,‘pageid’=>’mdd_index’,‘sort’=>1,‘cost’=>0,‘days’=>0,‘month’=>0,‘tagid’=>0,‘page’=>$i,));/////游记列表页URL进入队列$phpspider->add_url($url,$options);}通过以上两个步骤，我们将所有热门城市下的游记列表放在队列中。接下来，我们将进行第三步，从这些列表中获取内容页面URL，然后提取内容。3、在on__获取热门城市下的游记列表list_page方法将获得列表页面的内容。从这些内容中，我们可以提取URL1234567891011///内容页面preg_match_all(###，$html,$out);if(!empty($out[1])){foreach($out[1]as$v){$url=“http://www.mafengwo.cn/i/{$v}.html”;////内容页URL进入队列$phpspider->add_url($url);}}接下来，我们将配置field提取内容页面字段123456781121131617192fields’=>array(///标题array(name’=>“name”,‘selector’=>“//h1[contains(@class,’headtext"""""""""""""required’=>true,),//分类array(name’=>“city”,‘selector’=>“//div[contains(@class,’relation_mdd’)]//a”,‘required’=>true,),///出发时间aray(name’=>“date”,‘selector’=>“//li[contains(@class,’time"""""""""""""required’=>true,),)设计数据表：当然，我们也可以获得浏览量、收集、共享、顶部、游戏金额等，太多，方法相似。这个程序已经设计好了，总共不到200行代码。由于phpspider具有多进程采集功能，数据很快收集完成，总共超过7W。这个程序已经设计好了，总共不到200行代码。由于phpspider具有多进程采集功能，数据很快收集完成，总共超过7W。我们得到这些数据后能做什么？！从Top10旅游城市可以看出，云南是博主日夜思念的好地方。。。从五一节和国庆节期间旅游城市的比例可以看出，人们喜欢在五一节去西藏，但国庆节更喜欢青岛。嗯，这两个地方的博主都没去过，说他们受伤了~_~！接下来，让我们来看看今年北京和杭州的旅游旺季。我们可以看到，7月和8月会有更多的人去北京。此时，北京是最酷的。它既不热也不冷。博主曾在一年八月去过北京。他很舒服。让我们来看看杭州。我们可以看到，3月底到4月中旬是杭州的合适季节。当时，春天盛开，天气也很好。我听说太子湾公园每年都有樱花和郁金花展，非常漂亮，艾玛旅游病又犯了~_~！嗯，这篇文章到此结束。事实上，我想分析更多，比如收集热门路线、热门景点、热门图集和旅游路线的价格。最后，形成一个旅游应用程序。如果你有好主意，你也可以告诉我，我会收集他供你参考。最后，对源代码感兴趣的学生可以在github上搜索phpspider^

以上就是关于10分钟写的一个采集马蜂窝游记的小程序的相关介绍，更多10分钟写的一个采集马蜂窝游记的小程序相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对10分钟写的一个采集马蜂窝游记的小程序有更深的了解和认识。