新警察故事

火车头使用Post方法采集Ajax页面教程_我的网站

一 |     11月24日，我市召开应对极端天气工作部署会议，深入学习贯彻习近平总书记关于防灾减灾救灾重要论述，传达省委部署要求，安排部署重点工作任务。    

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。市委书记高键出席会议并讲话，市委副书记、市长王庆海主持会议并作出安排部署。         　　高键强调，此次雨雪寒潮天气持续时间长、影响范围广，形势严峻复杂。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。各级各部门要把思想和行动统一到省委、省政府部署要求上来，进一步强化风险意识，树牢底线思维，迅速进入应急响应状态，全力以赴做好各项应对工作。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。

二 | CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。    

    因为习惯原因，我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。要针对雨雪天气特点，层层压实工作责任，全面开展风险隐患排查，落实落细各项安全措施，严密防范自然灾害引发各类生产安全事故，确保人民群众生命财产安全、社会大局平安稳定。结果就发现无法看到列表内容。要以雪为令、迅速行动，科学安排调配机械、人员，各级领导干部要深入一线、靠前指挥，把广大机关干部、志愿者、企业商户以及社会力量广泛动员起来，落实好“门前三包”等措施，提高冰雪清运效率。

三 | 浏览器可以看到一个通过post请求的地址。要加强值班值守，严格落实24小时值班和领导带班制度，信息及时共享、应急同步联动，做到第一时间响应、第一时间处置，最大限度减少影响和损失。要始终把群众冷暖挂在心上，全力做好供暖、供水、供电等民生保障工作，加大特殊困难群体救助帮扶力度，让群众安全过冬、温暖过冬。

四 |          　　王庆海强调，相关部门要密切跟踪雨雪降温全过程，做好动态监测研判，及时发布天气预报、出行提示信息和民生保障部门服务热线，引导市民合理安排出行，提升安全防范意识，全力保障交通安全顺畅。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。要加强除运雪物资储备调运、落实人员防护和后勤保障工作，细化任务、优化流程，分区划片、责任到人，切实做到以雪为令、边下边清、雪停路净。    通过笨方法，手动访问页面看看Ajax加载大概是哪些。最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。要加强人文关怀，保证环卫工人、社会化除雪力量、社区工作人员雨雪天气出行、作业安全，安排好轮岗轮休，关心关爱一线除雪人员。

五 |     2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。

六 | 要加强重点路段巡查，对城区违规停放车辆进行全面清理，在重点区域开放临时停车场地，严防道路交通拥堵和事故发生，保障清雪作业顺畅。要随时根据气温变化，全力做好除雪、供暖、保供等生活要素保障工作，应急抢险队伍24小时待命，及时处置突发事件，严防次生灾害发生，全力保障人民群众正常生产生活。

七 |          　　市委常委、副市长杨洪波，市政府副市长，市直有关单位主要负责同志等在主会场出席会议。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。会议以视频形式召开，各县区设分会场，各县区党政领导在分会场参加会议。                   责任编辑：刘春阳。重新访问一下采集页面，Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址        Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。        在Fiddler右侧会显示这个请求地址的相关详细信息。        信息顶部可以看到是post请求方法。    可以看到有我们请求的页码相关内容。        访问不同页码的页面，经过研究发现规律。        currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。

八 |     这就找到了规律，我们打开火车头采集器。

九 |     火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。        点“分页设置”，http请求方式“post”。

十 |     

    把我们Fiddler抓包获取的内容填进去。        将currentPageIndex值的内容替换成火车头采集器的“分页”标签。        下面填入页码。

十一 |     页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。

十二 | 所以这里面我们填2199到6139.    

    网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。        可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。        我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。

十三 |     

    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。        注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。

十四 | 拉黑了我一个服务器IP，此教程写完用了两台服务器。    我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

        

    

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

十五 |

Current article:http://qy7o5.fanfutaopoulaxiong.pics/79bte/bvq.html

Published on:14:32:42