绝代双骄

火车头使用Post方法采集Ajax页面教程_我的网站

A |     Sophie 编译 本周末，来自28个国家的500多名佛教僧侣和代表将齐聚奥克兰，参加全球佛教峰会，探讨古老仪式与环保主义之间的冲突问题。

B |          世界佛教僧伽会（WBSC）第十一届大会将集中讨论如何在佛教信仰中应对环境恢复和气候挑战。         Advertise with us          WBSC是一个国际非政府组织，成立于1966年，成员遍布亚洲、大洋洲、英国和美国，旨在促进世界各地不同传统的佛教宗教和寺院社区的交流。         在奥克兰举行的会议将是该组织迄今为止规模最大的全球会议，也是第一次在亚洲以外的地方举行。         讨论的议题之一将是古老的“放生”仪式——将活着的生物放归自然——是否应该被禁止。         WBSC秘书长释慧雄（Shi Hui Siong）法师表示，放生动物的做法可以追溯到佛陀称赞一位僧人放生困在陷阱的动物，以及他对所有生灵表达慈悲的教诲。    

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。         但是，今天许多人——包括新西兰人——可能会造成更多伤害而不是帮助。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。         据报道，在奥克兰，佛教徒曾将乌龟放生到Western Springs，将非本地鱼类放生到沿海水域。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。         “最初的做法是把被困的动物放回它们本来的自然环境中，而不是说把它们放生到会对生态系统造成破坏的地方。”          “我们需要强调的是，这不是佛教所倡导的。    

    因为习惯原因，我直接看了下尾页列表页。”          慧雄法师来自新加坡，他表示，WBSC支持新加坡政府取缔在当地进行的放生被困动物的宗教做法。然后顺手CTRL+U看看网站代码结构有没有大的变化。         他将在这次为期两天的活动中向聚集在这里的僧侣和代表们发表演讲。

C |          以“回归自然，和谐共生”为主题的峰会将于周日在Bombay Hills的观音山道场（Quan Am Buddhist Monastery）开幕，然后周一在Pakuranga Heights的法聚寺（Oneness Buddhist Temple）继续举行。防止后期采集出错。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。         慧雄法师说，此次大会将寻求在面对全球挑战时找到集体解决方案，并将向公众开放。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。         “这是一个机会，让我们探索共同的责任，应对紧迫的全球挑战，并寻求促进人类与环境之间共生关系的方法。

D |     通过笨方法，手动访问页面看看Ajax加载大概是哪些。”          他表示，人文主义佛教鼓励环保活动，这次会议将为佛教徒和非佛教徒合作应对环境挑战提供一个平台。

E | 最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。         奥克兰法聚寺的Yi Shuen师太说，这个会议召开得很及时。

F |     2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。         “在全球冲突不断升级和气候变化持续影响的背景下，这次大会极具意义。最后只能使用抓包工具看一下详细的请求内容了。

G | ”          注：本文为编译/原创，欢迎转发分享；但严禁复制等未经授权的非法使用。违反上述声明者，本网将追究其相关法律责任。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。

H | 重新访问一下采集页面，Fiddler会抓到很多请求地址。使用授权请联系[email protected]。         chineseherald.co.nz All Rights Reserved 版权所有          (责编：Sophie)          相关内容                总理坚称“有权”领5.2万纽币住宿津贴，工党党魁抨击他“极其虚伪”           新西兰正式宣布“禁枪令修正法案”：全面打击黑帮犯罪           曝光！新西兰议员和部长的开支，都花了多少钱？           工党攻击警察部长是“雇佣兵”杀过人，部长回应           冲上热搜！总理被曝领5.2万纽币住宿津贴住自己的房子           新西兰将哈马斯的政治机构指定为恐怖主义实体           “疯狂三月”来袭，AT考虑实施每周票价上限，不超过……           不舍Newshub关闭，AM Show知名主持人泪洒直播间。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    

    Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。        在Fiddler右侧会显示这个请求地址的相关详细信息。        信息顶部可以看到是post请求方法。    可以看到有我们请求的页码相关内容。        访问不同页码的页面，经过研究发现规律。        currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。    这就找到了规律，我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址        点“高级模式”。        点“分页设置”，http请求方式“post”。        把我们Fiddler抓包获取的内容填进去。

I |     

    将currentPageIndex值的内容替换成火车头采集器的“分页”标签。        下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.        网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。

J |     

    可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。        我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。        可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。        注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。

K | 拉黑了我一个服务器IP，此教程写完用了两台服务器。

L |     我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

        

    

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

Current article:http://5ceza.pochehaihuandangfenzei.shop/wiye/wx8.html

Published on:00:00:00