最新公告
  • 欢迎您光临AFF资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 火车头POST网址获取

    何为post网址?就一般用了ajax或.NET中的一些技术当你请求新内容时,页面只进行局部刷新,地址栏中的URL不变。

    我们处理此类采集时的思路就是用抓包工具,截取请求时提交的内容找出共同特点,
    用火车中的“分页”变量进行替换并给定值范围,这样火车在采集时会自动提交请求内容得到新的内容列表进行采集。

    我们着重讲解怎么样抓包,抓哪的包及如何处理抓包得到的数据。

    内容的采集普通页面一样,在此就不多说了。

    抓包工具:fiddler

    下载地址:http://www.telerik.com/download/fiddler

    方法/步骤

    (1)下载安装抓包工具fiddler
    (2)我们用浏览器打开要抓取的页面,例如 http://www.ditan360.com/News/List.aspx?ColumnPageID=15 当你进行翻页时就会发现此页是用post提交翻页请求的,网址不变化。

    (3)打开fiddler工具

    火车头POST网址获取插图

    如图,点击开启抓包模式,在点击左边列表,CTRL+X清空数据流。

    (4)此时,我们操作浏览器 点击下一页,用fiddler抓包,找POST类型的网址,点击View in Notepad 以文本的形式展现。重复这一步骤,点击左边列表,CTRL+X清空数据流。操作浏览器 再点击下一页,用fiddler抓包,找POST类型的网址,点击View in Notepad 以文本的形式展现。

    火车头POST网址获取插图(1)

    (5)接下来我们来分析2次点击下一页,所得出的数据包的区别

    先起始地址,cookie,user-agent 对应设置

    火车头POST网址获取插图(2)

    分析发现,我们数据包的格式为:

    字段名1=字段值1&字段名2=字段值2&字段名3=字段值3……

    中间是&符号连接的。
    所以我们可以通过查找&符号,分析下2次数据包里字段值不同的地方。
    对比发现 VIEWSTATE 和EVENTVALIDATION 的值每次都是变化的,且无规律的所以在这里我们给定义成随机值,分别为 [POST随机值1] ,[POST随机值2] 。
    PageList1%24ListPage1%24ctl06 字段值每次是根据当前页数字变化的,我们用 [分页] 表示

    如图,这就是我们整理好的POST数据包,放入软件即可:

    火车头POST网址获取插图(3)

    (6)定义随机值范围

    在浏览器网页,右击,查看源代码,搜索 __VIEWSTATE 和 __EVENTVALIDATION 的值的截取前位置

    火车头POST网址获取插图(4)

    由此我们可以确定,开始字符串为 id="__VIEWSTATE" value=" , 结束字符串为 " /> 其他的随机值定义原理类似

    设置效果

    火车头POST网址获取插图(5)

    这样一个完整的POST采集就设置好了。

    1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!80867108@qq.com 2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理! 3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负! 4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!
    AFF资源网 » 火车头POST网址获取

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    不会搭建怎么办?
    可以联系客服,有偿服务
    • 63会员总数(位)
    • 3423资源总数(个)
    • 32本周发布(个)
    • 1 今日发布(个)
    • 203稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情