批量网址中的区间变化 的原理介绍[db:副标题]

  区间变化的变化原理为:地址中的两个参数以固定的间隔进行增长,并且相邻两组值的结束值与起始值间隔为1,以这种形式变化增长的地址格式可以使用区间变化来处理。

比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&pageNum=1,网址为例,我们使用fiddler抓包网址变化如下:

第一页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=16&perpage=16

第二页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=17&endrecord=32&perpage=16

第三页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=33&endrecord=48&perpage=16

。。。

如下图,我们可以清晰的看到列表网址中,每一页的起始值跟结束值都相差15,且相邻的页数,上一页的结束值与下一页的起始值相差为1,符合区间变化的规律。

图片[1]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站

所以就可以按照下图设置,变化的字段选用地址参数,起始值用[地址参数],结束值用[地址参数1],区间步长使用起始值与结束值的间隔数。

图片[2]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站

然后fiddler抓取的post值填写到采集器中,使用自动获取链接,即可抓取列表页数据

图片[3]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站

图片[4]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站

注意:区间变化不可与批量网址中的其他方式混用,且必须有两个地址参数

整理不易,请坚持看完,并去执行

你的坚持,是我们坚持更新下去的动力

学习更多项目知识,请关注公众号:品小先Ai

觉得文章有用的话,点个好看,转发朋友圈,多谢!

感谢你的支持:s.mm.yn.cn(品小先-项目发源地)

批量网址中的区间变化 的原理介绍-创业网站
[db:商品信息]
[db:商品简介]
0
立即赞助
您当前未登录!建议登陆后购买,可保存购买订单
[db:更多详情]
赞助内容
© 版权声明
THE END
喜欢就支持一下吧

你的坚持,是我们坚持更新下去的动力

学习更多项目知识,请关注公众号:品小先Ai

觉得文章有用的话,点个好看,转发朋友圈,多谢!

点赞68 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容