区间变化的变化原理为:地址中的两个参数以固定的间隔进行增长,并且相邻两组值的结束值与起始值间隔为1,以这种形式变化增长的地址格式可以使用区间变化来处理。
比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&pageNum=1,网址为例,我们使用fiddler抓包网址变化如下:
第一页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=16&perpage=16
第二页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=17&endrecord=32&perpage=16
第三页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=33&endrecord=48&perpage=16
。。。
如下图,我们可以清晰的看到列表网址中,每一页的起始值跟结束值都相差15,且相邻的页数,上一页的结束值与下一页的起始值相差为1,符合区间变化的规律。
![图片[1]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站](/Data/Attachment/day_210630/202106301538458406.png)
所以就可以按照下图设置,变化的字段选用地址参数,起始值用[地址参数],结束值用[地址参数1],区间步长使用起始值与结束值的间隔数。
![图片[2]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站](/Data/Attachment/day_210630/202106301542177317.png)
然后fiddler抓取的post值填写到采集器中,使用自动获取链接,即可抓取列表页数据
![图片[3]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站](/Data/Attachment/day_210630/202106301546214336.png)
![图片[4]-批量网址中的区间变化 的原理介绍[db:副标题]-创业网站](/Data/Attachment/day_210630/202106301546544387.png)
注意:区间变化不可与批量网址中的其他方式混用,且必须有两个地址参数
整理不易,请坚持看完,并去执行
你的坚持,是我们坚持更新下去的动力
学习更多项目知识,请关注公众号:品小先Ai
觉得文章有用的话,点个好看,转发朋友圈,多谢!

![火车采集器V9-获取内容页网址[db:副标题]-创业网站](/Data/Attachment/day_201125/202011251013567704.png)
![V9-起始网址数据库导入功能[db:副标题]-创业网站](/Data/Attachment/day_200325/202003251344386437.png)
![winSock重置方法[db:副标题]-创业网站](http://faq.locoy.com/Data/Attachment/day_201109/202011090946485906.png)
![V9-任意格式文件下载功能[db:副标题]-创业网站](/Data/Attachment/day_200728/202007280843544651.png)
![软件启动报错:由于未经处理的异常,进程终止,System.Security.Cryptography.MD5Cng[db:副标题]-创业网站](/Data/Attachment/day_230420/202304201116549236.png)
![内容日期过滤功能使用介绍[db:副标题]-创业网站](/Data/Attachment/day_220526/202205261124093516.png)
![数据提取方式支持调用其他标签值的介绍[db:副标题]-创业网站](/Data/Attachment/day_210629/202106291142557713.png)
![谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171604256719.png)
![火车采集器V9版数据处理之随机插入[db:副标题]-创业网站](/Data/Attachment/day_200810/202008101441529838.jpg)
暂无评论内容