目前大多数浏览器都会自带开发者工具(一般按f12即可出现),网页的cookie以及网址打开后加载的各类信息都是可以看到的。
下面以谷歌浏览器为例:
1.在谷歌浏览器里打开http://www.sd-portygzc.com/jyxx/project.html网址
![图片[1]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171604256719.png)
这个网址点击分页时,会发现网址是不变,这个就是典型的需要抓包真实链接的post网址。
2.从右上角自定义控制里打开开发者工具或者直接按f12运行,
![图片[2]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171609474942.png)
3.开启工具后,点击翻页后,工具里出现了个链接,这个就是网址的翻页的请求信息
![图片[3]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171620513569.png)
4.有些网址翻页请求的信息是不止一个的,如果不确定请求的话,可以查看请求信息的回执内容来判断真实的翻页请求,即如图
![图片[4]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171625074732.png)
5.接下来通过header里的信息来确定翻页网址是get还是post,get网址一般是可以直接打开访问的(但是有特殊头信息的不行),post网址就不能直接打开(只能再软件里直接设置)
![图片[5]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171632107989.png)
6.看header里的信息会发现这个是个post请求,但是这里却没有post请求参数,但是可以看到header后面有个payload,实际上参数被放这里了
![图片[6]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171707361228.png)
通过以上步骤,基本上获取到制作获取内容页规则的相关信息。以下规则设置
1.比如从pesponse里获取内容页相关参数
![图片[7]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171646046027.png)
2.post参数设置,可以再payload里点击view sorce获取以下参数
![图片[8]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171649275869.png)
3.设置http请求,固定网页编码,添加cookie和user-agent,以及特殊头信息设置
![图片[9]-谷歌浏览器获取cookie以及抓包获取真实链接[db:副标题]-创业网站](/Data/Attachment/day_220217/202202171651397124.png)
备注:特殊头信息一般是区别与一般网页请求的信息。
整理不易,请坚持看完,并去执行
你的坚持,是我们坚持更新下去的动力
学习更多项目知识,请关注公众号:品小先Ai
觉得文章有用的话,点个好看,转发朋友圈,多谢!

![火车采集器V9-获取内容页网址[db:副标题]-创业网站](/Data/Attachment/day_201125/202011251013567704.png)
![V9-起始网址数据库导入功能[db:副标题]-创业网站](/Data/Attachment/day_200325/202003251344386437.png)
![winSock重置方法[db:副标题]-创业网站](http://faq.locoy.com/Data/Attachment/day_201109/202011090946485906.png)
![V9-任意格式文件下载功能[db:副标题]-创业网站](/Data/Attachment/day_200728/202007280843544651.png)
![软件启动报错:由于未经处理的异常,进程终止,System.Security.Cryptography.MD5Cng[db:副标题]-创业网站](/Data/Attachment/day_230420/202304201116549236.png)
![自动分析表格功能[db:副标题]-创业网站](/Data/Attachment/day_211009/202110091127326305.png)
![采集器在服务器无法正常登陆,提示登录异常:网络异常,状态码1-0[db:副标题]-创业网站](/Data/Attachment/day_200619/202006191754553908.png)
![v9-5118智能原创使用教程[db:副标题]-创业网站](/Data/Attachment/day_230404/202304041330429269.jpg)
![火车采集器V9版工具功能之中文分词[db:副标题]-创业网站](/Data/Attachment/day_200810/202008101404456730.jpg)
暂无评论内容