http://不能发.com/v.php?next=watch&page={param:num,1081 2161 1 0}然后爬到的永远是某一页,
http://不能发.com/v.php?next=watch&page=10000
(这个是他们没有的网页,他们只有1-4335页) 大写的10000 是分页
还是能爬到内容, 我到测试页面测试 把分页改成任何数字 爬到全是相同的, (没挂IP,没挂 自定义头)(挂了也一样)
不知道问题出在哪
爬到相同的页面是有数据的还是对方的提示页面?有可能是对方有ip访问频率限制
admin 发表于 2018-5-15 21:59
爬到相同的页面是有数据的还是对方的提示页面?有可能是对方有ip访问频率限制 ...
是有数据的,但数据都一样,好比如:我让他爬 6 7 8 页.他爬的三个页面都是是 第7 页的数据 , 我让他 爬 1 2 3 页, 得到的 还是第7页的数据, 给我感觉就是 我的IP被绑在他的第7页了 浏览器打开网址正不正常?抓取其他网站内容正不正常,如果都正常,估计就是ip被屏蔽了 相关知识点: 爬到 页面 数据
- 1蓝天采集器在数据安装的界面输入完成信息之后 无法安装
- 2163K网站系统升S版前注意事项和准备工作
- 3蓝天采集器自动采集具体怎么用呢,需要服务器支持什么
- 4蓝天采集器求助 发布设置中WordPress怎么检测不到?
- 5蓝天采集器起始网址无法通过POST方式批量获取列表页
- 6蓝天采集器AMH里面,安装到第三步点下一步,不会进行下去了
- 7蓝天采集器开启循环入库后,将以第一个循环字段的数量为准
- 8163K网站系统阿里短信状态全部是发送中的解决办法
- 9蓝天采集器开启自动采集设置PHP-CLI(命令行)教程
- 10蓝天采集器数据库发布时遇到组合的怎么办
- 11Xpath不固定元素列表规则写法
- 12蓝天采集器希望支持杰奇cms
- 13蓝天采集器怎么才能循环采集某个页面的相同值
- 14pbootcms栏目内容-详情页设置输出html
- 15163K网站系统相亲人脸识别验证-百度AI配置教程
- 16PbootCMS内容详情页自定义模板文件
- 17PbootCMS配置面包屑导航
- 18蓝天采集器安装问题求助!安装后index.php丢失index问题,附解决方法
- 19易优cms(eyoucms)蓝天采集器发布插件
- 20蓝天采集器重复采集
-
163K网站系统浏览器中的网站图标(···
网站的favicon.ico图标设置:1、 把格式为ico的图标文件命名为favicon 尺寸大小一般用16px*16px2、 把favicon.ico上传到服务器的网站根目录,更新浏览器缓存即可。如何上传文件到服务器(无需FTP):1、远···
-
蓝天采集器1条已采集起始网址被过滤
但是测试好像没问题。,我哪里错了,求说明 设置》采集设置》每次采集间隔时间 admin 发表于 2018-6-1 21:41 设置》采集设置》每次采集间隔时间 感谢站长问题已经解决,是我之前采集过了才会被过滤
-
影视站建设教程-零基础搭建影视站
影视建站 1.购买域名/主机 2.绑定解析 3.安装程序 4.安装影视模板 5.采集教程 常见问题 零基···
-
蓝天采集器伪静态后台有问题
伪静态后台有问题 点击:伪静态入口 网页提示:module does not exist : caiji YZMPHP2.0 我的服务器环境是: 操作系统 Windows NT 6.1 运行环境 Microsoft-IIS/7···
-
RGCMS在线安装操作教程
今天蜀戎网络给大家在线安装操作一款rgcms。RGCMS建站管理系统特点★ 自定义各种栏目模型、功能模型,以便适应各种生产场景,模板路径文件自由定义★ 扩展字段,灵活调用,系统没有太多的固定模板标签,大多数标签都是根据自定义的字段来调用★ ···