蓝天采集器采集的页面 每天页数都会变怎么办 ?

2018-05-08 56 19 编辑:wangchenyuF2 来源:蓝天采集社区

蓝天采集器采集的页面 每天页数都会变怎么办 ?
每天都会有新的视频上传, 但新的页面上的 数据会顶掉前一天的数据,就是 前一天在第一页的数据 跑到第二页了, 也有可以 只过去了一部分 还有一半留在第一页,这个该怎么办呢
这个没办法的,所有网站的列表页数据都是显示最新的(除非网站自己有排序选项),这样不挺好的吗,可以实时同步更新 那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1
得到 :20 个条数据
, 第二天想得到新的数据的话
从 已采集数据列表删除 wwvv. bai du .c o m/1 的记录
然后再重新抓取wwvv. bai du .c o m/1 么?

如果是这样的话 : 如果 他的第一页 没有更新, 那我抓到的不就是重复的了么,还是说,他会自动去更新

wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

你这是27盘吧,他不是直接有api,还用你自己采集啥
wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

系统会根据网址自动排重

相关知识点: 的话 第一页 数据
本站文章均为蜀戎网络摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,未经允许禁止复制转载!感谢...

在线
客服

在线客服服务时间:9:00-21:00

客服
热线

13227777380
7*24小时客服服务热线

客服
微信

扫一扫微信咨询
顶部