蓝天采集器采集的页面 每天页数都会变怎么办 ?

每天都会有新的视频上传, 但新的页面上的 数据会顶掉前一天的数据,就是 前一天在第一页的数据 跑到第二页了, 也有可以 只过去了一部分 还有一半留在第一页,这个该怎么办呢
这个没办法的，所有网站的列表页数据都是显示最新的（除非网站自己有排序选项），这样不挺好的吗，可以实时同步更新 那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1
得到 :20 个条数据
, 第二天想得到新的数据的话
从 已采集数据列表删除 wwvv. bai du .c o m/1 的记录
然后再重新抓取wwvv. bai du .c o m/1 么?

如果是这样的话 : 如果 他的第一页 没有更新, 那我抓到的不就是重复的了么,还是说,他会自动去更新

wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

你这是27盘吧，他不是直接有api，还用你自己采集啥

wangchenyuF2 发表于 2018-5-9 01:27
那按照这样来讲的话,第一天抓取第一页
如:
wwvv. bai du .c o m/1

系统会根据网址自动排重

相关知识点： 的话 第一页 数据