蓝天采集器采集入库有问题!!!!!!!!!!!!!!!!

2018-07-03 121 19 编辑:大拿 来源:蓝天采集社区

蓝天采集器采集入库有问题!!!!!!!!!!!!!!!!
如果一次采集的数据量过多,超过1W条左右,集采完毕入库后最后出现这种情况。

建议:可不可以边采集边入库,不要一次都采完了再一起入库。

我亲身体验好几回,手动采集时,如果意外把页面关掉了,之前采集的都白采了,再采还要从头再来

如果变成边采集边入库,就不会出现这种情况,比如说我采集到第650条时,页面被意外关闭了。

那我再打开页面再采的时候,之前那650条已经入库了。会从第651条继续开始采,这样就不会出现重新开始的情况。
----------------------------------------------------

还有,再提个建议,
正在采集的实时状态,
把“采集内容页:http://"前面加上排序
比如说:
当前采集总页数为:16500页
正在集采第:
1、采集内容页:http://www.xxx.com
2、采集内容页:http://www.xxx.com
3、采集内容页:http://www.xxx.com
4、采集内容页:http://www.xxx.com
...........
16500、采集内容页:http://www.xxx.com
采集完毕。

蓝天采集器采集入库有问题!!!!!!!!!!!!!!!!
谢谢反馈,这个问题在下个版本修复,暂时可以设置下php的memory_limit参数 下个版本什么时候出来呀,现在有好多问题呀,影响使用啊,甚至使用不了啊。
嗯,正在开发中,最晚7月底

相关知识点: 内容 这种情况 页面
本站文章均为蜀戎网络摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,未经允许禁止复制转载!感谢...

在线
客服

在线客服服务时间:9:00-21:00

客服
热线

13227777380
7*24小时客服服务热线

客服
微信

扫一扫微信咨询
顶部