如果一次采集的数据量过多,超过1W条左右,集采完毕入库后最后出现这种情况。
建议:可不可以边采集边入库,不要一次都采完了再一起入库。
我亲身体验好几回,手动采集时,如果意外把页面关掉了,之前采集的都白采了,再采还要从头再来
如果变成边采集边入库,就不会出现这种情况,比如说我采集到第650条时,页面被意外关闭了。
那我再打开页面再采的时候,之前那650条已经入库了。会从第651条继续开始采,这样就不会出现重新开始的情况。
----------------------------------------------------
还有,再提个建议,
正在采集的实时状态,
把“采集内容页:http://"前面加上排序
比如说:
当前采集总页数为:16500页
正在集采第:
1、采集内容页:http://www.xxx.com
2、采集内容页:http://www.xxx.com
3、采集内容页:http://www.xxx.com
4、采集内容页:http://www.xxx.com
...........
16500、采集内容页:http://www.xxx.com
采集完毕。
谢谢反馈,这个问题在下个版本修复,暂时可以设置下php的memory_limit参数
下个版本什么时候出来呀,现在有好多问题呀,影响使用啊,甚至使用不了啊。
嗯,正在开发中,最晚7月底
- 1蓝天采集器&的问题
- 2蓝天采集器采集中断,自动采集不运行
- 3蓝天采集器关于列表页当作内容页采集的疑问
- 4蓝天采集器分类信息采集,列表数据循环入库示例教程
- 5蓝天采集器翻译功能是可以使用的吗,我测试了很多国外网站都不行。
- 6pbootcms常见标签调用学习
- 7蓝天采集器数据处理环节有BUG
- 8蓝天采集器这种情况怎么解决呀
- 9163K网站系统X12(20191014)版本自动升级额外事项
- 10蓝天采集器如何关联多页采集规则教程
- 11163K系统S2版升级S3前注意事项和准备工作
- 12{pboot@sql sql="语句"}[sql:字段]{/pboot@sql}万能循环标签使用介绍
- 13163K网站系统网站系统环境配置和建站教程
- 14蓝天采集器访问采集页时可用post提交表单吗?
- 15PbootCMS后台登录验证码看不清怎么回事?
- 16SEO学习向导流程适合SEO零基础入门站长
- 17蓝天采集器数据库问题
- 18蓝天采集器BUG反馈:标题排重无法正常使用
- 19蓝天采集器怎么样采集商品首图
- 20蓝天采集器如何循环采集某一个页面
-
蓝天采集器采集报错500 Inter···
php5.6和7.0都试过了,也是不行 报错内容如下: Internal Server ErrorThe server encountered an internal error or misconfiguration and was u···
-
PbootCMS性能优化研究之网页响···
博主最近刚好碰到客户的网站首页打开慢,2s左右,这里的速度值得是,F12打开开发者工具选择Network查看对应的域名加载速度,如下图Waiting花了1.95s,正常页面这块速度一般是1s内,现在的速度肯定是不及格的,那么有没办法优化下呢···
-
蓝天采集器发布方式不能选择post方···
有没有发布方式用post发布的 可以自定义插件 写个post提交
-
蓝天采集器新手采集咨询
不知道能不能当爬虫采集? 我想采集某个磁力链站的数据。
-
蓝天采集器问下管理,数据处理 有没有···
汉字转拼音 暂不支持