蓝天采集器采集中断,自动采集不运行

2019-06-27 309 19 编辑:husir 来源:蓝天采集社区

采集一会就停了,自动采集从没运行过,错误日志里也没提示,请问怎么解决?
参考 http://bbs.skycaiji.com/forum.ph ... &extra=page%3D1

或者用访问触发模式

admin 发表于 2019-6-29 12:24
参考 http://bbs.skycaiji.com/forum.php?mod=viewthread&tid=649&extra=page%3D1

或者用访问触发模式 ...

fastcgi_connect_timeout 已经改成1200没用,访问触发,我可以再尝试下,现在关键是,我每次采集都是五条就不动了。nginx日志有大量499错误 可能和规则有关系,字段是不是自动获取内容的?所有规则都是只能采5条?
admin 发表于 2019-6-29 12:34
可能和规则有关系,字段是不是自动获取内容的?所有规则都是只能采5条?

能正常获取内容,是总的任务只能采5条,比如我三个任务,总采集数量设了12条,每个任务设3条,运行完第一个任务,在第二个任务第二条就不动了,每次都这样. 卡住的任务有没有自动获取的字段,改用规则匹配
admin 发表于 2019-6-29 12:40
卡住的任务有没有自动获取的字段,改用规则匹配

把所有自动获取都改成规则获取了还是一样,我给你后台能帮我看一下吗
husir 发表于 2019-6-29 13:27
把所有自动获取都改成规则获取了还是一样,我给你后台能帮我看一下吗

日志里有这些错误是什么意思
[ 2019-06-29T12:49:17+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T12:51:21+08:00 ] 120.33.1.139 GET 域名/index.php?s=/admin/Task/collectBatch&ids=4%2C3%2C2
[ error ] [2]session_start(): Cannot start session when headers already sent
---------------------------------------------------------------
[ 2019-06-29T13:36:52+08:00 ] 120.33.1.139 POST 域名/index.php?s=/admin/Task/edit
[ error ] [2]preg_match(): Unknown modifier 'w'
admin 发表于 2019-6-29 12:40
卡住的任务有没有自动获取的字段,改用规则匹配

可以了,把页面抓取间隔时间和最大执行时间调到很低就行了 日志错误问题不大不影响使用,估计和并发有关系http://www.west.cn/docs/49309.html

相关知识点: 规则 任务 字段
本站文章均为蜀戎网络摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,未经允许禁止复制转载!感谢...
更多人喜欢

在线
客服

在线客服服务时间:9:00-21:00

客服
热线

13227777380
7*24小时客服服务热线

客服
微信

扫一扫微信咨询
顶部