因为web服务器有运行时间限制,所以只要采集执行时间太长都会导致程序中断,需要修改web服务器的超时时间
IIS服务器:
桌面>计算机>右键>管理>服务和应用程序>IIS>根目录>FastCGI 设置>双击"php-cgi.exe">活动超时
apache服务器:
apache目录confextrahttpd-default.conf,修改Timeout
nginx服务器:
nginx目录conf
ginx.conf,修改 fastcgi_connect_timeout
修改以上的参数值可让采集不再中断,修改完后记得重启服务器!
其他服务器请自行百度
如果你是虚拟主机无法修改配置,唯一方法就是设置采集数量,每次不要采集太多,一般web服务器运行时间为30秒,尽量不要超时!
网页自刷新执行采集,可以做到无人值守一直抓取。
代码大概如下:设置的2分钟采集间隔,下面代码设置的125秒刷新一次。
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta http-equiv="refresh" content="125"> <div id='numDiv'>...</div> <script src="http://www.xxx.cn/caiji/index.php?s=/admin/Task/collect&id=3"></script> <script type="text/javascript"> var num=125; var interval=setInterval(function(){ if(num==0){ clearInterval(interval); } numDiv.innerHTML=num--; numDiv.innerHTML=numDiv.innerHTML+"秒后刷新本页面"; },1000); </script> </body>相关知识点: 蓝天采集器 自动采集停止 图片下载不了
- 1蓝天采集器内容页上一级是分页
- 2蓝天采集器开启自动采集设置PHP-CLI(命令行)教程
- 3蓝天采集器咨询开发Unicode编码解码
- 4SEO站长每天需要做的9件事
- 5蓝天采集器关键json采集的问题
- 6狂雨小说CMS网站fileinfo插件安装方法
- 7PbootCMS配置面包屑导航
- 8蓝天采集器保存图片超时
- 9PbootCMS发布的内容带反斜杠不显示问题
- 10163K网站系统自动升级常见报错检查办法
- 11蓝天采集器远程图片采集下来能否保存至阿里云OSS图片服务器?
- 12蓝天采集器这是什么问题
- 13163K网站系统网站客服的QQ在线状态设置说明
- 14蓝天采集器需要采集的字段,他们的class都同名 怎么办?
- 15蓝天采集器怎么获取图片组?
- 16蓝天采集器下载图片本地化操作设置
- 17蓝天采集器wordpress发布插件BUG
- 18影视听书系统苹果cmsv10安装操作教程
- 19蓝天采集器请问一下,多个任务是否可以单独控制采集数量
- 20蓝天采集器建议增加实用功能
-
蓝天采集器2.0版本不能自动采集的问···
设置了自动采集,但是一直都不会出发自动任务;看了楼下一个帖子,根据作者的说的更改php文件的代码之后,确实触发了自动采集,但是采集了几轮之后又停止了; 然后每保存一次自动采集设置,才会触发“一次”任务,而且只跑一轮就停下来了; 手动点击实时···
-
蓝天采集器采集中断、自动采集无效、图···
因为web服务器有运行时间限制,所以只要采集执行时间太长都会导致程序中断,需要修改web服务器的超时时间IIS服务器:桌面>计算机>右键>管理>服务和应用程序>IIS>根目录>FastCGI 设置&···
-
蓝天采集器求问如何分割采集的字段进数···
我采集出来是一行一行的 到了数据库里是这一大段.一大段的. 就是说把采集出来的数据没有分行,而是把所有采集出来的全部归为一行 是去掉换行吗? 字段》数据处理》内容替换[ ]+复制代码 我采集完是这样的 入库后是这样的= = ···
-
极致cms公共配置
系统配置统一使用规则:{$webconf[配置参数]} 或者 通过方法获取{fun webConf(配置参数)} 扩展配置统一使用规则:标签名{$customconf[配置参数]["title"]} 【v1.3取消】标签···
-
蓝天采集器反应三个问题
本帖最后由 伍六柒 于 2018-8-24 18:21 编辑 一、 图片本地化;某些站点失败几率很大,一篇文章有10个图片,只能成功10%左右,其它的依然是源图地址,设置了本地化间隔3秒依然没能解决。猜测应该就是对方限制了访问频率。 ···