因为web服务器有运行时间限制,所以只要采集执行时间太长都会导致程序中断,需要修改web服务器的超时时间
IIS服务器:
桌面>计算机>右键>管理>服务和应用程序>IIS>根目录>FastCGI 设置>双击"php-cgi.exe">活动超时
apache服务器:
apache目录confextrahttpd-default.conf,修改Timeout
nginx服务器:
nginx目录conf
ginx.conf,修改 fastcgi_connect_timeout
修改以上的参数值可让采集不再中断,修改完后记得重启服务器!
其他服务器请自行百度
如果你是虚拟主机无法修改配置,唯一方法就是设置采集数量,每次不要采集太多,一般web服务器运行时间为30秒,尽量不要超时!
网页自刷新执行采集,可以做到无人值守一直抓取。
代码大概如下:设置的2分钟采集间隔,下面代码设置的125秒刷新一次。
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta http-equiv="refresh" content="125"> <div id='numDiv'>...</div> <script src="http://www.xxx.cn/caiji/index.php?s=/admin/Task/collect&id=3"></script> <script type="text/javascript"> var num=125; var interval=setInterval(function(){ if(num==0){ clearInterval(interval); } numDiv.innerHTML=num--; numDiv.innerHTML=numDiv.innerHTML+"秒后刷新本页面"; },1000); </script> </body>相关知识点: 蓝天采集器 自动采集停止 图片下载不了
- 1阿里云linux系统服务器CentOS7.6安装宝塔教程
- 2蓝天采集器怎么获取图片组?
- 3蓝天采集器有没有可能增加这么一个“采集筛选”的功能?
- 4蓝天采集器BUG反馈:标题排重无法正常使用
- 5阿里云SSL证书在宝塔控制面板配置教程
- 6盘企建站CMS火车头发布模块V1.1
- 7蓝天采集器采集中断,自动采集不运行
- 8各大平台站长推送平台简介
- 9蓝天采集器多级网址获取的内容全部相同
- 10蓝天采集器开启自动采集设置PHP-CLI(命令行)教程
- 11小浣熊漫画cms首页热门点击数人气是0的处理方法
- 12蓝天采集器请问像问答这种模块怎么采集?
- 13PbootCMS内容详情页自定义模板文件
- 14蓝天采集器请问 获取内容页中,内容以JSON方式获取,无法循环入库
- 15蓝天采集器发布设置里绑定本地cms程序提示错误
- 16163K网站系统相亲自动实名认证-百度AI配置教程
- 17蓝天采集器发布问题
- 18蓝天采集器采集到的数据是JSON数据,怎么转化成正常可展示的数据
- 19蓝天采集器帮忙设置下采集规则
- 20蓝天采集器获取纯文本问题
-
PbootCMS英文站搜索结果页面包···
在使用PbootCMS搭建英文站时会发现搜索结果页的面包屑为中文,标题为英文,该如何处理?可二开增加英文站对应文字来解决。修改内容打开ppshomecontrollerSearchController.php,把里面的代码全部替换成以下(···
-
蓝天采集器这个网页怎么采集
http://202.200.48.160:8080/Pro_StudentEmploy/StudentJobFair/JobFairSearch.aspx?searchKey= 这是网址 我想采集里面的招聘信息,现在获取不到jobid &···
-
蓝天采集器想爬去的页面 需要点击开始···
进入要爬的网页后,有个地方需要我填写网址,之后按下开始键,他会给我所对应的视频地址链接, 但目前爬到的话,不知道怎么 让程序 先自动填写 网址, 然后自动点击开始,然后再通过给出的页面来抓取网址:www.parsevideo.com 点击···
-
163K网站系统微信支付、支付宝支付···
《微信支付、支付宝支付》实时原路退款配置教程 实时原路退款:当网站管理员确认退款后,用户的支付款项将实时退回到他原先的支付账户,大大提高站长的工作效率! 《163K网站系统》最新版目前已经全面实现《微信支付、支付宝支付》实时原路退款···
-
pbootcms栏目内容-详情页设置···
pbootcms在做网站的时候都需要做一下SEO,由于程序的不支持我们无法生成纯静态的html,但是我们可以输出伪静态的html。如何来设置呢下面就跟着蜀戎网络一起来学习一下。伪静态时需要服务器环境的支持,并需要添加伪静态规则!全局配置--···