采集中断、自动采集无效、图片下载不了
详见:https://www.srso.cn/fy/657.html
cli命令模式
php可执行文件:默认自动识别,识别不了,在linux系统中关闭目录跨站保护,手动输入:可输入环境变量名“php”(需要系统中已配置)或输入可执行文件路径,注意不是php目录,一般windows中文件为“php目录/php.exe”,linux中文件为“php目录/bin/php”
详见:https://www.srso.cn/fy/248.html
触发不了采集:
1、确定php配置是否正确
2、开启proc_open函数(详见:https://www.srso.cn/fy/103.html)
3、给web服务器配置执行命令的权限
页面渲染设置(详见:https://www.srso.cn/fy/93.html)
谷歌浏览器安装:windows百度下载安装即可,linux请看https://www.srso.cn/fy/93.html
配置谷歌路径:可输入环境变量名“chrome”(需要系统中已配置),或者输入可执行文件路径:一般windows中文件为“浏览器目录/chrome.exe”,linux中文件为“浏览器目录/bin/google-chrome”,注意:浏览器版本不同可能会导致可执行文件名不同!
采集规则设置
手机移动端页面:开启请求头信息,设置UserAgent浏览器标识
需要登录的页面:开启请求头信息,设置Cookie缓存数据,如何获取cookie:https://jingyan.baidu.com/search ... D%91%E7%AB%99cookie
采集到的网址没有域名:开启自动补全网址
规则中的特殊字符识别不了:使用正则规则的时候特殊字符必须使用“”转义才能使用,和正则冲突的字符有:^$.*+|?[]{}()
页面渲染:使用渲染和不使用时的html源码是不一样的,规则可能不通用!
浏览器中获取到的xpath在采集器中没有用:可能该xpath的对象是渲染出来的元素,采集器默认只能抓取原始html源码的内容,渲染出来的元素需要开启“页面渲染”功能,或者分析相应的js链接来抓取,使用“测试》分析网页”可以看到采集器实际抓取到的页面
字段怎么插入内容:添加一个新字段,获取方式选择“字段组合”
发布设置
本地cms程序检测不出来:
1、采集器和cms程序是在同一个网站目录中,可能是不支持您的cms程序,需要在路径结尾中加上“@cms名称”即可识别出插件
2、采集器和cms程序不在同一网站但在同一服务器中,可能是服务器开启了目录跨站保护,关闭即可
工具
错误日志文件太多占用空间:可以在“站点设置”中关闭,后台首页使用“清除缓存”可以清空日志
插件/应用开发
应用程序无法访问:应用需要配置伪静态才能使用,配置文件在蓝天采集器根目录:nginx.conf(nginx),.htaccess(apache),web.config(iis)
函数插件创建后不显示:需要在“云端》已下载》函数插件”中点击开启
云平台下载的文件去哪了
在“云端》已下载”中可找到云平台中下载的规则、插件等
采集规则在 “编辑任务 > 导入规则 > 已下载规则” 中使用
发布插件在 “任务 > 发布设置 > 本地CMS程序” 中使用
函数插件在 “任务 > 采集器设置 > 数据处理” 中使用
第三方如何使用
开发者安装了“第三方平台”应用,点击“云端》已下载》应用程序》第三方平台”的管理连接,界面中的“应用首页”链接即为您需要提供给用户的平台网址!
用户在“云端》第三方”中添加开发者提供的平台网址即可在对方平台中下载规则、插件等。
更多使用教程请看这里:https://www.srso.cn/skycaiji
相关知识点: 蓝天采集器 蓝天采集器采集教程- 1proc_open函数如何开启操作教程
- 2蓝天采集器如何采集百度搜索结果教程
- 3163K系统S2版升级S3前注意事项和准备工作
- 4蓝天采集器无法安装怎么回事???
- 5蓝天采集器dede5.7发布不发标题
- 6蓝天采集器如何设置略缩图教程
- 7蓝天采集器提示信息
- 8迅睿cms火车头采集器免登录发布模块使用说明
- 9蓝天采集器请问下discuz采集别人网站的iframe视频链接发布没内文如何...
- 10蓝天采集器建议官方参照简数补充一些功能
- 11蓝天采集器设置不要img参数教程
- 12蓝天采集器自动采集不定时停止运行
- 13蓝天采集器采集两个就停下不动了
- 14盘企建站CMS在线宝塔安装操作教程
- 15蓝天采集器百度知道问题列表页测试抓取获取不到问题列表?
- 16蓝天采集器反应三个问题
- 17蓝天采集器BUG反馈
- 18pbootcms类型站点怎么查看图片、网页元素的路径和大小和颜色
- 19蓝天采集器建议增加关键字TAG提取
- 20蓝天采集器蓝天采集好像不支持伪原创哦
-
蓝天采集器年后上线新版本,敬请期待!
新版本框架更新为thinkphp5.0,修复了大部分网友提出的问题,自动采集能够更好的运行,尝试性加入js渲染功能。 由于thinkphp5数据库操作大幅改动,新版发布插件需要修改数据库操作代码才能正常使用,大家可以先熟悉下tp5数据库 我···
-
蓝天采集器自动采集具体怎么用呢,需要···
如题 不需要,保存设置后就会自动运行,js触发模式才需要在html代码里加脚本触发
-
蓝天采集器如何设置略缩图教程
蓝天采集器作为一款在线操作的网页爬虫使用中也是会遇到各种各样的问题的。内容、标题都采集回来了,这个时间需要设置一下张文章的略缩图,相信许多的站长朋友在刚接触蓝天采集器的时候都会遇到这个问题,一时无从下手。今天蜀戎网络就给大家讲一下蓝天采集器···
-
蓝天采集器安装出问题 显示版本问题
请技术连我QQ1064269168 在线等 截个图看看, php必须大于5.3
-
蓝天采集器数据库问题
入库数据库是Oracle数据库,,, 但是你这只能是MYSQL, 这样能配置成功吗 Oracle没测试过,要用的话也可以,浏览器中右键审查 数据库类型 select元素,把 <option value="mysql&q···