1、新增cli命令行采集模式(可稳定自动采集),优化传统自动采集触发问题
2、数据处理增加关键词过滤、条件判断功能(根据是否满足条件决定采集或不采集)
3、新增应用程序开发,独立且打通蓝天采集器的应用
4、开发者可以安装“第三方平台”应用发展自己的业务
5、用户可以通过开发者搭建的“第三方平台”下载规则、插件等
6、使用json时可自动识别jsonp格式数据,字段》json提取增加循环入库功能
7、修复采集https网址报错,官方云平台升级https(2.1版本之前的云平台会打不开)
8、修复若干bug等
牛皮顶起来!
遇到一个奇葩的问题,从json获取内容页地址的时候,估计是网站为了防抓取,将内容页网址中加入了混淆字符串,采集的时候就出错了。所以需要一个功能在匹配出的内容页网址加一个处理方法,替换字符串。目前没办法对获取的网址进行再处理
- 1蓝天采集器关于自动采集 多个任务
- 2pbootcms系统网站必须要做的seo要点
- 3各大平台站长推送平台简介
- 4蓝天采集器如何将日期转换为int类型导入到数据库中?
- 5蓝天采集器采集小说示例教程
- 6给PbootCMS增加个换行格式化标签br=1
- 7蓝天采集器发布到mysql出错
- 8蓝天采集器正在校验更新文件
- 9蓝天采集器有没有可能增加这么一个“采集筛选”的功能?
- 10PbootCMS如何单独给某个栏目下的内容详情页设定seo标题规则
- 11163K网站系统X10_V1升级教程
- 12蓝天采集器采集网址问题
- 13蓝天采集器咨询开发Unicode编码解码
- 14蓝天采集器需要多表发布,ID关联,能获取上一个表的自增ID的功能
- 15PbootCMS蓝天采集器采集使用教程一采集设置
- 16蓝天采集器无法抓取内容页网址为相对地址的列表
- 17火车头采集国外英文网站教程分享
- 18蓝天采集器请问怎么采集新浪的这段网址
- 19163K网站系统升级S版后注意事项(含S5)
- 20蓝天采集器通过 Tor 代理 如何绕过机器人检测
-
蓝天采集器wordpress发布插件···
本帖最后由 伍六柒 于 2019-3-13 18:52 编辑 使用的版本是2.0,使用了wordpress插件发布,但发布后分类无法对应,有时是未分类,但经常是最后一个分类,并不是自己选择的分类。还有标签是没有设置的,但是发布后会多出···
-
各大平台站长推送平台简介
举例:百度站长平台验证1、登录百度站长平台地址: https://ziyuan.baidu.com/site/index 登录您的百度账号。(没有账号需注册)2 登录后选择“站点管理”3 点击“添加网站”然后输入你网站的地址,点击下一步。4···
-
蓝天采集器关于标题获取,部分标题带“···
本帖最后由 zmh886 于 2019-5-13 10:01 编辑 因为采集器获取标题会自动处理掉“-”后面的部分,对于部分网站可以使用获取description 来获取到“更完整的标题” 2019.05.02发现新问题 标题包含单引···
-
狂雨小说CMS-狂雨小说下载-采集规···
哈喽!大家好,蜀戎网络今天教大家做小说网-狂雨小说。搭建注意事项:https://www.srso.cn/fy/109.html采集导入方法,狂雨小说的采集规则本身是没有导入这个功能的,我们只能在mysql里面操作。很简单的,直接上教程。1···
-
dedecms自定义标签导入pboo···
dedecms的自定义字段太多了,各种各样的;所出现的报错问题也是千奇百怪。今天蜀戎网络就给大家讲解一下,当出现:[22:14:48] Error while executing SQL query on database 'pbo···