本帖最后由 chinapostm 于 2018-8-3 15:13 编辑
有没有办法让 如果某个字段等于N时就跳过这条信息不采集
排重功能,我绑定了其中一个字段也没有起到排重的作用
试试数据处理》过滤词》检测到过滤词跳过采集(字段值设为空),在发布的时候判断跳过空字段
排重的字段要在发布的时候使用到,比如cms发布中,绑定数据要选中排重的字段
admin 发表于 2018-8-3 22:32
排重的字段要在发布的时候使用到,比如cms发布中,绑定数据要选中排重的字段 ...
mysql接口不支持字段排重吗
admin 发表于 2018-8-3 22:27
试试数据处理》过滤词》检测到过滤词跳过采集(字段值设为空),在发布的时候判断跳过空字段
...
过滤词近端字段有效,并不能跳过整条,我觉得可以增加一个跳过采集整条,且已采集不记录。
chinapostm 发表于 2018-8-4 00:13
mysql接口不支持字段排重吗
有bug,修改SkycaijiApp/Admin/Event/RdbEvent.class.php
找到代码$this->record_collected
把
- $collFields ['title']
改成
- $collFieldsList[$collFieldsKey]['title']
chinapostm 发表于 2018-8-4 01:04
过滤词近端字段有效,并不能跳过整条,我觉得可以增加一个跳过采集整条,且已采集不记录。 ...
后期改进
admin 发表于 2018-8-4 22:44
有bug,修改SkycaijiApp/Admin/Event/RdbEvent.class.php
找到代码$this->record_collected
把
完美搞定 相关知识点: 字段 跳过 发表于
- 1蓝天采集器请问一下,能采集JS渲染的内容吗?
- 2蓝天采集器exception 'Requests_Exception' with message 'cURL error 60: SSL certificate p...
- 3蓝天采集器希望指定网址允许重复采集或网址添加随机数功能!
- 4蓝天采集器这种页面不能采集吗
- 5蜀戎云推广AI智能营销生态系统12月优惠活动
- 6SEO站长每天需要做的9件事
- 7{pboot@sql sql="语句"}[sql:字段]{/pboot@sql}万能循环标签使用介绍
- 8蓝天采集器内容页只能采集一页?
- 9蓝天采集器翻译功能是可以使用的吗,我测试了很多国外网站都不行。
- 10蓝天采集器怎么取到图片的名字啊
- 11163K网站系统X10_V1升级教程_自动升级系统使用说明
- 12蓝天采集器如何设置略缩图教程
- 13蓝天采集器求助-内容页网址获取- 测试时和实际采集时结果不同
- 14蓝天采集器请在官方推荐的站点下载,勿下载任何第三方提供的软件
- 15蓝天采集器数据库问题
- 16蓝天采集器循环入库的数据不到数据库
- 17蓝天采集器怎么发布规则到云平台
- 18pbootcms您访问路径含有非法字符,防注入系统提醒您请勿尝试非法操作!
- 19蓝天采集器给作者一个网站
- 20蓝天采集器v1.2码云clone下来的,安装完成后菜单是英文
-
腾讯云winds服务器挂载数据盘在系···
当我们在购买了服务器的时候默认不选择数据盘的时候只有一个系统C盘,所以在后期的时候都需要购买一个数据盘来存放更多的数据内容。这个时候呢我们就需要在服务器后台购买数据盘然后挂载在我们的服务器桌面。直接选择云硬盘---新建---选择自己所需要的···
-
蓝天采集器Zblog怎么自动发布?
采集内容已经写好,但是怎么发布到我的Zblog里面?要把采集程序和Zblog放到同一个网站里吗? 嗯,需要放在一个服务器里,然后发布选cms,检测不到就手动绑定cms路径
-
蓝天采集器&的问题
在测试的时候可以正常成功的获取到分页的数据 但是在正式执行采集任务的时候则是这样 源码中的分页码网址不合规范,“=”导致无法识别 网址规则photos/(?<content1>d+?)/al···
-
蓝天采集器采集到的磁力链接前面有固定···
本帖最后由 ihua 于 2019-6-20 12:00 编辑 我写了一个电影资源采集的东西 所有东西都很正常,但是下载链接(本应是磁力)变成了如下样子: http://www.abc.com/def/magnet:?xt=urn:b···
-
pbootcms火车头采集器免登录发···
pbootcms火车头采集器免登录发布插件:默认支持2.0+版本---最新版。功能介绍:1、自动获取文章内容第一张图为缩略图2、缩略图、内容图片自动本地化3、访问量随机3、标题相同覆盖原内容,不同新增4、采集入库自动推送百度收录5、定时自动···