有的网址,一直都是一样的,只是里面的数据会变,比如pubg的新浪微博,这是微博的json数据 https://m.weibo.cn/profile/info?uid=6037906900 这网址一直不会变,但里面的数据就会变,如果可以单独指定此任务网址允许重复采集(采集了此网址只要不入库已采集网址就可以了),或者允许在网址后面加个随机数的参数,比如https://m.weibo.cn/profile/info?uid=6037906900&rand=rand() 就象显示验证码一样,加一个随机数就每次不一样,采集的时候就是网址不重复的
另外数据处理希望添加采集的数据进行base64等加密处理,因为有些系统的内容不是明白保存的,使用了base64等加密保存,采集直接入库是明文!
还有你们的论坛注册不方便,即然云注册了,登录进来还要注册论坛用户,为什么注册的时候不直接注册论坛帐号?最不可理解的,是注册的时候用邮箱注册了,发验证码到邮箱了,说明邮箱真实可用,登录进来再注册论坛帐号,居然还要验证邮箱,论坛可以设置去掉邮箱验证激活,这样操作重复了!
好的,感谢反馈,后续会改善
- 1163K网站系统公众号模板消息配置教程
- 2蓝天采集器本地安装操作教程-蜀戎cms网录制
- 3蓝天采集器hadsky采集
- 4蓝天采集器JSON采集问题
- 5蓝天采集器怎么把采集得到的图片下载在本地?
- 6蓝天采集器请问一下,多个任务是否可以单独控制采集数量
- 7蓝天采集器采集腾讯企鹅号自媒体内容教程(附采集规则)
- 8Discuz门户蓝天采集器入库字段(发布插件)都有哪些
- 9蓝天采集器发布数据库
- 10PbootCMS缩略图上传图片变模糊为什么?
- 11FastAdmin系统-Bty分销系统v5蓝天采集器自动采集入库使用教程
- 12蓝天采集器年后上线新版本,敬请期待!
- 13蓝天采集器BUG反馈:标题排重无法正常使用
- 14蓝天采集器管理员账号密码限制有些短
- 15pbootcms升级到3.0.3+最新版文章点击后跳转首页解决办法
- 16蓝天采集器采集中断、自动采集无效、图片下载不了,解决方法!
- 17火车头免登录发布模块pbootcms入库插件
- 18pbootcms常见标签调用学习
- 19蓝天采集器抓取不了相对地址
- 20蓝天采集器数据处理环节有BUG
-
163K网站系统安装微信商户api证···
安装微信商户api证书是实现给网站用户退款/自动结算提现的必要条件,此教程是微信支付配置教程3.5步骤的说明登录网站服务器远程桌面如何登陆,把证书文件(无需解压)复制或上传到自己指定的目录文件夹内,如D:wwwrootcert(如果您想放在···
-
蓝天采集器需要多表发布,ID关联,能···
绑定表中有这个功能说明: 如需获取表的自增主键值,选择“自定义内容”输入“auto_id@表名”,例如“auto_id@table123”,注意:表是按顺序插入数据,前面的表不能获取后面表的自增主键值
-
狂雨小说CMS-狂雨小说下载-采集规···
哈喽!大家好,蜀戎网络今天教大家做小说网-狂雨小说。搭建注意事项:https://www.srso.cn/fy/109.html采集导入方法,狂雨小说的采集规则本身是没有导入这个功能的,我们只能在mysql里面操作。很简单的,直接上教程。1···
-
蓝天采集器采集重复: 被采集的内容页···
能不能增多一个自定义判断重复的,比如增加采集的标题来判断是否重复采集了 这个bug后期会修复
-
蓝天采集器内容匹配换行问题
内容匹配出来都是一行,有没有办法加个换行 有换行功能就好多了 都是一行?应该是抓取的数据就是一行显示的吧? 可以用正则替换一下