一,功能简介
json采集功能,通过打开json网址,配置流程,即可进行json数据采集。
json是一种轻量的数据交换格式,由于一些优秀的特性比如比 XML 更小、更快,更易解析和阅读,并有效地提升网络传输效率,而得到广泛使用。
Json采集的优点:
1、无需加载图片视频等信息,采集速度更快
2、部分网站防采集限制减少,采集更加顺畅
二,适用版本
V7.5.10及以上版本
三,操作步骤
以百度地图为示例网址进行操作。
JSON网址可通过抓包工具来获取(如Fiddler),不会使用抓包工具的用户可以在火狐浏览器上安装firebug插件获取。
1、获取JSON网址
1.1安装firebug插件后,在火狐浏览器打开百度地图网站,输入关键词搜索后,按F12或右键选择“使用firebug查看元素”,弹出firebug调试器。点击“网络”,点击“XHR”,可以看见很多url。JSON网址一般在XHR下面,但如果XHR查找不到,则点击“全部”。
1.2 点开每个url,查看是否有“JSON对象视图”,有的话则为JSON网址。并不是每个JSON网址都是我们需要的, 因此还要再点击“JSON对象视图”,查看里面的参数,看是否有目标数据,有目标数据的JSON网址,才是我们要找的url。
如图,前面的十一个JSON网址都不含有目标数据,第十二个JSON网址里含有目标数据,它就是我们需要的JSON网址。成功找到url后,右键“复制地址”。
- 1蓝天采集器无法加载数据库驱动有问题,是咋回事??
- 2蓝天采集器内容匹配换行问题
- 3蓝天采集器wordpress发布插件BUG
- 4蓝天采集器采集两个就停下不动了
- 5蓝天采集器本地保存excel 出现错误如下
- 6集团/公司品牌营销网站建设方案
- 7蓝天采集器蓝天采集器V1.3版本更新文档,升级必看!
- 8蓝天采集器采集微信公众号操作教程
- 9蓝天采集器关于自动采集 多个任务
- 10FastAdmin问答社区系统火车头采集入库使用教程
- 11蓝天采集器蓝天采集器安装好后仍提示安装
- 12蓝天采集器发布到数据库失败
- 13蓝天采集器测试发布问题
- 14蓝天采集器数据库问题
- 15蓝天采集器请问一下 多级网址获取 应该怎么使用
- 16蓝天采集器关键json采集的问题
- 17蓝天采集器发布时间选项
- 18蓝天采集器数据处理环节有BUG
- 19163K网站系统登录滑动验证-阿里人机验证配置教程
- 20蓝天采集器翻译功能是可以使用的吗,我测试了很多国外网站都不行。
-
蓝天采集器采集两个就停下不动了
手动采集两个就不动了,自动采集也没反应,测试规则和发布都是成功的,查看日志没有当天错误记录,不知道啥情况操作系统 Linux 2.6.32-696.23.1.el6.x86_64运行环境 nginx/1.12.2数据库 m···
-
蓝天采集器发布时间选项
发布方式选择数据库,没有发布时间的选项? 在 设置》采集设置 中控制发布频率,暂时不能设置固定的发布时间
-
蓝天采集器这种页面不能采集吗
https://movie.douban.com/j/search_subjects?type=movie&tag=%E6%9C%80%E6%96%B0&page_limit=500&page_start=0起始页网···
-
蓝天采集器访问采集页时可用post提···
访问采集页时可用post提交表单吗?急需,想采集的页面网址不变,每个选项卡点击后是以post形式提交获取的josn转码显示,求大佬支持下 暂时不行,下个版本支持
-
蓝天采集器给作者一个网站
https://github.com/privacypass/challenge-bypass-extension今天发现服务器装Tor代理后,爬国外网站很多都被cloudflare给卡住了,然后用自己浏览器安装了他给的软件,每次认证可以获···