我们在采集数据的时候经常会遇到,页面上没有我们想要的内容都隐藏起来了。也可以说是ajx传输在页面上的,这个时候我们采集的规则就要变动一下。
http://shili.skycaiji.com/info/json/house
{"list":[{"title":"-开头------结尾-"}]}
起始页:
起始页的链接直接输入我们需要采集的页面就可以了,如果有分页的话直接使用多页进行匹配。
内容页这里规则就有点区别了,我们需要用到json的字符串。
list.*.url
点击测试一下
链接全部获取到了,是不是很简单呢;相对于正则或者xpath来说更加的便捷,直接用字符串就全部匹配了,接下来我们开始写获取内容字段。
标题:data.title 地址:data.address 均价:data.price 户型:data.huxing 标签:data.tags
规则其实和刚才我们上一步内容链接是一样的直接用字符串获取;写好以后点击保存;点击测试效果如下。
好了,以上教程由蜀戎网独家制作完成,禁止转载复制!如还有不明白的欢迎下方留言。
- 1蓝天采集器JSON采集时,列表页即是内容页,采集卡死重采会重复采集
- 2163K网站系统网站系统环境配置和建站教程
- 3蓝天采集器怎么样采集商品首图
- 4蓝天采集器安装不了,啥情况
- 5蓝天采集器自动采集具体怎么用呢,需要服务器支持什么
- 6SEO站长每天需要做的9件事
- 7蓝天采集器Discuz发布帖子不显示缩略图
- 8极致cms管理员后台左侧菜单不显示了如何恢复操作教程
- 9蓝天采集器群主希望能支持destoon7.0
- 10蓝天采集器采集到的数据是JSON数据,怎么转化成正常可展示的数据
- 11阿里云ESC服务器linux系统CentOS7.6安装SSL工具FinalShell教程
- 12蓝天采集器请问关联页的内容怎么采集啊?
- 13proc_open函数如何开启操作教程
- 14如何获取当前页面cookie填写在蓝天采集器里面
- 15蓝天采集器采集入库有问题!!!!!!!!!!!!!!!!
- 16pbootcms首页只调用推荐的文章的教程
- 17pbootcms常见标签调用学习
- 18蓝天采集器伪静态后台有问题
- 19蓝天采集器请在官方推荐的站点下载,勿下载任何第三方提供的软件
- 20蓝天采集器如何开启渲染模式触发防采集功能
-
PbootCMS性能优化研究之网页响···
博主最近刚好碰到客户的网站首页打开慢,2s左右,这里的速度值得是,F12打开开发者工具选择Network查看对应的域名加载速度,如下图Waiting花了1.95s,正常页面这块速度一般是1s内,现在的速度肯定是不及格的,那么有没办法优化下呢···
-
PbootCMS出现登录失败,表单提···
1、如果出现 登入失败,表单提交校验失败 ,请检查您的服务器环境,然后刷新页面重试或者是删除 runtime 文件夹,然后刷新页面重试2、如果 多次密码错误导致登录界面锁定,可以删除网站的 runtime 文件夹,然后刷新页面重试3、如果登···
-
手把手教你做PbootCMS自动替换···
本篇主要是为这篇文章(未备案域名怎么使用国内cdn加速网站?)进行pbootcms相关补充,主要为了解决网站放在香港小水管主机图片加载太慢问题,或者放国内主机带宽小且网站图片多。此二开实现图片走七牛云等提供镜像存储的cdn服务商,这样可以明···
-
蓝天采集器怎样判断获取的图片地址是否···
如题,如果404,则不采集。 解决了,在写入数据库之前加上一个 404判断就行。。如果非404 再写入,如果404返回错误。 你的也是个办法,一般情况下404或者抓取不到图片都会自动跳过抓取 admin 发表于 2018-11-22 ···
-
蓝天采集器蓝天采集器V1.3版本更新···
后台直接升级或上传覆盖的用户升级后必须点击“清除缓存”(或者手动删除SkycaijiApp/Runtime目录),后台首页刷新界面会出现“升级数据库”,点击升级即可! V1.3修复的BUG · 自动采集不能执行、执行停止等 · 无法检测到···