我们在使用蓝天采集器采集内容的时候会遇到一些加载在别的页面上的信息;但是呢有一些内容呢又需要在内容里面关联获取到这个时候呢我们就需要加上关联页。
何为关联页呢:比如从内容页面获取到ID;但是没有相关的url链接,这个时候呢我们就需要把采集到的ID和相关联的链接进行组合为一个内容链接,这个就是关联页。
我们采集这个新浪体育的评论;
https://sports.sina.com.cn/basketball/nba/2020-09-26/doc-iivhuipp6514843.shtml
我们的内容直接在页面上可以采集到,但是评论确不在页面上,这种情况就需要我们用关联页来进行采集。
操作教程如下:直接F12查看源代码;查找我们需要采集的的内容;如上图所示是我们的内容所在区域,通过这里的开头和结尾标签就可以直接把内容采集到。接下来我们就需要找评论链接了。
源代码里面是没有我们的评论链接的直接点击页面查看所有评论;
以上的链接就是我们评论的链接,但是我们查看源代码的时候发现页面上没有需要的内容说明它是ajx传输的,直接F12刷新。
我们刷新看到内容已经出来了;链接为:
http://comment5.news.sina.com.cn/page/info?format=json&channel=ty&newsid=comos-ivhuipp6514843
到这里的我们的评论就已经找到了接下来就是在采集器里面添加规则了;
comos-ivhuipp6514843 复制这个ID在内容页面搜索即可找到;
添加好了记得保存点击测试一下;
关联页测试成功说明我们的规则是对了的,接下来就是写内容字段了。
相关知识点:- 1蓝天采集器新手采集咨询
- 2蓝天采集器请在官方推荐的站点下载,勿下载任何第三方提供的软件
- 3蓝天采集器后台更新系统失败
- 4蜀戎云推广AI智能营销生态系统12月优惠活动
- 5极致cms使用常见问题集合
- 6蓝天采集器版主吧群公布出来吧。
- 7蓝天采集器想爬去的页面 需要点击开始后才能出结果 怎么爬取
- 8蓝天采集器自动采集-访问触发 里面的参数怎么啊?有没有大神解答一下
- 9蓝天采集器怎么取到图片的名字啊
- 10蓝天采集器如何倒序采集
- 11蓝天采集器数据库发布时遇到组合的怎么办
- 12html5外贸营销型网站建设方案
- 13蓝天采集器发布设置问题
- 14蓝天采集器翻译功能是可以使用的吗,我测试了很多国外网站都不行。
- 15蓝天采集器什么时候能自己用的一些小问题
- 16pbootcms您访问路径含有非法字符,防注入系统提醒您请勿尝试非法操作!
- 17蓝天采集器怎么样采集商品首图
- 18163K网站系统升S版前注意事项和准备工作
- 19让PbootCMS上传的文件使用原名称
- 20蓝天采集器怎么才能循环采集某个页面的相同值
-
163K网站系统浏览器中的网站图标(···
网站的favicon.ico图标设置:1、 把格式为ico的图标文件命名为favicon 尺寸大小一般用16px*16px2、 把favicon.ico上传到服务器的网站根目录,更新浏览器缓存即可。如何上传文件到服务器(无需FTP):1、远···
-
蓝天采集器开启自动采集设置PHP-C···
相信许多的站长在使用蓝天采集器的时候,都想着自动采集信息更新到我们的网站里面。在后台开启了自动采集,老是一会儿就自动停止了;什么原因呢?答:主要是受到采集源站的网站服务器响应限制,不是我们采集器不行!蓝天采集器自带了三种模式,我们就用PHP···
-
Typecho1.1轻博客在线安装操···
Typecho轻博客程序,使用的人群也是非常的多,今天在写蓝天采集器的时候有网友推荐过来,索性就安装了一个并且写了一套免登陆的API,蜀戎网呢把安装教程给大家演示一下,希望能帮助到您。主机环境必须达到:PHP 5.1以上Mysql, Pos···
-
宝塔控制面板php.ini文件在那个···
宝塔控制面板作为一款服务器操作面板来说非常的便捷,功能性强大,傻瓜化操作,就算是个新手也很容易就上手了。php.ini文件在哪里找?关于php.ini配置文件,是站长们经常都会用到的,很多人不清楚宝塔面板的php.ini配置文件在哪里php···
-
html5外贸营销型网站建设方案
外贸网站网站建设是外贸企业的第一步,因为主要客户是海外市场,于是,一个好的外贸网站就成了一个窗口,向海外客户展示企业产品、宣传企业理念、维护企业形象,通过互联网打造品牌。外贸网站的面向用户主要为国外客户,所以除了文字采用英文外,风格设计、页···