有些文章内容太长会采用分页模式来显示,以文章“http://shili.skycaiji.com/article/news/pg/id/20.html”为例
首先我们在“采集器设置》获取内容》内容分页”中开启分页
文章一般都是正文有分页,我们将“正文”字段添加为“分页内容字段”
文章页面图片:
图中我们可以看到有4种分页形式:完整分页、上下分页、完整分页JS模式和上下分页JS模式
分页连接的格式为:article/news/pg/id/数字.html?page=数字
通过“测试》分析网页”功能获取到各个分页区域的xpath:
完整分页://*[@id="page_list"]/li[1]
上下分页://*[@id="page_list"]/li[3]
完整分页JS模式://*[@id="page_list"]/li[2]
上下分页JS模式://*[@id="page_list"]/li[4]
以上xpath值可以在“内容分页》获取分页区域”中设置以获取固定区域的分页链接,否则将获取整个页面的分页链接
分页链接规则:
完整分页和上下分页直接通过a标签获取链接即可:
JS模式分页通过查看源码发现链接格式为:
使用规则匹配出分页链接:
因为JS模式不能自动补全网址,所以要在“拼接成最终分页链接”中填写:
为了防止匹配到非分页链接,在“内容分页》分页网址过滤》必须包含”中填写“page=”,精准一些则用“article/news/pg/id/d+.html?page=d+”
我们测试下“完整分页JS模式”的链接抓取
“测试》抓取分页”效果
注意:很多网站由于程序问题会出现2种格式的文章首页链接,比如示例中的文章首页链接为:http://shili.skycaiji.com/article/news/pg/id/20.html和http://shili.skycaiji.com/article/news/pg/id/20.html?page=1(从第二页开始文章首页为该链接),这2个链接内容是一样的会导致文章首页重复抓取
解决方法:在“内容分页》分页网址过滤》不能包含”中填写“page=1$”即排除掉第一页链接
常见问题:
上下页模式每次只能抓取一个分页链接能采集完整吗?可以的,程序会根据下一页自动抓取到最后一页,可以用“测试》抓取字段”看看数据是否抓取完整
如果分页链接顺序打乱了,文章分页内容会乱吗?不会的,程序自动根据分页编号排序,会按照正常分页顺序采集内容
最大分页数是怎么回事?是为了防止出现死循环,当实际分页数不超过最大分页数时使用实际分页数,超过最大分页数时使用最大分页数
- 1163K网站系统图片系统+七牛云存储配置教程
- 2蓝天采集器批量采集百度下拉框关键词视频+图文教程
- 3PbootCMS设置标题样式规则后栏目seo标题无效问题解决
- 4163K网站系统微信支付配置教程(S版)
- 5163K网站系统二维码跳转进入小程序--待完善
- 6蓝天采集器如何采集百度搜索结果教程
- 7linux系统centos7安装chrome的操作教程
- 8蓝天采集器请问 获取内容页中,内容以JSON方式获取,无法循环入库
- 9163K网站系统微信支付申请设置说明(X版)
- 10蓝天采集器请问发布方式的自定义插件是使用方法
- 11蓝天采集器无法获取post方式获得的列表页面
- 12PbootCMS如何限制后台图片上传大小
- 13蓝天采集器如何卸载删除操作教程
- 14火车头采集器伪原创php插件
- 15蓝天采集器远程图片采集下来能否保存至阿里云OSS图片服务器?
- 16蓝天采集器三级网页采集方式?
- 17PbootCMS英文站搜索结果页面包屑和标题翻译
- 18蓝天采集器能不能在或者内容页的时候也能用XPATH
- 19蓝天采集器wrodpress本地调试出错怎么办
- 20蓝天采集器起始网址无法通过POST方式批量获取列表页
-
PbootCMS发布的内容带反斜杠不···
拿pbootcms来做博客的可能会碰到个问题,那就是发布些教程的时候需要添加路径描述时,例如需要显示ppscommon oute.php的时候,这里的路径里有反斜杠,然后发布后就会发现变成了以下(左侧为错误,右侧为正常):这是为什么呢,经···
-
蓝天采集器数据库发布时遇到组合的怎么···
我的数据库有一个字段内容格式是 "/news/id"前面的 /news/ 是固定的后面的ID是自增主键ID 这样的有好的解决方法吗,/news/auto_id@table_id 行不通 没有这个功能,像这种个性化需求都···
-
蓝天采集器求教高手,安装完成后,进后···
Call to undefined function AdminControllermysql_get_server_info()什么情况 PHP是什么版本? PHP Version 7.1.1 用php7以下版本试试,高版本···
-
七牛云加速域名开启https教程
作为一名站长来说网站页面的打开访问速度是非常重要的一环,如果一个页面加载时间过长,前提:七牛云加速域名开启https,需要有加速域名的ssl证书。一、登录七牛云 http://www.qiniu.com,进入控制台,在产品主页-S···
-
手把手教你做PbootCMS自动替换···
本篇主要是为这篇文章(未备案域名怎么使用国内cdn加速网站?)进行pbootcms相关补充,主要为了解决网站放在香港小水管主机图片加载太慢问题,或者放国内主机带宽小且网站图片多。此二开实现图片走七牛云等提供镜像存储的cdn服务商,这样可以明···