如题:这采集软件可以采集1688商品所有数据吗?
因为1688所有商品。 商品分类 。详情都是采用JS获取数据的。 这个可以采集吗
可以,不过要麻烦点,最主要是要用谷歌调试分析出ajax网址
admin 发表于 2018-6-20 21:54
可以,不过要麻烦点,最主要是要用谷歌调试分析出ajax网址
我查到得到1688分类列表 JS 封装链接https://s.1688.com/selloffer/rpc_async_render.jsonp?keywords=%B7%E7%D2%C2+%C5%AE&startIndex=0&earseDirect=false&n=y&pageSize=60&filtHolidayTagId=10010608&rpcflag=new&async=true&filt=y&templateConfigName=marketOfferresult&enableAsync=true&qrwRedirectEnabled=false&asyncCount=20&_pageName_=market&offset=0&uniqfield=pic_tag_id&leftP4PIds=&callback=jQuery172040178795798940836_1529718390471&beginPage=2
但是蓝天采集怎么得到这些数据。
你这是jsonp格式数据,首先要获取json数据,添加个字段 规则匹配出json
- jQueryd+_d+([内容1])s*$
然后再添加字段用json提取 数据
admin 发表于 2018-6-23 23:08
你这是jsonp格式数据,首先要获取json数据,添加个字段 规则匹配出json
jQueryd+_d+([内容1])s*$ 这段规则是用于哪里。
怎么采集产品详情页 跳转登入页面???
zhanqi123 发表于 2018-6-24 09:37
jQueryd+_d+([内容1])s*$ 这段规则是用于哪里。
字段 规则匹配 的规则
zhanqi123 发表于 2018-6-24 12:02
怎么采集产品详情页 跳转登入页面???
要登录的页面,把浏览器cookie复制到 采集器设置》请求头信息》cookie数据
admin 发表于 2018-6-23 23:08
你这是jsonp格式数据,首先要获取json数据,添加个字段 规则匹配出json
问题是这是起始网址数据。得到内容页网址。。。你说的字段只能用于内容。 没有这块呀 页面中的json数据没转换就是文本而已,只要内容页网址 用正则匹配出来就行了
相关知识点: 数据 这是 字段
- 1蓝天采集器求助-内容页网址获取- 测试时和实际采集时结果不同
- 2蓝天采集器图片本地化问题,请问一下站长
- 3蓝天采集器采集的到内容但是发布时没采集到
- 4狂雨小说CMS后台采集规则教程附带操作演示案例
- 5如何添加阿里云服务器安全组规则
- 6蓝天采集器发布到数据库失败
- 7pbootcms分类栏目都调用一级栏目的banner图教程
- 8蓝天采集器邮箱发出去的文字都是乱码
- 9蓝天采集器能做成帖对贴更新的功能吗?
- 10蓝天采集器请问什么时候支持多页采集?
- 11蓝天采集器的数据库账号密码配置文件"data/config.php"
- 12蓝天采集器发布方式不能选择post方式发布嘛?
- 13蓝天采集器建议
- 14蓝天采集器蓝天采集器安装好后仍提示安装
- 15蓝天采集器蓝天采集器安装时候出现的问题
- 16PbootCMS后台登录验证码看不清怎么回事?
- 17蓝天采集器只能手机访问的站点,怎么采集?
- 18蓝天采集器采集保存API问题
- 19蓝天采集器发布到本地数据库失败
- 20PbootCMS前台和后台搜索中带字符搜不到结果,例如·:
-
蓝天采集器无法抓取内容页网址为相对地···
列表里面的内容网址都是先对地址,前面没有域名,导致无法抓取网址 大家帮忙看看 http://jtw.beijing.gov.cn/lzj/xxgk/ztbxx/zhbxx/ 任务》采集器设置》自动补全网址
-
PbootCMS附件上传失败报错UN···
PbootCMS附件上传时报错:上传失败:UNKNOW: Code: 8192; Desc: stripos(): Non-string needles will be interpreted as strings in the futur···
-
163K网站系统《163K网站系统》···
《163K网站系统》HTTPS介绍、基本教程、代操作套餐服务 一、什么是HTTPS 请参见度娘:https://baike.baidu.com/item/https/285356?fr=aladdin 二、为什么要实现H···
-
蓝天采集器建议增加关键字TAG提取
后期可以优化 可以先用 数据处理》函数 来实现,需要你自己写个函数
-
蓝天采集器发布设置问题
zblog自动检测检测不出来,使用数据绑定,一直提示CMS路径不能为空,求解 php7的问题,切换低版本 admin 发表于 2018-7-11 21:58 php7的问题,切换低版本 OK,问题已解决