蓝天采集器这采集软件可以采集1688商品所有数据吗

如题:这采集软件可以采集1688商品所有数据吗?

因为1688所有商品。 商品分类 。详情都是采用JS获取数据的。 这个可以采集吗
可以，不过要麻烦点，最主要是要用谷歌调试分析出ajax网址

admin 发表于 2018-6-20 21:54
可以，不过要麻烦点，最主要是要用谷歌调试分析出ajax网址

我查到得到1688分类列表 JS 封装链接https://s.1688.com/selloffer/rpc_async_render.jsonp?keywords=%B7%E7%D2%C2+%C5%AE&startIndex=0&earseDirect=false&n=y&pageSize=60&filtHolidayTagId=10010608&rpcflag=new&async=true&filt=y&templateConfigName=marketOfferresult&enableAsync=true&qrwRedirectEnabled=false&asyncCount=20&_pageName_=market&offset=0&uniqfield=pic_tag_id&leftP4PIds=&callback=jQuery172040178795798940836_1529718390471&beginPage=2


但是蓝天采集怎么得到这些数据。
你这是jsonp格式数据，首先要获取json数据，添加个字段 规则匹配出json

1. jQueryd+_d+([内容1])s*$

复制代码

然后再添加字段用json提取 数据

admin 发表于 2018-6-23 23:08
你这是jsonp格式数据，首先要获取json数据，添加个字段 规则匹配出json

jQueryd+_d+([内容1])s*$ 这段规则是用于哪里。

怎么采集产品详情页 跳转登入页面？？？

zhanqi123 发表于 2018-6-24 09:37
jQueryd+_d+([内容1])s*$ 这段规则是用于哪里。

字段 规则匹配 的规则

zhanqi123 发表于 2018-6-24 12:02
怎么采集产品详情页 跳转登入页面？？？

要登录的页面，把浏览器cookie复制到 采集器设置》请求头信息》cookie数据

admin 发表于 2018-6-23 23:08
你这是jsonp格式数据，首先要获取json数据，添加个字段 规则匹配出json

问题是这是起始网址数据。得到内容页网址。。。你说的字段只能用于内容。 没有这块呀 页面中的json数据没转换就是文本而已，只要内容页网址 用正则匹配出来就行了

相关知识点： 数据 这是 字段