亚马逊商品采集爬虫代码

2020-03-16 16:10:37 来源：www.yimisoft.com

利用爬虫采集亚马逊商品是很多在做亚马逊的小伙伴们常常做的事情，可以节省不少时间，也还有人还学习，下面一米软件就来给大家分享一下亚马逊商品采集爬虫代码。

亚马逊商品采集爬虫代码

亚马逊爬虫首先通过获取亚马逊所有类目的URL，即从第一层大类，一直获取到第六层小类。通过这些类目URL可以依次抓取到这些类目某段时间的Top100的商品(类目下的爆款)，这些Top100的商品排名我们称为小类排名，每个小时会变一次，但是由于变化基本不会太频繁以及抓取的商品数量很多，基本能覆盖。

亚马逊爬虫支持：

1、列表页和详情页可选择代理方式

2、多浏览器保存cookie机制

3、机器人检测达到阈值自动换代理

4、检测日期过期自动停止程序

5、IP池扫描周期填充代理IP

6、支持分布式跨平台抓取

7、高并发进程设置抓取

8、默认网页爬取去重

9、日志记录功能

配套可视化网站，支持多角度查看数据，小类数据，大类数据，Asin数据和类目数据，支持查看每件Asin商品的历史记录，如排名，价格，打分，reviews变化。部分数据支持导出，且网站支持RBAC权限，可分配每部分数据的查看和使用权限。

网络端监控爬虫，可查看爬虫当前时段数据抓取状态，爬取的进度，IP的消耗程度。可支持网络端启动和停止爬虫，彻底成为Saas(待做)

可自定义填入IP，如塞入其他代理IP网站API获取的IP

可选择HTML文件保存本地

分布式，高并发，跨平台，多站点，多种自定义配置，极强的容错能力是这个爬虫的特点。机器数量和IP代理足够情况下，每天每个站点可满足抓取几百万的商品数据。