亚马逊采集数据原理（讲讲爬虫软件与采集类目数据的原理）

关于采集数据，市面上各类爬虫软件使用，这里简单说说使用，

第一种可以任意采集类目数据，前提给出类目链接（也就是类目id，这里称node id），我想采集某个bestseller或某个关键词的链接，那么丢下链接即可

第三种：关键词等形式。比如我想采集iphone关键词下的数据，输入iphone 即可，。

     大家很想知道类目数据是如何采集下来的？一个类目十几万到几十万asin数据不等，怎么采?这就是第一种采集方式，第一种很多人比较难理解，一个类目很多关键词产品，如何能采集完呢？那么就需要利用以下方法了。如果我想采集某个小类目，那么你只需要按照下面来：

例如某个类目nodeid的链接如下表示：www.amazon.com/b?node=1044510

nodeDI通用公式：=核心链接 制定数字

www.amazon.com/b?node= 1044510（后台下载ID数字），知道这个规律后即可用爬虫采集任意类目链接分类了，啊哈哈哈，那么你需要采集某个类目只需要去运营后台选择类目id编号，放到这个通用公司里面后把类似“www.amazon.com/b?node=1044510”放到创想这类采集器即可，理论上来说这个类目所有asin都会被采集出来。

这个工具有几年了，鉴于很多童鞋还在用爬虫辛苦爬，可能还不知道现成的软件，我下面给出个简单数据采集软件：淘宝搜创想，使用流程如下。此类软件由于ip会经常被屏蔽，所以下载效果一般是几百条asin数据采集完就会断掉，并不能全部采集完。晓生使用感受，啊哈哈哈。大家也可以用火车头、八爪鱼等采集器，后者有免费且相对简单，火车头就得学上十多个小时了。