【原創(chuàng)】亞馬遜全站點評論采集器，可批量，永久免費。

發(fā)帖12次被置頂0次被推薦0次質(zhì)量分1星回帖互動405次歷史交流熱度55.28% 歷史交流深度0%

Hello, 大家好。
本程序是由python編寫，專用于爬取Asin的評論，這是該程序的最初版本，目前是自用于美國站點，后面功能會慢慢增加。作出幾點說明：
?
1. 該程序為單線程，樓主條件有限，暫時沒有購買代理ip, 所以無法維護(hù)自己的代理池，如果不用代理ip的話，直接使用多線程百分百會被亞馬遜干掉，單線程和多線程的區(qū)別也只是爬取速度上的區(qū)別，目前單線程是足夠用的。
?
2. 該程序第一次使用會先創(chuàng)建Asin_list.txt文件，你需要先將目標(biāo)asin填寫到txt文件中，數(shù)量沒有限制，一行一個，asin錯誤會讓程序運行失敗。
?
3. 因為是自用，沒有給程序?qū)懸粋€美觀的ui, 使用的是dos界面（全自動爬取，感覺也不需要ui）,圖標(biāo)也沒有更換，湊合著用吧。
?
4. 目前爬取的內(nèi)容包括Review的：評論人名字，星級，發(fā)布時間，驗證購買，評論標(biāo)題，評論內(nèi)容。內(nèi)容將保存在 xls文件中。其他的內(nèi)容看你們需不需要，需要的話是可以加進(jìn)去的。
?
5. 本程序永久免費，不定期維護(hù)更新，請勿出售買賣（雖然很多賣家根本看不上這個程序，但是流程還是要走的呀，哈哈）。
?
6. 如果大家發(fā)現(xiàn)了一些bug或是不合理的地方，請指出，我會及時回復(fù)和修復(fù)。
?
9-12更新：
新加入爬取內(nèi)容：變體評論標(biāo)識，點贊數(shù)，評論的評論數(shù)。提升了爬取速度(爬取大幾千或幾萬評論的時候，后期可能會變慢或假死，變慢是因為大量的請求堵塞網(wǎng)絡(luò)，假死可能是被亞馬遜檢測到了，導(dǎo)致重新建立連接也失敗)，后續(xù)將添加其他所有站點的爬取選項。不定期更新。
?
9-12下午更新：
新加入全站點爬取評論，日本站除外(要科學(xué)shangwang才行)。需要注意，因為是批量爬取，所以同站點的Asin放在txt文件中是沒有問題的，但是如果將幾個站點的asin放在一起，這樣是無法爬取成功的。另外樓主的網(wǎng)絡(luò)訪問各個站點都很慢，測試的效果不是很好，具體效果請你們自行測試，如果發(fā)現(xiàn)有什么bug和其他問題，可以給我留言。

9-23更新：
新加入Color內(nèi)容爬取，之前只爬取了是否屬于變體。
?
10-12更新：
由于亞馬遜更新了Rating概念，導(dǎo)致之前版本爬取出錯，現(xiàn)已修復(fù)，如發(fā)現(xiàn)其他問題，請留言。新版本鏈接已更新。
?
10-22更新：
修復(fù)小語種站點的爬取問題，重構(gòu)代碼，目前版本全站點都能用（nl,jp,cn除外），此版本相比于之前版本速度會稍慢一點，第一次運行程序會觸發(fā)系統(tǒng)提示，允許連接就行了或者右鍵以管理員身份運行也可以。如程序卡死可能是電腦配置和網(wǎng)絡(luò)問題，也有可能是亞馬遜前臺的問題，多試幾次就好，后續(xù)版本會嘗試新的爬蟲庫優(yōu)化爬取速度，最終版本應(yīng)該會是圖形化界面一體程序（包含評論爬取，QA爬取，listing基本信息爬取等等），后續(xù)版本不定期更新。

10-22下午更新：
新增評論鏈接爬取，大幅度優(yōu)化爬取速度，全站點都能用（nl,jp,cn除外）。
?
10-25更新：
更新單文件版，更換原始圖標(biāo)，該程序依賴谷歌瀏覽器，使用前需提前安裝好谷歌瀏覽器。
?
12-26更新：
修復(fù)部分小問題，新增加爬取評論者Profile。
?

2020-1-7說明：
因某種特殊原因，停止所有亞馬遜系列軟件的開發(fā)和更新。

2020-11-4更新：
加入了日本站點，抽空更新了一下，現(xiàn)在能正常使用了。?

藍(lán)奏云網(wǎng)盤?：?
https://wwa.lanzous.com/b0cer69nc
密碼:5rud
?
亞馬遜全站點QA采集器傳送門：http://xrfireworks.com.cn/question/13565