社區(qū) 發(fā)現(xiàn) Amazon 【原創(chuàng)】亞馬遜全站點(diǎn)評(píng)論采集器，可批量，...
【原創(chuàng)】亞馬遜全站點(diǎn)評(píng)論采集器，可批量，永久免費(fèi)。
發(fā)帖12次
被置頂0次
被推薦0次
質(zhì)量分1星
回帖互動(dòng)405次
歷史交流熱度55.28%
歷史交流深度0%
Hello, 大家好。
本程序是由python編寫，專用于爬取Asin的評(píng)論，這是該程序的最初版本，目前是自用于美國站點(diǎn)，后面功能會(huì)慢慢增加。作出幾點(diǎn)說明：
?
1. 該程序?yàn)閱尉€程，樓主條件有限，暫時(shí)沒有購買代理ip, 所以無法維護(hù)自己的代理池，如果不用代理ip的話，直接使用多線程百分百會(huì)被亞馬遜干掉，單線程和多線程的區(qū)別也只是爬取速度上的區(qū)別，目前單線程是足夠用的。
?
2. 該程序第一次使用會(huì)先創(chuàng)建Asin_list.txt文件，你需要先將目標(biāo)asin填寫到txt文件中，數(shù)量沒有限制，一行一個(gè)，asin錯(cuò)誤會(huì)讓程序運(yùn)行失敗。
?
3. 因?yàn)槭亲杂茫瑳]有給程序?qū)懸粋€(gè)美觀的ui, 使用的是dos界面（全自動(dòng)爬取，感覺也不需要ui）,圖標(biāo)也沒有更換，湊合著用吧。
?
4. 目前爬取的內(nèi)容包括Review的 ： 評(píng)論人名字， 星級(jí)， 發(fā)布時(shí)間，驗(yàn)證購買， 評(píng)論標(biāo)題， 評(píng)論內(nèi)容。內(nèi)容將保存在 xls文件中。 其他的內(nèi)容看你們需不需要，需要的話是可以加進(jìn)去的。
?
5. 本程序永久免費(fèi)，不定期維護(hù)更新，請(qǐng)勿出售買賣（雖然很多賣家根本看不上這個(gè)程序，但是流程還是要走的呀，哈哈）。
?
6. 如果大家發(fā)現(xiàn)了一些bug或是不合理的地方，請(qǐng)指出，我會(huì)及時(shí)回復(fù)和修復(fù)。
?
9-12更新：
新加入爬取內(nèi)容：變體評(píng)論標(biāo)識(shí)，點(diǎn)贊數(shù)，評(píng)論的評(píng)論數(shù)。提升了爬取速度(爬取大幾千或幾萬評(píng)論的時(shí)候，后期可能會(huì)變慢或假死，變慢是因?yàn)榇罅康恼?qǐng)求堵塞網(wǎng)絡(luò)，假死可能是被亞馬遜檢測(cè)到了，導(dǎo)致重新建立連接也失敗)，后續(xù)將添加其他所有站點(diǎn)的爬取選項(xiàng)。不定期更新。
?
9-12下午更新：
新加入 全站點(diǎn)爬取評(píng)論，日本站除外(要科學(xué)shangwang才行)。需要注意，因?yàn)槭桥颗廊?，所以同站點(diǎn)的Asin放在txt文件中是沒有問題的，但是如果將幾個(gè)站點(diǎn)的asin放在一起，這樣是無法爬取成功的。另外樓主的網(wǎng)絡(luò)訪問各個(gè)站點(diǎn)都很慢，測(cè)試的效果不是很好，具體效果請(qǐng)你們自行測(cè)試，如果發(fā)現(xiàn)有什么bug和其他問題，可以給我留言。
9-23更新：
新加入Color內(nèi)容爬取，之前只爬取了是否屬于變體。
?
10-12更新：
由于亞馬遜更新了Rating概念，導(dǎo)致之前版本爬取出錯(cuò)，現(xiàn)已修復(fù)，如發(fā)現(xiàn)其他問題，請(qǐng)留言。新版本鏈接已更新。
?
10-22更新：
修復(fù)小語種站點(diǎn)的爬取問題，重構(gòu)代碼，目前版本全站點(diǎn)都能用（nl,jp,cn除外），此版本相比于之前版本速度會(huì)稍慢一點(diǎn)，第一次運(yùn)行程序會(huì)觸發(fā)系統(tǒng)提示，允許連接就行了或者右鍵以管理員身份運(yùn)行也可以。如程序卡死可能是電腦配置和網(wǎng)絡(luò)問題，也有可能是亞馬遜前臺(tái)的問題，多試幾次就好，后續(xù)版本會(huì)嘗試新的爬蟲庫優(yōu)化爬取速度，最終版本應(yīng)該會(huì)是圖形化界面一體程序（包含評(píng)論爬取，QA爬取，listing基本信息爬取等等），后續(xù)版本不定期更新。
10-22下午更新：
新增評(píng)論鏈接爬取，大幅度優(yōu)化爬取速度，全站點(diǎn)都能用（nl,jp,cn除外）。
?
10-25更新：
更新單文件版，更換原始圖標(biāo)，該程序依賴谷歌瀏覽器，使用前需提前安裝好谷歌瀏覽器。
?
12-26更新：
修復(fù)部分小問題，新增加爬取評(píng)論者Profile。
?
2020-1-7說明：
因某種特殊原因，停止所有亞馬遜系列軟件的開發(fā)和更新。
2020-11-4更新：
加入了日本站點(diǎn)，抽空更新了一下，現(xiàn)在能正常使用了。?
藍(lán)奏云網(wǎng)盤?：?
https://wwa.lanzous.com/b0cer69nc
密碼:5rud
?
亞馬遜全站點(diǎn)QA采集器 傳送門：http://xrfireworks.com.cn/question/13565
本程序是由python編寫，專用于爬取Asin的評(píng)論，這是該程序的最初版本，目前是自用于美國站點(diǎn)，后面功能會(huì)慢慢增加。作出幾點(diǎn)說明：
?
1. 該程序?yàn)閱尉€程，樓主條件有限，暫時(shí)沒有購買代理ip, 所以無法維護(hù)自己的代理池，如果不用代理ip的話，直接使用多線程百分百會(huì)被亞馬遜干掉，單線程和多線程的區(qū)別也只是爬取速度上的區(qū)別，目前單線程是足夠用的。
?
2. 該程序第一次使用會(huì)先創(chuàng)建Asin_list.txt文件，你需要先將目標(biāo)asin填寫到txt文件中，數(shù)量沒有限制，一行一個(gè)，asin錯(cuò)誤會(huì)讓程序運(yùn)行失敗。
?
3. 因?yàn)槭亲杂茫瑳]有給程序?qū)懸粋€(gè)美觀的ui, 使用的是dos界面（全自動(dòng)爬取，感覺也不需要ui）,圖標(biāo)也沒有更換，湊合著用吧。
?
4. 目前爬取的內(nèi)容包括Review的 ： 評(píng)論人名字， 星級(jí)， 發(fā)布時(shí)間，驗(yàn)證購買， 評(píng)論標(biāo)題， 評(píng)論內(nèi)容。內(nèi)容將保存在 xls文件中。 其他的內(nèi)容看你們需不需要，需要的話是可以加進(jìn)去的。
?
5. 本程序永久免費(fèi)，不定期維護(hù)更新，請(qǐng)勿出售買賣（雖然很多賣家根本看不上這個(gè)程序，但是流程還是要走的呀，哈哈）。
?
6. 如果大家發(fā)現(xiàn)了一些bug或是不合理的地方，請(qǐng)指出，我會(huì)及時(shí)回復(fù)和修復(fù)。
?
9-12更新：
新加入爬取內(nèi)容：變體評(píng)論標(biāo)識(shí)，點(diǎn)贊數(shù)，評(píng)論的評(píng)論數(shù)。提升了爬取速度(爬取大幾千或幾萬評(píng)論的時(shí)候，后期可能會(huì)變慢或假死，變慢是因?yàn)榇罅康恼?qǐng)求堵塞網(wǎng)絡(luò)，假死可能是被亞馬遜檢測(cè)到了，導(dǎo)致重新建立連接也失敗)，后續(xù)將添加其他所有站點(diǎn)的爬取選項(xiàng)。不定期更新。
?
9-12下午更新：
新加入 全站點(diǎn)爬取評(píng)論，日本站除外(要科學(xué)shangwang才行)。需要注意，因?yàn)槭桥颗廊?，所以同站點(diǎn)的Asin放在txt文件中是沒有問題的，但是如果將幾個(gè)站點(diǎn)的asin放在一起，這樣是無法爬取成功的。另外樓主的網(wǎng)絡(luò)訪問各個(gè)站點(diǎn)都很慢，測(cè)試的效果不是很好，具體效果請(qǐng)你們自行測(cè)試，如果發(fā)現(xiàn)有什么bug和其他問題，可以給我留言。
9-23更新：
新加入Color內(nèi)容爬取，之前只爬取了是否屬于變體。
?
10-12更新：
由于亞馬遜更新了Rating概念，導(dǎo)致之前版本爬取出錯(cuò)，現(xiàn)已修復(fù)，如發(fā)現(xiàn)其他問題，請(qǐng)留言。新版本鏈接已更新。
?
10-22更新：
修復(fù)小語種站點(diǎn)的爬取問題，重構(gòu)代碼，目前版本全站點(diǎn)都能用（nl,jp,cn除外），此版本相比于之前版本速度會(huì)稍慢一點(diǎn)，第一次運(yùn)行程序會(huì)觸發(fā)系統(tǒng)提示，允許連接就行了或者右鍵以管理員身份運(yùn)行也可以。如程序卡死可能是電腦配置和網(wǎng)絡(luò)問題，也有可能是亞馬遜前臺(tái)的問題，多試幾次就好，后續(xù)版本會(huì)嘗試新的爬蟲庫優(yōu)化爬取速度，最終版本應(yīng)該會(huì)是圖形化界面一體程序（包含評(píng)論爬取，QA爬取，listing基本信息爬取等等），后續(xù)版本不定期更新。
10-22下午更新：
新增評(píng)論鏈接爬取，大幅度優(yōu)化爬取速度，全站點(diǎn)都能用（nl,jp,cn除外）。
?
10-25更新：
更新單文件版，更換原始圖標(biāo)，該程序依賴谷歌瀏覽器，使用前需提前安裝好谷歌瀏覽器。
?
12-26更新：
修復(fù)部分小問題，新增加爬取評(píng)論者Profile。
?
2020-1-7說明：
因某種特殊原因，停止所有亞馬遜系列軟件的開發(fā)和更新。
2020-11-4更新：
加入了日本站點(diǎn)，抽空更新了一下，現(xiàn)在能正常使用了。?
藍(lán)奏云網(wǎng)盤?：?
https://wwa.lanzous.com/b0cer69nc
密碼:5rud
?
亞馬遜全站點(diǎn)QA采集器 傳送門：http://xrfireworks.com.cn/question/13565
倒計(jì)時(shí)：
76 個(gè)回復(fù)
惟手熟爾 - 天知曉，大道至簡
贊同來自: Mirrors 、 M-Riley 、 lenger 、 kuayue72 、 舍得不舍得 、 liuyi61 、 Nick_Xian 、 dreamy219 、 xiaomage 、 胡帥逼 、 丑八怪 、 我是GGbang 、 beescan 、 遲早是富婆 、 我是Dl 、 lzy13643982631 、 gentle864 、 weixin65047 、 AKB48-翠花 、 matt0886 、 一介凡人 、 歪比巴卜 、 cathy0223 、 柯南是音癡 更多 ?