社區(qū) 發(fā)現(xiàn) 其它網(wǎng)絡(luò)技術(shù) 亞馬遜識別了、啟動了反爬機制嗎?為什么同...
亞馬遜識別了、啟動了反爬機制嗎?為什么同樣用加速器(靜態(tài)IP),我的電腦用加速器換各種IP都會報錯,爬的東西無論是BSR,評論,詳情也都會出驗證碼和狗,另兩個同事同樣的代碼同樣的節(jié)點完全沒問題
然后奇怪的是,用著同一個爬蟲代碼,但是我的電腦的爬蟲代碼永遠都會報錯出驗證碼或者直接出狗。而同事的,用同一個驗證碼缺沒問題。爬取一樣的內(nèi)容,用的加速器節(jié)點也是一樣的,唯一不同的就是電腦不同,爬的東西無論是BSR,評論,詳情也都會出驗證碼和狗,然后另外兩個同事爬同樣的東西同樣的代碼同樣的節(jié)點,完全沒問題。
有沒有IT大神可以幫忙解決一下為什么呢?
我的猜想是因為亞馬遜識別了啟動了反爬機制,但是作為爬蟲,正常不會對電腦識別,更多的是對網(wǎng)絡(luò)識別,但是同樣的網(wǎng)絡(luò)為什么會有那么大的不同?
10 個回復(fù)
AMZ魔輪 - 非機構(gòu)認證用戶禁止服務(wù)廣告信息或聯(lián)系方式
贊同來自: 貓魯魯 、 strawJerry 、 Q403003090 、 野獸先輩 、 cw509999 、 淡橘色的加州陽光 、 Nickay 、 聚又散 、 zhuzhu1991 、 saldmslk 更多 ?
1、亞馬遜自己維護了一個ip庫,經(jīng)常爬數(shù)據(jù)的ip、或者很多人用的公共代理ip,就容易被判為爬蟲,輕則出驗證碼,重則爬啥都是狗
2、亞馬遜會檢查請求頭完整性,這塊最重要的是user-agent,如果能模擬用戶正常操作下帶cookie去訪問最好
3、亞馬遜的反爬判斷是有個動態(tài)調(diào)節(jié)的機制,用戶訪問高峰期,比如晚上、大促期間,反爬力度會減弱
所以,你可以嘗試 更換ip、更換header的user-agent、帶cookie訪問、換個時間段訪問
?