社區(qū) 發(fā)現(xiàn) 其它網(wǎng)絡(luò)技術(shù) 亞馬遜識別了、啟動了反爬機(jī)制嗎?為什么同...
亞馬遜識別了、啟動了反爬機(jī)制嗎?為什么同樣用加速器(靜態(tài)IP),我的電腦用加速器換各種IP都會報(bào)錯(cuò),爬的東西無論是BSR,評論,詳情也都會出驗(yàn)證碼和狗,另兩個(gè)同事同樣的代碼同樣的節(jié)點(diǎn)完全沒問題
然后奇怪的是,用著同一個(gè)爬蟲代碼,但是我的電腦的爬蟲代碼永遠(yuǎn)都會報(bào)錯(cuò)出驗(yàn)證碼或者直接出狗。而同事的,用同一個(gè)驗(yàn)證碼缺沒問題。爬取一樣的內(nèi)容,用的加速器節(jié)點(diǎn)也是一樣的,唯一不同的就是電腦不同,爬的東西無論是BSR,評論,詳情也都會出驗(yàn)證碼和狗,然后另外兩個(gè)同事爬同樣的東西同樣的代碼同樣的節(jié)點(diǎn),完全沒問題。
有沒有IT大神可以幫忙解決一下為什么呢?
我的猜想是因?yàn)閬嗰R遜識別了啟動了反爬機(jī)制,但是作為爬蟲,正常不會對電腦識別,更多的是對網(wǎng)絡(luò)識別,但是同樣的網(wǎng)絡(luò)為什么會有那么大的不同?
10 個(gè)回復(fù)
AMZ魔輪 - 非機(jī)構(gòu)認(rèn)證用戶禁止服務(wù)廣告信息或聯(lián)系方式
贊同來自: 貓魯魯 、 strawJerry 、 Q403003090 、 野獸先輩 、 cw509999 、 淡橘色的加州陽光 、 Nickay 、 聚又散 、 zhuzhu1991 、 saldmslk 更多 ?
1、亞馬遜自己維護(hù)了一個(gè)ip庫,經(jīng)常爬數(shù)據(jù)的ip、或者很多人用的公共代理ip,就容易被判為爬蟲,輕則出驗(yàn)證碼,重則爬啥都是狗
2、亞馬遜會檢查請求頭完整性,這塊最重要的是user-agent,如果能模擬用戶正常操作下帶cookie去訪問最好
3、亞馬遜的反爬判斷是有個(gè)動態(tài)調(diào)節(jié)的機(jī)制,用戶訪問高峰期,比如晚上、大促期間,反爬力度會減弱
所以,你可以嘗試 更換ip、更換header的user-agent、帶cookie訪問、換個(gè)時(shí)間段訪問
?