社區(qū) 發(fā)現(xiàn) 其它網(wǎng)絡(luò)技術(shù) 亞馬遜識(shí)別了、啟動(dòng)了反爬機(jī)制嗎？為什么同...
亞馬遜識(shí)別了、啟動(dòng)了反爬機(jī)制嗎？為什么同樣用加速器（靜態(tài)IP），我的電腦用加速器換各種IP都會(huì)報(bào)錯(cuò)，爬的東西無(wú)論是BSR，評(píng)論，詳情也都會(huì)出驗(yàn)證碼和狗，另兩個(gè)同事同樣的代碼同樣的節(jié)點(diǎn)完全沒問題
發(fā)帖6次
被置頂0次
被推薦0次
質(zhì)量分2星
回帖互動(dòng)41次
歷史交流熱度31.34%
歷史交流深度0%
如題，公司有三個(gè)同事，同樣是用這一個(gè)加速器，同一個(gè)賬號(hào)，3太電腦，節(jié)點(diǎn)都是一樣的。
然后奇怪的是，用著同一個(gè)爬蟲代碼，但是我的電腦的爬蟲代碼永遠(yuǎn)都會(huì)報(bào)錯(cuò)出驗(yàn)證碼或者直接出狗。而同事的，用同一個(gè)驗(yàn)證碼缺沒問題。爬取一樣的內(nèi)容，用的加速器節(jié)點(diǎn)也是一樣的，唯一不同的就是電腦不同，爬的東西無(wú)論是BSR，評(píng)論，詳情也都會(huì)出驗(yàn)證碼和狗，然后另外兩個(gè)同事爬同樣的東西同樣的代碼同樣的節(jié)點(diǎn)，完全沒問題。
有沒有IT大神可以幫忙解決一下為什么呢？
我的猜想是因?yàn)閬嗰R遜識(shí)別了啟動(dòng)了反爬機(jī)制，但是作為爬蟲，正常不會(huì)對(duì)電腦識(shí)別，更多的是對(duì)網(wǎng)絡(luò)識(shí)別，但是同樣的網(wǎng)絡(luò)為什么會(huì)有那么大的不同？
然后奇怪的是，用著同一個(gè)爬蟲代碼，但是我的電腦的爬蟲代碼永遠(yuǎn)都會(huì)報(bào)錯(cuò)出驗(yàn)證碼或者直接出狗。而同事的，用同一個(gè)驗(yàn)證碼缺沒問題。爬取一樣的內(nèi)容，用的加速器節(jié)點(diǎn)也是一樣的，唯一不同的就是電腦不同，爬的東西無(wú)論是BSR，評(píng)論，詳情也都會(huì)出驗(yàn)證碼和狗，然后另外兩個(gè)同事爬同樣的東西同樣的代碼同樣的節(jié)點(diǎn)，完全沒問題。
有沒有IT大神可以幫忙解決一下為什么呢？
我的猜想是因?yàn)閬嗰R遜識(shí)別了啟動(dòng)了反爬機(jī)制，但是作為爬蟲，正常不會(huì)對(duì)電腦識(shí)別，更多的是對(duì)網(wǎng)絡(luò)識(shí)別，但是同樣的網(wǎng)絡(luò)為什么會(huì)有那么大的不同？
倒計(jì)時(shí)：
10 個(gè)回復(fù)
AMZ魔輪 - 非機(jī)構(gòu)認(rèn)證用戶禁止服務(wù)廣告信息或聯(lián)系方式
贊同來(lái)自: 貓魯魯 、 strawJerry 、 Q403003090 、 野獸先輩 、 cw509999 、 淡橘色的加州陽(yáng)光 、 Nickay 、 聚又散 、 zhuzhu1991 、 saldmslk 更多 ?
1、亞馬遜自己維護(hù)了一個(gè)ip庫(kù)，經(jīng)常爬數(shù)據(jù)的ip、或者很多人用的公共代理ip，就容易被判為爬蟲，輕則出驗(yàn)證碼，重則爬啥都是狗
2、亞馬遜會(huì)檢查請(qǐng)求頭完整性，這塊最重要的是user-agent，如果能模擬用戶正常操作下帶cookie去訪問最好
3、亞馬遜的反爬判斷是有個(gè)動(dòng)態(tài)調(diào)節(jié)的機(jī)制，用戶訪問高峰期，比如晚上、大促期間，反爬力度會(huì)減弱
所以，你可以嘗試 更換ip、更換header的user-agent、帶cookie訪問、換個(gè)時(shí)間段訪問
?