国产成人剧情av麻豆果冻,国产无遮挡又爽又黄的视频,天天躁夜夜躁狠狠躁婷婷,性色香蕉av久久久天天网,真人性生交免费视频

亞馬遜識別了、啟動了反爬機制嗎?為什么同樣用加速器(靜態(tài)IP),我的電腦用加速器換各種IP都會報錯,爬的東西無論是BSR,評論,詳情也都會出驗證碼和狗,另兩個同事同樣的代碼同樣的節(jié)點完全沒問題

發(fā)帖6次 被置頂0次 被推薦0次 質(zhì)量分2星 回帖互動41次 歷史交流熱度31.34% 歷史交流深度0%
如題,公司有三個同事,同樣是用這一個加速器,同一個賬號,3太電腦,節(jié)點都是一樣的。

然后奇怪的是,用著同一個爬蟲代碼,但是我的電腦的爬蟲代碼永遠都會報錯出驗證碼或者直接出狗。而同事的,用同一個驗證碼缺沒問題。爬取一樣的內(nèi)容,用的加速器節(jié)點也是一樣的,唯一不同的就是電腦不同,爬的東西無論是BSR,評論,詳情也都會出驗證碼和狗,然后另外兩個同事爬同樣的東西同樣的代碼同樣的節(jié)點,完全沒問題。

有沒有IT大神可以幫忙解決一下為什么呢?

我的猜想是因為亞馬遜識別了啟動了反爬機制,但是作為爬蟲,正常不會對電腦識別,更多的是對網(wǎng)絡(luò)識別,但是同樣的網(wǎng)絡(luò)為什么會有那么大的不同?
已邀請:

AMZ魔輪 - 非機構(gòu)認證用戶禁止服務(wù)廣告信息或聯(lián)系方式

贊同來自: 貓魯魯 、 strawJerry Q403003090 、 野獸先輩 cw509999 、 淡橘色的加州陽光 Nickay 、 聚又散 、 zhuzhu1991 saldmslk 更多 ?

專業(yè)爬蟲30年 幫你解答下這個問題,首先說下亞馬遜的反爬機制:

1、亞馬遜自己維護了一個ip庫,經(jīng)常爬數(shù)據(jù)的ip、或者很多人用的公共代理ip,就容易被判為爬蟲,輕則出驗證碼,重則爬啥都是狗
2、亞馬遜會檢查請求頭完整性,這塊最重要的是user-agent,如果能模擬用戶正常操作下帶cookie去訪問最好
3、亞馬遜的反爬判斷是有個動態(tài)調(diào)節(jié)的機制,用戶訪問高峰期,比如晚上、大促期間,反爬力度會減弱
所以,你可以嘗試 更換ip、更換header的user-agent、帶cookie訪問、換個時間段訪問
?
要回復(fù)問題請先登錄注冊

加入賣家社群
關(guān)注公眾號
加入線下社群
廣告 ×
10s