爬蟲時ip限制問題的最佳解決辦法，首當其沖換IP是必須的操作，建議一定要使用代理IP，然后我們在有外網(wǎng)IP的機器上，部署爬蟲ip代理，程序就會用服務(wù)器代理ip來替代你訪問想要采集的網(wǎng)站，就算IP被屏蔽了，直接換下一個ip，程序邏輯也不會發(fā)生什么改變，代理ip軟件還有設(shè)置cookies的處理。

      其次，有的網(wǎng)站對登陸用戶政策寬松些，而有些網(wǎng)站相對嚴格，爬蟲也需要設(shè)置限制查詢的頻率，盡可能模擬正常用戶的行為，訪問頁面的順序可以隨機著來，正統(tǒng)的做法是調(diào)用該網(wǎng)站提供的服務(wù)接口。網(wǎng)站封的依據(jù)一般是單位時間內(nèi)特定IP的訪問次數(shù)，所以我們需要將采集的任務(wù)按目標站點的IP進行分組，通過控制每個IP在單位時間內(nèi)發(fā)出任務(wù)的個數(shù)避免被封。