有一些用戶反饋在使用了優質穩定ip代理、控制了訪問速度和次數，爬蟲工作還是會碰到不那么的順利進行，不能高效的爬取到大量數據，每天的工作任務又不能拖，都要準時完成。遇到這種情況我們要怎么處理呢?

　　每一個網站反爬蟲策略都不相同，需要根據具體問題進行分析。

　　第一，使用高質量的ip代理。

　　第二，設定好header信息，不僅僅是UserAgent、Referer這兩個，以及許多其他的header值，都可以在瀏覽器中打開開發者模式（按F12）并瀏覽網址查看；

　　第三，處理好Cookie，把Cookies信息儲存出來，之后再下次請求時帶上Cookie；

　　第四，假如根據header和cookie還不能爬到數據，那么可以考慮模擬瀏覽器采集，常見的技術是PhantomJS；

　　再結合使用動態ip海ip代理爬蟲爬取數據就容易的多了。

版權聲明：本文為ipadsl.cn所屬公司原創作品，未經許可，禁止轉載！