在使用爬蟲多次爬取同一網站時，經常會被網站的IP反爬蟲機制給禁掉，為了解決封禁IP的問題通常會使用ip代理。但也有一部分人在HTTP代理ip的使用存在誤解，他們認為使用了ip代理就能解決一切問題，然而ip代理不是萬能的，它只是一個工具，如果使用不當，一樣會被封IP。
 

　　在進行爬蟲的時候，我們一般都建議使用高匿ip代理，因為只有高匿ip代理才可以真正的隱藏自己的真實IP地址，也就無法判斷近期訪問的IP是否是爬蟲IP。

　　ip代理的匿名度如何分辨?

　　高匿、匿名和透明代理的主要區別在于對方服務器獲取REMOTE_ADDR、HTTP_X_FORWARDED_FOR、HTTP_VIA三個參數的區別。

　　眾所周知，REMOTE_ADDR是無法偽造的。

　　使用透明代理(Transparent)，對方服務器知道你使用了代理，也知道你的真實IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=YourIP

　　使用匿名代理(Anonymous)，對方服務器知道你使用了代理，但不知道你的真實IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=ProxyIP

　　使用高匿名代理(High)，對方服務器不知道你使用了代理，也不知道你的真實IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=NULL，HTTP_X_FORWARDED_FOR=NULL

　　只有盡量地模擬真實用戶正常訪問，才能最大程度地避免被封IP。動態ip海提供海量IP資源，可以多線程同時進行工作，不限并發數，工作效率翻倍，性價比極高，這才是使用ip代理爬蟲采集的正確打開方式。

版權聲明：本文為ipadsl.cn所屬公司原創作品，未經許可，禁止轉載！