很多人做爬蟲(chóng)工作不使用代理IP也能完成工作，很多人做爬蟲(chóng)工作選擇免費(fèi)ip代理也能完成工作，但是在分布式爬蟲(chóng)工作中，并沒(méi)有人愿意選擇免費(fèi)代理IP，這是為什么？

 

一般小型爬蟲(chóng)任務(wù)不需要代理IP就可以完成，如果工作量較大，可以用免費(fèi)代理IP完成。但如果是分布式爬蟲(chóng)，就意味著工作量非常大，需要很高的工作效率，而免費(fèi)代理是達(dá)不到要求的。

 

 

 

自由代理緩慢、不穩(wěn)定且效率低下。如果普通小型公司不追求效率，可以慢慢爬。如果分布式爬蟲(chóng)使用免費(fèi)代理IP工作，是達(dá)不到分布式爬蟲(chóng)的效果。

 

 

 

免費(fèi)代理IP多為透明代理IP和通用代理IP。如果選擇高匿代理IP，IP量足以支持分布式爬蟲(chóng)，如果選擇透明代理IP和不可見(jiàn)代理IP，很容易被目標(biāo)網(wǎng)站識(shí)別，因?yàn)閮烧叨紩?huì)暴露用戶在使用代理IP發(fā)送請(qǐng)求。

 

 

 

綜上所述，分布式爬蟲(chóng)必須選擇優(yōu)質(zhì)代理IP，而不是免費(fèi)ip代理。使用國(guó)內(nèi)專用網(wǎng)的動(dòng)態(tài)撥號(hào)虛擬服務(wù)器動(dòng)態(tài)IP海代理軟件就很不錯(cuò)，非常使用這些網(wǎng)絡(luò)工作者，延時(shí)低，ip資源充足。