我們經(jīng)常在爬取網(wǎng)站時(shí)設(shè)置ip代理來避免爬蟲程序中被封號，而獲取ip地址的方式通常來自提取國內(nèi)的知名ip代理商提供的ip資源，代理商一般分為透明代理，匿名代理，高匿代理，區(qū)別的方式相信大家也都學(xué)習(xí)了很多，為了更進(jìn)一步的去認(rèn)識，接下來了解一下ip代理的工作原理吧。

　　代理ip的類型主要取決于代理服務(wù)器端的配置。不同配置會形成不同的代理類型。在配置中，這三個(gè)變量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR是決定性因素。

　　1)REMOTE_ADDR

　　REMOTE_ADDR表示客戶端的IP，但是它的值不是由客戶端提供的，而是服務(wù)器根據(jù)客戶端的IP指定的。

　　如果使用瀏覽器直接訪問某個(gè)網(wǎng)站，那么網(wǎng)站的web服務(wù)器（Nginx、Apache等）就會把REMOTE_ADDR設(shè)為客戶端的IP地址。

　　如果我們給瀏覽器設(shè)置代理ip，我們訪問目標(biāo)網(wǎng)站的請求會先經(jīng)過代理服務(wù)器軟件，然后由代理服務(wù)器將請求轉(zhuǎn)化到目標(biāo)網(wǎng)站。那么網(wǎng)站的web服務(wù)器就會把REMOTE_ADDR設(shè)為代理服務(wù)器的IP。

　　2）X-Forwarded-For（XFF）

　　X-Forwarded-For是一個(gè)HTTP擴(kuò)展頭部，用來表示HTTP請求端真實(shí)IP。當(dāng)客戶端使用了代理時(shí)，web服務(wù)器就不知道客戶端的真實(shí)IP地址。為了避免這個(gè)情況，代理服務(wù)器通常會增加一個(gè)X-Forwarded-For的頭信息，把客戶端的IP添加到頭信息里面。

　　X-Forwarded-For請求頭格式如下：

　　X-Forwarded-For:client,proxy1,proxy2

　　client表示客戶端的IP地址；proxy1是離服務(wù)端最遠(yuǎn)的設(shè)備IP;proxy2是次級代理設(shè)備的IP；從格式中，可以看出從client到server是可以有多層代理的。

　　如果一個(gè)HTTP請求到達(dá)服務(wù)器之前，經(jīng)過了三個(gè)代理Proxy1、Proxy2、Proxy3，IP分別為IP1、IP2、IP3，用戶真實(shí)IP為IP0，那么按照XFF標(biāo)準(zhǔn)，服務(wù)端最終會收到以下信息：

　　X-Forwarded-For:IP0,IP1,IP2

　　Proxy3直連服務(wù)器，它會給XFF追加IP2，表示它是在幫Proxy2轉(zhuǎn)發(fā)請求。列表中并沒有IP3，IP3可以在服務(wù)端通過Remote Address字段獲得。我們知道HTTP連接基于TCP連接，HTTP協(xié)議中沒有IP的概念，Remote Address來自TCP連接，表示與服務(wù)端建立TCP連接的設(shè)備IP，在這個(gè)例子里就是IP3。

　　3）HTTP_VIA

　　via是HTTP協(xié)議里面的一個(gè)header,記錄了一次HTTP請求所經(jīng)過的代理和網(wǎng)關(guān)，經(jīng)過1個(gè)代理服務(wù)器，就添加一個(gè)代理服務(wù)器的信息，經(jīng)過2個(gè)就添加2個(gè)。

       以上內(nèi)容大概了解代理ip原理的幾種方式，都知道高度匿名代理不改變客戶機(jī)的請求，這樣在服務(wù)器看來就像有個(gè)真正的客戶瀏覽器在訪問它，這時(shí)客戶的真實(shí)IP是隱藏的，服務(wù)器端不會認(rèn)為我們使用了代理ip工具。因此，爬蟲程序需要使用到ip代理時(shí)，盡量選擇普通匿名代理和高匿名代理，另外，如果要保證數(shù)據(jù)不被代理服務(wù)器知道，推薦使用HTTPS協(xié)議的代理。

       國內(nèi)知名品牌動態(tài)IP海就很符合，提供高質(zhì)量ip，并且可以很方便地指定在哪些地區(qū)切換，穩(wěn)定性也不錯(cuò)，適用于一些對IP質(zhì)量要求較高的爬蟲項(xiàng)目。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！