其實(shí)開發(fā)網(wǎng)絡(luò)爬蟲并不是很難，可以說沒有技術(shù)含量，難點(diǎn)復(fù)雜的問題（比如DOM樹解析定位、字符集檢測(cè)、海量URL去重）都已經(jīng)被前人解決了，包括代碼本身也很簡(jiǎn)單。網(wǎng)絡(luò)爬蟲類似于游走在機(jī)器的文件查找你需要的文件信息，爬蟲任何人都可以做，但一定需要穩(wěn)定操作并快速及時(shí)獲得成功，那就需要一樣?xùn)|西動(dòng)態(tài)ip。

 

首先爬蟲用戶比較關(guān)心的問題是：

 

1.爬蟲是否支持多線程，爬蟲能不能使用ip代理，能不能抓取重復(fù)數(shù)據(jù)。 爬蟲主要負(fù)責(zé)遍歷網(wǎng)站和下載頁面，爬取js產(chǎn)生的信息與網(wǎng)頁信息提取模塊有關(guān)，往往需要通過ip代理服務(wù)器來完成，通常需要花費(fèi)大量時(shí)間來處理頁面，所以ip代理軟件就是一種策略是利用爬蟲來遍歷網(wǎng)站，遇到需要解析的頁面時(shí)，將頁面的相關(guān)信息提交給瀏覽器，完成對(duì)JS生成信息的提取。  

 

2. 爬蟲可以爬取ajax信息嗎？  

 

網(wǎng)頁上有一些異步加載的數(shù)據(jù)，有兩種方式抓取這些數(shù)據(jù)：使用ip代理軟件或者分析ajax http請(qǐng)求，生成ajax的url自己請(qǐng)求，獲取返回的數(shù)據(jù)。 如果您自己生成Ajax請(qǐng)求，那么使用開源爬蟲有什么意義呢？ 其實(shí)需要用到爬蟲的線程池和URL管理功能（比如斷點(diǎn)爬取）。  

 

3. 爬蟲如何提取網(wǎng)頁信息？  

 

爬蟲一般都集成了網(wǎng)頁提取工具,主要支持兩種類型的規(guī)范：CSS SELECTOR 和 XPATH。  

 

4. 爬蟲是如何保存網(wǎng)頁信息的？  

 

有些爬蟲自帶一個(gè)負(fù)責(zé)持久化的模塊。 可以通過簡(jiǎn)單的配置，爬蟲提取的信息可以持久化到文件、數(shù)據(jù)庫(kù)等中，也有一些爬蟲不直接為用戶提供數(shù)據(jù)持久化模塊。 如 crawler4j 和 webcollector。 讓用戶在網(wǎng)頁處理模塊中添加提交數(shù)據(jù)庫(kù)的操作。

5. 爬蟲被網(wǎng)站屏蔽怎么辦？  

 

爬蟲被網(wǎng)站屏蔽了，一般可以采用動(dòng)態(tài)ip就可以解決。 但是，如果你的爬蟲不直接隨機(jī)變動(dòng)的代理ip地址切換，這樣的用戶往往需要用到靜態(tài)ip，使用固定ip地址來完成任務(wù)。

 

6. 網(wǎng)頁可以調(diào)用爬蟲嗎？  

 

在Web的服務(wù)器端調(diào)用爬蟲你可以像平常一樣使用它，這些爬蟲都可以使用。  

 

7. 爬蟲速度怎么樣？  

 

爬蟲速度慢，往往是因?yàn)橛脩艟€程少，網(wǎng)速慢，或者持久化數(shù)據(jù)時(shí)與數(shù)據(jù)庫(kù)交互慢，這些東西往往是由用戶的機(jī)器和二次開發(fā)代碼決定的，這樣的爬蟲速度非常好。  

 

8. 如果代碼寫對(duì)了數(shù)據(jù)爬不出來，是不是爬蟲有問題？ 換別的爬蟲能解決嗎？  

 

如果代碼寫對(duì)了，數(shù)據(jù)爬不出來，改其他爬蟲一樣爬不出來。 在這種情況下，要么是網(wǎng)站屏蔽了你，要么是您抓取的數(shù)據(jù)是由 javascript 生成的，因?yàn)榕廊〉倪@份數(shù)據(jù)是無法通過改變爬蟲來決定的。  

 

爬蟲目前主要是用于詳細(xì)數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)，比如爬取線程池和任務(wù)隊(duì)列，大家都可以控制，所以我覺得，找一個(gè)好用的就好了，如果業(yè)務(wù)復(fù)雜的，就必須經(jīng)過復(fù)雜的二次開發(fā)才能滿足需求。由此可見，爬蟲爬取數(shù)據(jù)時(shí)，動(dòng)態(tài)ip代理軟件是必不可少的可靠工具！