Python在抓取數(shù)據(jù)時，經(jīng)常會遇到要抓取的網(wǎng)站采用反抓取技術(shù)。高強(qiáng)度、高效率地抓取網(wǎng)頁信息往往會給網(wǎng)站服務(wù)器帶來很大的壓力。因此，如果同一個IP重復(fù)抓取同一個網(wǎng)頁，很可能會被屏蔽。這