對(duì)于網(wǎng)絡(luò)爬蟲(chóng)工作者而言必須通過(guò)爬蟲(chóng)才能夠把那么多的數(shù)據(jù)抓取過(guò)來(lái)，在實(shí)際采集過(guò)程中，爬蟲(chóng)ip被封是很常見(jiàn)的一個(gè)問(wèn)題，但是現(xiàn)在也是有辦法可以減少被封號(hào)的可能的辦法，那就是使用IP代理。

　　我們?cè)谟门老x(chóng)抓取數(shù)據(jù)的過(guò)程中會(huì)遇到很多來(lái)自服務(wù)器的限制，很多服務(wù)器都有防爬機(jī)制，比如說(shuō)我們想抓取豆瓣網(wǎng)的書(shū)評(píng)、影評(píng)之類的，我們經(jīng)常會(huì)遇到的情況就是403 forbidden，然后我們就沒(méi)有辦法繼續(xù)抓取數(shù)據(jù)。這時(shí)候我們可以通過(guò)使用代理服務(wù)器，降低爬取速度，建議采用每秒請(qǐng)求sleep2秒來(lái)解決。

　　
       爬蟲(chóng)阻礙或許可以從下面兩個(gè)原因里面找到答案。

　　1、查驗(yàn)正常情況下瀏覽器遞交的主要參數(shù)，在打算向平臺(tái)網(wǎng)站表單提交或是傳出post請(qǐng)求前，要記得檢查網(wǎng)頁(yè)頁(yè)面內(nèi)容能否每個(gè)數(shù)據(jù)類型己經(jīng)填完，文件格式能否準(zhǔn)確。

　　2、查驗(yàn)JavaScript，一般體現(xiàn)為抓取網(wǎng)頁(yè)頁(yè)面信息空白，缺少信息，或是抓取到的信息與你在電腦瀏覽器上看到的內(nèi)容差異。

　　

       只有找到了問(wèn)題的根源，我們才有辦法來(lái)解決，如果是ip問(wèn)題，那么就使用ip代理，而如果是爬取頻次太快，那么就要對(duì)抓取頻率進(jìn)行降低。在你確實(shí)也不知道該怎么辦的時(shí)候，也可以找到對(duì)應(yīng)的IP代理服務(wù)商咨詢。