ip海的運(yùn)用方式有很多，如果我們需要批量獲取數(shù)據(jù)，要自己手動(dòng)一條條來(lái)收集是不是會(huì)花費(fèi)很多的時(shí)間，而且這也非常的麻煩，但是如果通過(guò)爬蟲(chóng)抓取，那么就簡(jiǎn)單多了。

　　下面IP海以用ip代理爬取貼吧數(shù)據(jù)為例： 先寫(xiě)一個(gè)main，提示用戶輸入要爬取的貼吧名，并用urllib.urlencode()進(jìn)行轉(zhuǎn)碼，然后組合url，假設(shè)是lol吧

　　那么組合后的url就是：tieba.baidu.com/f?kw=lol

　　接下來(lái)，我們寫(xiě)一個(gè)百度貼吧爬蟲(chóng)接口，我們需要傳遞3個(gè)參數(shù)給這個(gè)接口， 一個(gè)是main里組合的url地址，以及起始頁(yè)碼和終止頁(yè)碼，表示要爬取頁(yè)碼的范圍。

　　我們已經(jīng)之前寫(xiě)出一個(gè)爬取一個(gè)網(wǎng)頁(yè)的代碼。現(xiàn)在，我們可以將它封裝成一個(gè)小函數(shù)loadPage，供我們使用。

　　最后如果我們希望將爬取到了每頁(yè)的信息存儲(chǔ)在本地磁盤上，我們可以簡(jiǎn)單寫(xiě)一個(gè)存儲(chǔ)文件的接口 。

　　其實(shí)很多網(wǎng)站都是這樣的，同類網(wǎng)站下的html頁(yè)面編號(hào)，分別對(duì)應(yīng)網(wǎng)址后的網(wǎng)頁(yè)序號(hào)，只要發(fā)現(xiàn)規(guī)律就可以批量爬取頁(yè)面了。

　　所以做個(gè)爬蟲(chóng)并不是特別難，如果還是沒(méi)有代碼不清楚是什么回事，也不要緊，我們根據(jù)簡(jiǎn)單去看看，以這個(gè)為模板，更換其中一些代碼即可。

　　這樣通過(guò)爬蟲(chóng)，我們能夠簡(jiǎn)化操作，而且也可以不用那么枯燥的一條條自己手動(dòng)來(lái)記錄。