嘗試過網(wǎng)絡(luò)爬蟲的，可能會(huì)遇到過反爬蟲，這會(huì)讓我們的爬蟲中斷無法繼續(xù)訪問網(wǎng)站。這是因?yàn)槲覀兊膇p原因，如果你一直用同一個(gè)ip來訪問，訪問多了就會(huì)被加入到黑名單中。

　　那么，我們可以通過獲得ip代理來使用，通過動(dòng)態(tài)ip代理來突破限制。今天，我們來學(xué)習(xí)一個(gè)抓取ip代理的教程。

　　這個(gè)爬蟲將通過解析免費(fèi)代理的頁面獲取代理，之后存儲(chǔ)到j(luò)db2中。每個(gè)爬蟲程序?qū)⑹褂脜f(xié)程的方式同步獲取代理。

　　解析頁面獲取數(shù)據(jù)，通過觀察頁面可以發(fā)現(xiàn)頁面上的數(shù)據(jù)都是以表格的形式進(jìn)行排列的，我們使用調(diào)試功能查看一下源代碼。

　　通過觀察頁面我們可以通過bs4庫提供的功能進(jìn)行頁面數(shù)據(jù)提取，也可以通過xapth進(jìn)行頁面數(shù)據(jù)提取，以下代碼將通過xapth進(jìn)行頁面數(shù)據(jù)與提取。

　　使用tornado來定義一個(gè)簡單的http服務(wù)，來提供http api獲取數(shù)據(jù)。

　　最后通過http://ip:8080/api?totle=10獲取指定個(gè)數(shù)的可用代理(支持get/post方法)。

　　雖然免費(fèi)ip不花錢是很爽，但是大家也要盡量少用，因?yàn)槊赓M(fèi)的ip安全確實(shí)不大過關(guān)，而且連接也不夠穩(wěn)定。