教你如何抓取免費(fèi)ip代理的方式
在網(wǎng)上看到我們可以通過(guò)抓取一些提供免費(fèi)ip代理的網(wǎng)站,來(lái)使用ip代理,可以怎么樣來(lái)抓取呢?下面IP海來(lái)教大家一個(gè)方法,大家可以參考看看,以下是操作代碼:
#coding=utf-8
import re
import urllib.request
import urllib.parse
import os
from urllib.error import URLError,HTTPError
url='http://www.kuaidaili.com/ops/' #http://www.xicidaili.com/ http://www.proxy#/default.aspx http://www.kuaidaili.com/ops/
headers={'Accept':'text/html,application/xhtml+xm…plication/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding':'gzip,deflate',
'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Host':'fs.xicidaili.com',
'Cookie':'Hm_lvt_0cf76c77469e965d2957f0553e6ecf59=1511441689,1511784134,1511785760; Hm_lpvt_0cf76c77469e965d2957f0553e6ecf59=1511785760',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/57.0'
}
headers=urllib.parse.urlencode(headers).encode('utf8')
rep=urllib.request.Request(url,headers)
reponse=urllib.request.urlopen(rep)
html=reponse.read().decode(encoding='UTF-8')
reg=r'(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)'
ip_list=re.findall(reg,html)
print(ip_list)
f=open('ip.txt','a')
f.write(str(ip_list)+' ')
f.close()
這樣我們就能夠把網(wǎng)站上面提供的免費(fèi)IP抓取來(lái)使用了,但是要注意免費(fèi)IP的質(zhì)量比較不穩(wěn)定,需要經(jīng)過(guò)檢測(cè)才可以使用。
版權(quán)聲明:本文為IP海(iphai.cn)原創(chuàng)作品,未經(jīng)許可,禁止轉(zhuǎn)載!
Copyright © www.wibm.ac.cn. All Rights Reserved. IP海 版權(quán)所有.
IP海僅提供中國(guó)內(nèi)IP加速服務(wù),無(wú)法跨境聯(lián)網(wǎng),用戶應(yīng)遵守《服務(wù)條款》內(nèi)容,嚴(yán)禁用戶使用IP海從事任何違法犯罪行為。
鄂ICP備19030659號(hào)-3
鄂公網(wǎng)安備42100302000141號(hào)
計(jì)算機(jī)軟件著作權(quán)證
ICP/EDI許可證:鄂B2-20200106