在Python中怎么設(shè)置ip代理來使用的?
在Pyhton中要怎么使用ip代理?我們經(jīng)常說ip代理能夠讓Python更好的發(fā)揮爬蟲效果,首先我們要懂得如何在python語言中設(shè)置ip代理來利用。
1、urllib模塊設(shè)置代理
如果我們頻繁用一個(gè)IP去爬取同一個(gè)網(wǎng)站的內(nèi)容,很可能會(huì)被網(wǎng)站封殺IP。其中一種比較常見的方式就是設(shè)置ip代理。
from urllib import request
proxy = 'http://39.134.93.12:80'
proxy_support = request.ProxyHandler({'http': proxy})
opener = request.build_opener(proxy_support)
request.install_opener(opener)
result = request.urlopen('http://baidu.com')
首先我們需要構(gòu)建一個(gè)ProxyHandler類,隨后將該類用于構(gòu)建網(wǎng)頁代開的opener的類,最后在request中安裝opener
2、requests模塊使用代理
該模塊設(shè)置代理非常容易
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080'
}
r = requests.get('http://icanhazip.com', proxies=proxies)
ip代理利用得當(dāng),我們的爬蟲將不會(huì)輕易被網(wǎng)站禁止,這樣就可以順利抓取到我們需要的數(shù)據(jù)信息,幫助了我們爬蟲的效果。
版權(quán)聲明:本文為IP海(iphai.cn)原創(chuàng)作品,未經(jīng)許可,禁止轉(zhuǎn)載!
Copyright © www.wibm.ac.cn. All Rights Reserved. IP海 版權(quán)所有.
IP海僅提供中國(guó)內(nèi)IP加速服務(wù),無法跨境聯(lián)網(wǎng),用戶應(yīng)遵守《服務(wù)條款》內(nèi)容,嚴(yán)禁用戶使用IP海從事任何違法犯罪行為。
鄂ICP備19030659號(hào)-3
鄂公網(wǎng)安備42100302000141號(hào)
計(jì)算機(jī)軟件著作權(quán)證
ICP/EDI許可證:鄂B2-20200106