[使用案例]使用ip代理爬取貓眼電影案例
使用ip代理爬蟲的好處其中一點就是我們不用擔(dān)心我們的IP被網(wǎng)站封禁了,ip代理更換IP,這樣我們就能夠繼續(xù)訪問網(wǎng)站了,爬蟲程序也能夠繼續(xù)進(jìn)行。
ProxyHandler處理(代理服務(wù)器),使用ip代理,是爬蟲的常用手段,通常使用UserAgent 偽裝瀏覽器爬取仍然可能被網(wǎng)站封了IP,但是我們使用ip代理就不怕它封了我們的IP了。
基本使用步驟:
1、設(shè)置代理地址
2、創(chuàng)建ProxyHandler
3、創(chuàng)建Opener
4、安裝Opener# 使用代理服務(wù)器訪問貓眼
以下是代碼部分:
# https://maoyan.com/
from urllib import request,error
'''
'''
if __name__ == '__main__':
url = "https://baidu.com/"
# 1.設(shè)置代理地址
proxy = {'http': '218.60.8.83:3129'}
# 2.創(chuàng)建ProxyHandler
proxy_handler = request.ProxyHandler(proxy)
# 3.創(chuàng)建Opener
opener = request.build_opener(proxy_handler)
# 4.安裝Opener
request.install_opener(opener)
# 下面再進(jìn)行訪問url就會使用代理服務(wù)器
try:
rsp = request.urlopen(url)
html = rsp.read().decode()
print(html)
except error.HTTPError as e:
print(e)
except Exception as e:
print(e)
上面IP海介紹了一個比較基礎(chǔ)的爬取貓眼電影的操作,大家可以通過這幾個步驟來了解ip代理的使用。
版權(quán)聲明:本文為IP海(iphai.cn)原創(chuàng)作品,未經(jīng)許可,禁止轉(zhuǎn)載!
Copyright © www.wibm.ac.cn. All Rights Reserved. IP海 版權(quán)所有.
IP海僅提供中國內(nèi)IP加速服務(wù),無法跨境聯(lián)網(wǎng),用戶應(yīng)遵守《服務(wù)條款》內(nèi)容,嚴(yán)禁用戶使用IP海從事任何違法犯罪行為。
鄂ICP備19030659號-3
鄂公網(wǎng)安備42100302000141號
計算機軟件著作權(quán)證
ICP/EDI許可證:鄂B2-20200106