欧美成a人片在线观看久,久久久久亚洲av无码专区桃色,久久久婷婷五月亚洲97号色,久久亚洲中文字幕精品一区,另类av

在Python中怎么設(shè)置ip代理來使用的?

發(fā)布時(shí)間:2020-07-10 關(guān)注熱度:°C

  在Pyhton中要怎么使用ip代理?我們經(jīng)常說ip代理能夠讓Python更好的發(fā)揮爬蟲效果,首先我們要懂得如何在python語言中設(shè)置ip代理來利用。

設(shè)置ip代理在Python中使用

  1、urllib模塊設(shè)置代理

  如果我們頻繁用一個(gè)IP去爬取同一個(gè)網(wǎng)站的內(nèi)容,很可能會(huì)被網(wǎng)站封殺IP。其中一種比較常見的方式就是設(shè)置ip代理。

  from urllib import request

  proxy = 'http://39.134.93.12:80'

  proxy_support = request.ProxyHandler({'http': proxy})

  opener = request.build_opener(proxy_support)

  request.install_opener(opener)

  result = request.urlopen('http://baidu.com')

  首先我們需要構(gòu)建一個(gè)ProxyHandler類,隨后將該類用于構(gòu)建網(wǎng)頁代開的opener的類,最后在request中安裝opener

  2、requests模塊使用代理

  該模塊設(shè)置代理非常容易

  import requests

  proxies = {

  'http': 'http://10.10.1.10:3128',

  'https': 'http://10.10.1.10:1080'

  }

  r = requests.get('http://icanhazip.com', proxies=proxies)

  ip代理利用得當(dāng),我們的爬蟲將不會(huì)輕易被網(wǎng)站禁止,這樣就可以順利抓取到我們需要的數(shù)據(jù)信息,幫助了我們爬蟲的效果。

 

版權(quán)聲明:本文為IP海(iphai.cn)原創(chuàng)作品,未經(jīng)許可,禁止轉(zhuǎn)載!

Copyright © www.wibm.ac.cn. All Rights Reserved. IP海 版權(quán)所有.
IP海僅提供中國(guó)內(nèi)IP加速服務(wù),無法跨境聯(lián)網(wǎng),用戶應(yīng)遵守《服務(wù)條款》內(nèi)容,嚴(yán)禁用戶使用IP海從事任何違法犯罪行為。
ICP備案鄂ICP備19030659號(hào)-3 公安備案鄂公網(wǎng)安備42100302000141號(hào) 計(jì)算機(jī)軟件著作權(quán)證計(jì)算機(jī)軟件著作權(quán)證 ICP/EDI許可證ICP/EDI許可證:鄂B2-20200106

微信掃一掃咨詢