作為一名數(shù)據(jù)采集者,我們都是知道,一個(gè)網(wǎng)站要是頻繁訪問(wèn)都會(huì)被封IP ,那要怎么解決這個(gè)問(wèn)題呢?不可能一直頻繁的更換設(shè)備,不光數(shù)據(jù)不能同步,這些設(shè)備的成本也是無(wú)法預(yù)計(jì)的,所以這個(gè)時(shí)候就需要代理 IP 了。以億牛云 (https://www.16yun.cn/) 代理為例,代理 IP 在 python 的使用 .
十年建站經(jīng)驗(yàn), 做網(wǎng)站、網(wǎng)站制作客戶的見(jiàn)證與正確選擇。創(chuàng)新互聯(lián)提供完善的營(yíng)銷(xiāo)型網(wǎng)頁(yè)建站明細(xì)報(bào)價(jià)表。后期開(kāi)發(fā)更加便捷高效,我們致力于追求更美、更快、更規(guī)范。
億牛云官網(wǎng)提供了兩種模式的代理使用方式
1. 優(yōu)質(zhì) API 代理:通過(guò) api 連接獲取代理信息,返回的是 ip 和端口。
2. 動(dòng)態(tài)轉(zhuǎn)發(fā)隧道代理:接入固定代理服務(wù)器,動(dòng)態(tài)轉(zhuǎn)發(fā)請(qǐng)求,無(wú)須切換 IP ,連接上代理服務(wù)器后,每一個(gè)請(qǐng)求都是一個(gè)隨機(jī) IP ,按照每秒的請(qǐng)求量進(jìn)行收費(fèi)。
1 先獲取 api 連接
在后臺(tái)直接把代理連接拷貝到程序里面
import requests
# 生成的 API 鏈接
url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12
resp = requests.get(url=url)
if resp.status_code == 200:
data_json = resp.text
for d in data_json['msg']:
port = d['port']
ip = d['ip']
full_ip = ip + ':' + port
print(full_ip)
程序配置好后直接啟動(dòng)程序就可以獲取代理ip ,然后把代理 ip 拼到請(qǐng)求參數(shù)里面就可以進(jìn)行數(shù)據(jù)采集了。
分享題目:python爬蟲(chóng)如何使用代理IP-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址:http://www.rwnh.cn/article26/ichcg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)公司、小程序開(kāi)發(fā)、定制開(kāi)發(fā)、網(wǎng)站策劃、ChatGPT、品牌網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容