小編這次要給大家分享的是如何解決Python常見反爬蟲機(jī)制,文章內(nèi)容豐富,感興趣的小伙伴可以來(lái)了解一下,希望大家閱讀完這篇文章之后能夠有所收獲。
1、使用代理
適用情況:限制IP地址情況,也可解決由于“頻繁點(diǎn)擊”而需要輸入驗(yàn)證碼登陸的情況。
這種情況最好的辦法就是維護(hù)一個(gè)代理IP池,網(wǎng)上有很多免費(fèi)的代理IP,良莠不齊,可以通過(guò)篩選找到能用的。對(duì)于“頻繁點(diǎn)擊”的情況,我們還可以通過(guò)限制爬蟲訪問(wèn)網(wǎng)站的頻率來(lái)避免被網(wǎng)站禁掉。
proxies = {'http':'http://XX.XX.XX.XX:XXXX'} Requests: import requests response = requests.get(url=url, proxies=proxies) Urllib2: import urllib2 proxy_support = urllib2.ProxyHandler(proxies) opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler) urllib2.install_opener(opener) # 安裝opener,此后調(diào)用urlopen()時(shí)都會(huì)使用安裝過(guò)的opener對(duì)象 response = urllib2.urlopen(url)
分享文章:如何解決Python常見反爬蟲機(jī)制-創(chuàng)新互聯(lián)
本文來(lái)源:http://www.rwnh.cn/article14/csocde.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站維護(hù)、域名注冊(cè)、App設(shè)計(jì)、響應(yīng)式網(wǎng)站、ChatGPT、自適應(yīng)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容