本篇內(nèi)容介紹了“python爬蟲代理池搭建的過程”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：空間域名、虛擬空間、營銷軟件、網(wǎng)站建設(shè)、望城網(wǎng)站維護(hù)、網(wǎng)站推廣。

最近在使用爬蟲爬取數(shù)據(jù)時(shí)，經(jīng)常會(huì)返回403代碼，大致意思是該IP訪問過于頻繁，被限制訪問。限制IP訪問網(wǎng)站最常用的反爬手段了，其實(shí)破解也很容易，就是在爬取網(wǎng)站是使用代理即可，這個(gè)IP被限制了，就使用其他的IP。對(duì)于高大上的公司來說，他們基本都使用收費(fèi)的代理，基本不會(huì)有什么問題，比較穩(wěn)定。像我這樣的矮矬窮，肯定是用不起收費(fèi)的代理。一般都是使用國內(nèi)免費(fèi)的代理，網(wǎng)上也有很多提供免費(fèi)的代理。

很多人都是從網(wǎng)上爬取一批免費(fèi)的代理IP，存放在存儲(chǔ)媒介中，例如excel文件或者數(shù)據(jù)庫。定時(shí)維護(hù)代理，保證代理可用。這個(gè)做法有個(gè)缺點(diǎn)，有些機(jī)器上并沒有裝有excel或者mysql、redis等數(shù)據(jù)庫，這就導(dǎo)致了的代理池?zé)o法正常使用。

我之前是做java開發(fā)的，經(jīng)常會(huì)把一些常用的數(shù)據(jù)放在ArrayList中，使用起來非常方便，效率高，因此借鑒之前在java方面的經(jīng)驗(yàn)，將代理IP爬取下來存放在list列表中中，將list列表當(dāng)做一個(gè)代理池，經(jīng)常維護(hù)這個(gè)池里的代理。

我經(jīng)常爬取免費(fèi)代理的網(wǎng)站xicidaili swei360等，這些免費(fèi)的代理足夠我使用了，能夠應(yīng)付大多數(shù)的爬蟲工作。爬取過程需要用到requests和pyquery庫，沒有安裝的同學(xué)自行安裝。

首先介紹下爬取xicidaili網(wǎng)站的過程， 要先定義一個(gè)方法用于抓取xicidaili網(wǎng)站的，參數(shù)有兩個(gè)，一個(gè)是url，另外一個(gè)是要爬取代理網(wǎng)頁的頁數(shù)，也就是要爬幾頁，方法如下：

def get_xicidaili_proxy(url,page):
  for i in range(1,page):
    headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    response = requests.get(url + str(i), headers=headers)

    html = response.text
    doc = pq(html)
    ip_list = doc('#ip_list')('tr:gt(0)').items()
    for item in ip_list:
      ip = item.find('td:nth-child(2)').text()
      port = item.find('td:nth-child(3)').text()
      http_type = item.find('td:nth-child(6)').text()
      proxy_ip = http_type + "://" + ip + ":" + port
      if http_type == 'HTTP':
        http_proxy_pool.append(proxy_ip)
      elif http_type == 'HTTPS':
        https_proxy_pool.append(proxy_ip)
      # print(proxy_ip)

定義了http_proxy_pool和https_proxy_pool兩個(gè)list變量，用于存儲(chǔ)http類型和https類型的代理。 使用PyQuery根據(jù)css偽選擇器提取出ip，端口和http類型信息，并按照http:// + ip+port的方式組合成一個(gè)字符串，存儲(chǔ)在已經(jīng)定義好的http_proxy_tool和https_proxy_pool變量中。

爬取swei360網(wǎng)站代理的方法就不貼出來了，原理和爬取xicidaili網(wǎng)站是一樣的。

一個(gè)代理在使用之前要判斷是否可用，我們使用request的get請(qǐng)求的返回代碼判斷代理是否可用，返回200，就說明代理可用，返回其他的代碼就表示代理不可用，代碼如下：

def detect_proxy(test_url,http_type,proxy):
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
  proxy={
    http_type : proxy
  }
  try:
    response = requests.get(test_url,proxies=proxy,headers=headers)
    if response.status_code in [200]:
      print('代理可用',proxy)
      return True
    else:
      print('代理不可用', proxy);
      delete_proxy(http_type,proxy)
      return False
  except(requests.exceptions.ProxyError,RequestException):
    print('代理不可用', proxy)
    delete_proxy(http_type, proxy)
    return False

定義了detect_proxy方法用于檢測(cè)代理是否可用，有三個(gè)參數(shù)，分別是測(cè)試網(wǎng)址，代理類型(http和https)和代理IP。當(dāng)requests的請(qǐng)求返回200代碼時(shí)，就表示該代理可用，返回True，否則就是不可用，返回False。當(dāng)遇到request異常或者其他的錯(cuò)誤也認(rèn)為代理不可用，返回False。對(duì)于不可用的代理，要從代理池中刪除。

從代理池中獲取代理時(shí)，我們使用的是從代理池中隨機(jī)返回一個(gè)代理，這樣就避免經(jīng)常使用一個(gè)代理，從而遭到拒絕訪問。代碼如下：

def get_https_proxy():
  proxy_ip = random.choice(https_proxy_pool)
  return proxy_ip

def get_http_proxy():
  proxy_ip = random.choice(http_proxy_pool)
  return proxy_ip

為了保證代理的可用，當(dāng)檢測(cè)到一個(gè)代理不可用時(shí)，要及時(shí)的清理掉。就是從http_proxy_pool和https_proxy_pool列表中刪除。

一個(gè)簡單的爬蟲代理池已經(jīng)搭建好,總結(jié)下爬蟲代理池搭建的過程：

• 從免費(fèi)的代理網(wǎng)站上爬取代理信息，存放在列表中。

• 提供從代理池中隨機(jī)獲取代理的方法。http類型的網(wǎng)站要使用http類型的代理，https類型的網(wǎng)站要使用https類型的代理，因此分別提供獲取http和https類型代理的方法。

• 提供檢測(cè)代理是否可用的方法，代理可用返回True，不可用返回False。

• 提供刪除代理的方法。

這個(gè)代理池其實(shí)相當(dāng)?shù)暮唵?，有一個(gè)弊端就是在檢測(cè)代理是否可用時(shí)，如果返回的不是200代碼就認(rèn)為代理不可用，返回其他代碼的情況有很多，例如網(wǎng)絡(luò)不可用、測(cè)試網(wǎng)站不可訪問等。比較好的做法是給每個(gè)代理設(shè)置一個(gè)分值，例如10分，如果檢測(cè)到不可用就減1，當(dāng)分?jǐn)?shù)為0時(shí)，就確定該代理不可用，直接從代理池中移除。檢測(cè)到代理可用，就將分?jǐn)?shù)設(shè)為10分。

這種做法給每個(gè)檢測(cè)到不可用代理一個(gè)改邪歸正的機(jī)會(huì)，不至于一刀切的拋棄掉。

“python爬蟲代理池搭建的過程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

名稱欄目：python爬蟲代理池搭建的過程-創(chuàng)新互聯(lián)
URL鏈接：http://www.rwnh.cn/article24/csejce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、App開發(fā)、靜態(tài)網(wǎng)站、網(wǎng)站排名、網(wǎng)站維護(hù)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)