這篇文章主要為大家展示了“scrapy-redis如何發(fā)送POST請求”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“scrapy-redis如何發(fā)送POST請求”這篇文章吧。

創(chuàng)新互聯(lián)建站主要從事網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)周村,十載網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):028-86922220

1 引言

這段時間在研究美團(tuán)爬蟲，用的是scrapy-redis分布式爬蟲框架，奈何scrapy-redis與scrapy框架不同，默認(rèn)只發(fā)送GET請求，換句話說，不能直接發(fā)送POST請求，而美團(tuán)的數(shù)據(jù)請求方式是POST，網(wǎng)上找了一圈，發(fā)現(xiàn)關(guān)于scrapy-redis發(fā)送POST的資料寥寥無幾，只能自己剛源碼了。

2 美團(tuán)POST需求說明

先來說一說需求，也就是說美團(tuán)POST請求形式。我們以獲取某個地理坐標(biāo)下，所有店鋪類別列表請求為例。獲取所有店鋪類別列表時，我們需要構(gòu)造一個包含位置坐標(biāo)經(jīng)緯度等信息的表單數(shù)據(jù)，以及為了向下一層parse方法傳遞的一些必要數(shù)據(jù)，即meta，然后發(fā)起一個POST請求。

url：

請求地址，即url是固定的，如下所示：

url = 'http://i.waimai.meituan.com/openh6/poi/filterconditions?_=1557367197922'

url最后面的13位數(shù)字是時間戳，實際應(yīng)用時用time模塊生成一下就好了。

表單數(shù)據(jù)：

form_data = {
 'initialLat': '25.618626',
 'initialLng': '105.644569',
 'actualLat': '25.618626',
 'actualLng': '105.644569',
 'geoType': '2',
 'wm_latitude': '25618626',
 'wm_longitude': '105644569',
 'wm_actual_latitude': '25618626',
 'wm_actual_longitude': '105644569'
}

meta數(shù)據(jù)：

meta數(shù)據(jù)不是必須的，但是，如果你在發(fā)送請求時，有一些數(shù)據(jù)需要向下一層parse方法（解析爬蟲返回的response的方法）中傳遞的話，就可以構(gòu)造這一數(shù)據(jù)，然后作為參數(shù)傳遞進(jìn)request中。

meta = {
 'lat': form_data.get('initialLat'),
 'lng': form_data.get('initialLng'),
 'lat2': form_data.get('wm_latitude'),
 'lng2': form_data.get('wm_longitude'),
 'province': '**省',
 'city': '**市',
 'area': '**區(qū)'
}

3 源碼分析

采集店鋪類別列表時需要發(fā)送怎樣一個POST請求在上面已經(jīng)說明了，那么，在scrapy-redis框架中，這個POST該如何來發(fā)送呢？我相信，打開我這篇博文的讀者都是用過scrapy的，用scrapy發(fā)送POST肯定沒問題（重寫start_requests方法即可），但scrapy-redis不同，scrapy-redis框架只會從配置好的redis數(shù)據(jù)庫中讀取起始url，所以，在scrapy-redis中，就算重寫start_requests方法也沒用。怎么辦呢？我們看看源碼。

我們知道，scrapy-redis與scrapy的一個很大區(qū)別就是，scrapy-redis不再繼承Spider類，而是繼承RedisSpider類的，所以，RedisSpider類源碼將是我們分析的重點，我們打開RedisSpider類，看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下：

class RedisSpider(RedisMixin, Spider):
 @classmethod
 def from_crawler(self, crawler, *args, **kwargs):
 obj = super(RedisSpider, self).from_crawler(crawler, *args, **kwargs)
 obj.setup_redis(crawler)
 return obj

很遺憾，在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法，而且，RedisSpider的源碼也太少了吧，不過，從第一行我們可以發(fā)現(xiàn)RedisSpider繼承了RedisMinxin這個類，所以我猜RedisSpider的很多功能是從父類繼承而來的（拼爹的RedisSpider）。繼續(xù)查看RedisMinxin類源碼。RedisMinxin類源碼太多，這里就不將所有源碼貼出來了，不過，驚喜的是，在RedisMinxin中，真找到了類似于start_requests、make_requests_from_url這樣的方法，如：start_requests、next_requests、make_request_from_data等。有過scrapy使用經(jīng)驗的童鞋應(yīng)該都知道，start_requests方法可以說是構(gòu)造一切請求的起源，沒分析scrapy-redis源碼之前，誰也不知道scrapy-redis是不是和scrapy一樣（后面打斷點的方式驗證過，確實一樣，話說這個驗證有點多余，因為源碼注釋就是這么說的），不過，還是從start_requests開始分析吧。start_requests源碼如下：

def start_requests(self):
 return self.next_requests()

呵，真簡潔，直接把所有任務(wù)丟給next_requests方法，繼續(xù)：

def next_requests(self):
 """Returns a request to be scheduled or none."""
 use_set = self.settings.getbool('REDIS_START_URLS_AS_SET',    defaults.START_URLS_AS_SET)
 fetch_one = self.server.spop if use_set else self.server.lpop
 # XXX: Do we need to use a timeout here?
 found = 0
 # TODO: Use redis pipeline execution.
 while found < self.redis_batch_size: # 每次讀取的量
  data = fetch_one(self.redis_key) # 從redis中讀取一條記錄
  if not data:
   # Queue empty.
   break
  req = self.make_request_from_data(data) # 根據(jù)從redis中讀取的記錄，實例化一個request
  if req:
   yield req
  found += 1
  else:
   self.logger.debug("Request not made from data: %r", data)
 
 if found:
  self.logger.debug("Read %s requests from '%s'", found, self.redis_key)

上面next_requests方法中，關(guān)鍵的就是那個while循環(huán)，每一次循環(huán)都調(diào)用了一個make_request_from_data方法，從函數(shù)名可以函數(shù)，這個方法就是根據(jù)從redis中讀取從來的數(shù)據(jù)，實例化一個request，那不就是我們要找的方法嗎？進(jìn)入make_request_from_data方法一探究竟：

def make_request_from_data(self, data):
 url = bytes_to_str(data, self.redis_encoding)
 return self.make_requests_from_url(url) # 這是重點，圈起來，要考

因為scrapy-redis默認(rèn)值發(fā)送GET請求，所以，在這個make_request_from_data方法中認(rèn)為data只包含一個url，但如果我們要發(fā)送POST請求，這個data包含的東西可就多了，我們上面美團(tuán)POST請求說明中就說到，至少要包含url、form_data。所以，如果我們要發(fā)送POST請求，這里必須改，make_request_from_data方法最后調(diào)用的make_requests_from_url是scrapy中的Spider中的方法，不過，我們也不需要繼續(xù)往下看下去了，我想諸位都也清楚了，要發(fā)送POST請求，重寫這個make_request_from_data方法，根據(jù)傳入的data，實例化一個request返回就好了。

 4 代碼實例

明白上面這些東西后，就可以開始寫代碼了。修改源碼嗎？不，不存在的，改源碼可不是好習(xí)慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了：

from scrapy import FormRequest
from scrapy_redis.spiders import RedisSpider
 
 
class MeituanSpider(RedisSpider):
 """
 此處省略若干行
 """
 
 def make_request_from_data(self, data):
  """
  重寫make_request_from_data方法，data是scrapy-redis讀取redis中的[url,form_data,meta]，然后發(fā)送post請求
  :param data: redis中都去的請求數(shù)據(jù)，是一個list
  :return: 一個FormRequest對象
 　　"""
  data = json.loads(data)
  url = data.get('url')
  form_data = data.get('form_data')
  meta = data.get('meta')
  return FormRequest(url=url, formdata=form_data, meta=meta, callback=self.parse)

 def parse(self, response):
  pass

搞清楚原理之后，就是這么簡單。萬事俱備，只欠東風(fēng)——將url，form_data，meta存儲到redis中。另外新建一個模塊實現(xiàn)這一部分功能：

def push_start_url_data(request_data):
 """
 將一個完整的request_data推送到redis的start_url列表中
 :param request_data: {'url':url, 'form_data':form_data, 'meta':meta}
 :return:
 """
 r.lpush('meituan:start_urls', request_data)
 
 
if __name__ == '__main__':
 url = 'http://i.waimai.meituan.com/openh6/poi/filterconditions?_=1557367197922'
 form_data = {
  'initialLat': '25.618626',
  'initialLng': '105.644569',
  'actualLat': '25.618626',
  'actualLng': '105.644569',
  'geoType': '2',
  'wm_latitude': '25618626',
  'wm_longitude': '105644569',
  'wm_actual_latitude': '25618626',
  'wm_actual_longitude': '105644569'
 }
 meta = {
  'lat': form_data.get('initialLat'),
  'lng': form_data.get('initialLng'),
  'lat2': form_data.get('wm_latitude'),
  'lng2': form_data.get('wm_longitude'),
  'province': '**省',
  'city': '*市',
  'area': '**區(qū)'
 }
 request_data = {
  'url': url,
  'form_data': form_data,
  'meta': meta
 }
 push_start_url_data(json.dumps(request_data))

在啟動scrapy-redis之前，運行一下這一模塊即可。

以上是“scrapy-redis如何發(fā)送POST請求”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計公司行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站標(biāo)題：scrapy-redis如何發(fā)送POST請求-創(chuàng)新互聯(lián)
新聞來源：http://www.rwnh.cn/article36/pddsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、云服務(wù)器、ChatGPT、營銷型網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)