内射老阿姨1区2区3区4区_久久精品人人做人人爽电影蜜月_久久国产精品亚洲77777_99精品又大又爽又粗少妇毛片

python分布式爬蟲(chóng)中的任務(wù)路由有什么用-創(chuàng)新互聯(lián)

這篇文章主要介紹了python分布式爬蟲(chóng)中的任務(wù)路由有什么用,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

10年積累的網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)經(jīng)驗(yàn),可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你,你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程,更有德陽(yáng)免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

celery的一個(gè)高級(jí)特性了,它叫做任務(wù)路由。直白點(diǎn)說(shuō),它可以規(guī)定哪個(gè)分布式節(jié)點(diǎn)能做哪些任務(wù),不能做哪些任務(wù)。它的存在可以讓資源分配更加合理。

# coding:utf-8
import os
from datetime import timedelta
from celery import Celery
from kombu import Exchange, Queue
from config.conf import get_broker_or_backend
from celery import platforms
 
# 允許celery以root身份啟動(dòng)
platforms.C_FORCE_ROOT = True
 
worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log')
beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log')
 
tasks = ['tasks.login', 'tasks.user']
 
# include的作用就是注冊(cè)服務(wù)化函數(shù)
app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2))
 
app.conf.update(
    CELERY_TIMEZONE='Asia/Shanghai',
    CELERY_ENABLE_UTC=True,
    CELERYD_LOG_FILE=worker_log_path,
    CELERYBEAT_LOG_FILE=beat_log_path,
    CELERY_ACCEPT_CONTENT=['json'],
    CELERY_TASK_SERIALIZER='json',
    CELERY_RESULT_SERIALIZER='json',
    CELERY_QUEUES=(
        Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'),
        Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'),
        Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'),
)

上述代碼指定了有`login_queue`、`user_crawler`、`fans_followers`三個(gè)任務(wù)隊(duì)列。它們分別的作用是登錄、用戶信息抓取、粉絲和關(guān)注抓取。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python分布式爬蟲(chóng)中的任務(wù)路由有什么用內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司,,關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,遇到問(wèn)題就找創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司,,詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!

本文標(biāo)題:python分布式爬蟲(chóng)中的任務(wù)路由有什么用-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)鏈接:http://www.rwnh.cn/article14/dgsege.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供響應(yīng)式網(wǎng)站、服務(wù)器托管、全網(wǎng)營(yíng)銷(xiāo)推廣、網(wǎng)站維護(hù)小程序開(kāi)發(fā)、軟件開(kāi)發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
久治县| 泗阳县| 屏山县| 壶关县| 桐城市| 梅河口市| 吴川市| 中宁县| 富阳市| 广宗县| 桃源县| 陈巴尔虎旗| 武隆县| 旬阳县| 长白| 桦川县| 海口市| 科技| 福海县| 长寿区| 旺苍县| 山西省| 延长县| 彰化市| 秭归县| 安多县| 南皮县| 四平市| 郁南县| 和硕县| 泸定县| 宝应县| 景谷| 兴安盟| 永春县| 天镇县| 正镶白旗| 宝应县| 河池市| 安塞县| 托里县|