今天就跟大家聊聊有關(guān)如何引入ItemLoader和Item預(yù)處理函數(shù)，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：做網(wǎng)站、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的遠安網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

1.引入ItemLoader

• 在項目的item.py文件中創(chuàng)建一個自定義的loader類，然后讓這個自定義類繼承ItemLoader類；

class XkdItemLoader(ItemLoader):
    default_output_processor = TakeFirst()

• ItemLoader類的語法：scrapy.loader.ItemLoader（[ item，selector，response，] ** kwargs ），它可以接收一個 Item 實例來指定要加載的 Item，然后指定 r來確定要解析的內(nèi)容esponse 或者 selector； ItemLoader 實例還提供很多方法，如提供add_css()方法和add_xpath()方法來通過 css 和xpath 解析賦值，或使用add_value()方法來單獨進行賦值等。

• 更多其他的用法大家可以查看： https://doc.scrapy.org/en/latest/topics/loaders.html

2.修改spider，讓itemloader完成素定位和元素解析

• 首先重寫spider中的parse_analyse方法，導入自定義的loader類，然后需要實例化這個loader類，將參數(shù)item和response傳遞到loader類中。 然后可以使用add_css()、add_xpath()、add_value()方法來提取和收集數(shù)據(jù)保存到loader類實例化對象中； 最后當所有數(shù)據(jù)被收集起來之后，調(diào)用ItemLoader.load_item()方法對結(jié)果進行解析并保存到一個item中，然后返回這個item；

def parse_analyse(self, response):
        # 構(gòu)建loader
        xkd_itemload = MyItemLoader(item=XkdDribbbleSpiderItem(), response=response)
        image_url = response.meta.get('a_image_url')
        # 通過loader定位元素和解析元素
        xkd_itemload.add_css('title', "[role='article'] header h2")
        # 注意這里傳遞的是一個列表
        xkd_itemload.add_value('image_url', [image_url])
        xkd_itemload.add_value('url', response.url)
        xkd_itemload.add_value('url_id', get_md5(response.url))
        xkd_itemload.add_css('date', 'p span.date::text')
        # 解析元素之后返回item
        xkd_item = xkd_itemload.load_item()
        # 將item返回
        yield xkd_item

3.修改item數(shù)據(jù)模型

• 修改item數(shù)據(jù)模型，需要導入from scrapy.loader.processors import MapCompose，可以在scrapy.Field中加入處理函數(shù)。MapCompose是一種處理器，由給定功能的組合構(gòu)成，類似于Compose處理器，與此處理器的不同之處在于內(nèi)部結(jié)果在函數(shù)之間傳遞的方式；

• Scrapy還給我們提供了一個scrapy.loader.processors.TakeFirst()方法，用于返回第一個非空值（相當于extract_first()方法），常用于單值字段的輸出處器，無參數(shù)；

from scrapy.loader.processors import TakeFirst, MapCompose
from datetime import datetime
def str_to_date(str_date):
    str_date = str_date.strip()
    date = datetime.strptime(str_date, '%b %d, %Y').date()
    return date.strftime('%Y-%m-%d')
class XkdDribbbleSpiderItem(scrapy.Item):
    title = scrapy.Field()
    image_url = scrapy.Field(
        output_processor = MapCompose(lambda value: value)
    )
    date = scrapy.Field(
        input_processor = MapCompose(str_to_date)
    )
    image_path = scrapy.Field()
    url = scrapy.Field()
    url_id = scrapy.Field()

看完上述內(nèi)容，你們對如何引入ItemLoader和Item預(yù)處理函數(shù)有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝大家的支持。

當前文章：如何引入ItemLoader和Item預(yù)處理函數(shù)-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://www.rwnh.cn/article20/csjhco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、企業(yè)網(wǎng)站制作、品牌網(wǎng)站設(shè)計、Google、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)