如何用 Python 爬取網(wǎng)站制作電子書

有人爬取數(shù)據(jù)分析黃金周旅游景點(diǎn)，有人爬取數(shù)據(jù)分析相親，有人大數(shù)據(jù)分析雙十一，連小學(xué)生寫論文都用上了大數(shù)據(jù)。

我們每個(gè)人每天都在往網(wǎng)上通過微信、微博、淘寶等上傳我們的個(gè)人信息，現(xiàn)在就連我們的錢都是放在網(wǎng)上，以后到強(qiáng)人工智能，我們連決策都要依靠網(wǎng)絡(luò)。網(wǎng)上的數(shù)據(jù)就是資源和寶藏，我們需要一把鏟子來挖掘它。

最近，AI 的興起讓 Python 火了一把。實(shí)際上 Python 擁有龐大的第三方支持，生態(tài)系統(tǒng)非常完整，可以適用各種場景和行業(yè)。

這次，我們準(zhǔn)備通過 Python 學(xué)習(xí)爬蟲的開發(fā)，既簡單有趣，而且是數(shù)據(jù)采集重要一環(huán)。同時(shí)脫離應(yīng)用談技術(shù)就是耍流氓，通過制作電子書學(xué)習(xí)數(shù)據(jù)的收集與整理，即能學(xué)到東西又有實(shí)用價(jià)值。

我們將通過爬取網(wǎng)頁信息這個(gè)很小的應(yīng)用場景來體會(huì)數(shù)據(jù)預(yù)處理的思想，并從中學(xué)習(xí)了解數(shù)據(jù)處理中抓取、處理、分組、存儲(chǔ)等過程的實(shí)現(xiàn)。

我這次分享主要分為以下幾個(gè)部分：

Python 語法：通過分享掌握簡單的 Python 開發(fā)語法和思路，側(cè)重于后面爬蟲開發(fā)的需要用的內(nèi)容;

Scrapy 爬蟲開發(fā)：通過分享了解基本的 Scrapy 開發(fā)，并實(shí)現(xiàn)從網(wǎng)絡(luò)爬取數(shù)據(jù)，使用 Sigil 制作 epub 電子書;

最后，我希望通過分享，讓更多人能夠入門并喜歡上 Python 開發(fā)，掌握 Scrapy 爬蟲開發(fā)的思路和方法。

一、Python 開發(fā)

1.1 Windows 下環(huán)境安裝

熟悉 Windows 的安裝 Python 不難，首先官網(wǎng)下載：https://www.python.org/downloads/。

有兩個(gè)版本，根據(jù)需要選擇自己的版本，現(xiàn)在越來越多的庫開始支持 3，所以建議下載 3，這里我們以 2 為例。

雙擊下載的安裝文件，一路 Next 即可，但是要注意勾選 __pip__ 和 Add python.exe to Pat

pip 是 Python 生態(tài)體系里面的包管理工具，很多第三方庫可以通過它方便的管理。

安裝 Finish 之后，打開命令行窗口，輸入 Python：

如果出現(xiàn)這個(gè)界面說明安裝成功了。

需要把 python.exe 的目錄添加到 path 中，一般是 C:/Python27。

1.2 Python 之 HelloWorld

目前我所接觸過的所有編程語言都只要掌握三個(gè)內(nèi)容就可以了：就是輸入、處理、輸出。我們已經(jīng)安裝好了 Python，可以來一個(gè)最俗套的程序。

首先我們打開 windows 的控制臺(tái)，然后輸入 python 回車。

根據(jù)我上面的說法，這個(gè)程序的輸入就是 Hello World 字符串，處理使系統(tǒng)內(nèi)部的輸出處理，輸出結(jié)果就是 ‘Hello World’。

我們說這個(gè)不是單純的秀一下，以前沒有用戶界面的時(shí)候 print 可以作為人機(jī)交互用途，現(xiàn)在多數(shù)是用于調(diào)試，可以在程序運(yùn)行的時(shí)候快速的輸出程序結(jié)果或者過程結(jié)果。

1.3 做菜與編程

現(xiàn)在有個(gè)很有意思的說法：生數(shù)據(jù)(原始數(shù)據(jù))就是沒有處理過的數(shù)據(jù)，熟數(shù)據(jù)(Cooked Data)是指原始數(shù)據(jù)經(jīng)過加工處理后的數(shù)據(jù)，處理包括解壓縮、組織，或者是分析和提出，以備將來使用。

這就像做菜生菜是輸入，菜譜是程序，洗、切、烹飪等處理是程序執(zhí)行過程，最后輸出的熟菜。但不管生菜、熟菜都是菜，或者都是物質(zhì)。

準(zhǔn)備食材

在程序世界里的物質(zhì)組成就是數(shù)據(jù)，就像有蘿卜白菜等不同的品種一樣，數(shù)據(jù)也有不同的類型。我目前所接觸到的數(shù)據(jù)類型主要有以下幾種：

物理類：數(shù)據(jù)在物理內(nèi)存中的表達(dá)存儲(chǔ)方式;

位

字

字節(jié)

數(shù)據(jù)類：數(shù)據(jù)類中的具體類型代表了不同精度和內(nèi)存中不同的存儲(chǔ)結(jié)構(gòu);

整數(shù)

浮點(diǎn)數(shù)

長整型

雙精度

字符類：就是文本字符相關(guān)的數(shù)據(jù)類型;

字符

字符串

邏輯類：就是邏輯真與邏輯假;

布爾值

復(fù)合類：由各基本的數(shù)據(jù)類型按照一定的結(jié)構(gòu)組合而成的數(shù)據(jù);

結(jié)構(gòu)體

類

集合

字典

列表

序列

Hash 表

……

這里我強(qiáng)調(diào)幾點(diǎn)：

首先，這個(gè)分類不是某種語言特有，目前大多數(shù)編程語言都差不多，你理解這個(gè)思想就把自己的編程能力擴(kuò)展了。

其次，它不需要專門記憶，編程是程序性的知識(shí)，運(yùn)用的知識(shí)，是一種技能，你要做什么菜，你來這個(gè)分類查查需要什么原材料，再去具體研究，慢慢就會(huì)了，不做你記住了也沒用。

用多深，研究多深，不用就別研究浪費(fèi)時(shí)間。比如說，我們一般性應(yīng)用不會(huì)去考慮數(shù)據(jù)的內(nèi)存模型，但是涉及到精度、性能或者邊界值時(shí)我們就需要小心，研究得深一些。

器皿

食材已準(zhǔn)備好了，可以下鍋，可鍋在哪里，你不能放在手里加工。程序里我們用變量、常量來盛各種數(shù)據(jù)，還有個(gè)作用域的問題，嚴(yán)格的廚房紅案和白案是分開的，有時(shí)候砧板是不能互用的。

空值：四大皆空，什么也不是，不是 0，不是長度為 0 的字符串，不是 false，什么都不是;

變量：學(xué)過數(shù)學(xué)的人都應(yīng)該有這個(gè)概念，反正差不多;

常量：固定不變的量，比如說 π。

烹飪手法

剛查了下，我大天朝常用的烹飪手法多達(dá) 20 多種，我歸納了一下，編程大概就那么幾種：

數(shù)值計(jì)算——加減乘除、位移等;

邏輯計(jì)算——邏輯真假判斷;

過程計(jì)算——循環(huán)、嵌套、遞歸等;

數(shù)據(jù)處理——字符串、對象的操作。

菜譜與炒菜

菜都準(zhǔn)備好了，下鍋怎么炒，全靠菜譜，它就是程序，而我們按照菜譜炒菜這個(gè)過程就是程序的執(zhí)行。

Python 或任何一種編程語言都是博大精深，同時(shí)又是一種技能，不可能在使用之前完全掌握，也沒必要。

我們需要知道的是我們想吃什么(程序要輸出什么)，然后再去菜市場買時(shí)才找菜譜(搜索引擎查資料)，最后按照我們的需求加工(編程)。

1.4 Python 簡單實(shí)踐

我們運(yùn)行了 hello.py 文件，然后 hello.py 導(dǎo)入了包 pkg;包 pkg 定義了一個(gè)方法和一個(gè)類，我們在 hello.py 文件里面調(diào)用了外部的方法和類。

二、使用 Scrapy 抓取電子書

2.1 寫在爬取數(shù)據(jù)之前

雖然我們這里的數(shù)據(jù)都是從公開的網(wǎng)絡(luò)獲取，但也不能確定其版權(quán)問題，因此獲取的數(shù)據(jù)僅用于編程練習(xí)，嚴(yán)禁分享或用于其他用途。

好了，現(xiàn)在我們找一個(gè)在線看書的網(wǎng)站，找一本書把它下載到本地。首先，我們準(zhǔn)備下載工具，就是 Python 的爬蟲框架 Scrapy。

2.2 Scrapy 安裝

安裝完 Python 后可以用以下的命令按照 Scrapy，有些版本的 Python 沒有帶 pip 需要手動(dòng)安裝。

pip 是 Python 的包管理器，大量的第三方包或者說功能可以通過這個(gè)工具來管理，所謂包就是模塊化的功能集合，基本的技術(shù)參考實(shí)踐里面的包。

2.3 新建 Scrapy 爬蟲項(xiàng)目

Scrapy 是 Python 程序，同時(shí)也是一套框架，提供了一系列工具來簡化開發(fā)，因此我們按照 Scrapy 的模式來開發(fā)，先新建一個(gè) Scrapy 項(xiàng)目。

Scrapy 項(xiàng)目包含一些基礎(chǔ)框架代碼，我們在此基礎(chǔ)上開發(fā)。

2.4 新建 Scrapy 爬蟲

這時(shí)，Scrapy 還不知道我們要爬取什么數(shù)據(jù)，所以我們要用 Scrapy 工具新建一個(gè)爬蟲，命令如

下面實(shí)操，我們在起點(diǎn)中文網(wǎng)找一篇免費(fèi)小說的完本，這里選擇是《修真小主播》。

我們就在前面建立的 Scrapy 項(xiàng)目 ebook 下新建一個(gè)爬蟲，命令如下：

執(zhí)行成功之后，在項(xiàng)目的 spider 目錄下就多了一個(gè) xzxzb.py 的文件。

2.5 爬蟲思路

怎么抓取數(shù)據(jù)，首先我們要看從哪里取，打開《修真小主播》的頁面，如下：

有個(gè)目錄頁簽，點(diǎn)擊這個(gè)頁簽可以看見目錄，使用瀏覽器的元素查看工具，我們可以定位到目錄和每一章節(jié)的相關(guān)信息。

2.6 獲取章節(jié)地址

現(xiàn)在我們打開 xzxzb.py 文件，就是我們剛剛創(chuàng)建的爬蟲

start_urls 就是目錄地址，爬蟲會(huì)自動(dòng)爬這個(gè)地址，然后結(jié)果就在下面的 parse 中處理?，F(xiàn)在創(chuàng)新互聯(lián)就來編寫代碼處理目錄數(shù)據(jù)，首先爬取小說的主頁，獲取目錄列表

獲取網(wǎng)頁中的 DOM 數(shù)據(jù)有兩種方式，一種是使用 CSS 選擇子，另外一種是使用 XML 的 xPath 查詢。

這里我們用 xPath，相關(guān)知識(shí)請自行學(xué)習(xí)，看以上代碼，首先我們通過 ID 獲取目錄框，獲取類 cf 獲取目錄列表

接著，遍歷子節(jié)點(diǎn)，并查詢 li 標(biāo)簽內(nèi) a 子節(jié)點(diǎn)的 href 屬性，最后打印出來

這樣，可以說爬取章節(jié)路徑的小爬蟲就寫好了，使用如下命令運(yùn)行 xzxzb 爬蟲查看結(jié)果

爬取章節(jié)路徑的小爬蟲就寫好了，但我們的目的不僅于此，我們接下來使用這些地址來抓取內(nèi)容：

2.7 章節(jié)頁面分析

我們接下來分析一下章節(jié)頁面，從章節(jié)頁面我們要獲取標(biāo)題和內(nèi)容。

如果說章節(jié)信息爬取使用的 parser 方法，那么我們可以給每一個(gè)章節(jié)內(nèi)容的爬取寫一個(gè)方法，比如：parser_chapter，先看看章節(jié)頁面的具體情況

可以看到，章節(jié)的整個(gè)內(nèi)容在類名為 main-text-wrap 的 div 標(biāo)簽內(nèi)，標(biāo)題是其中類名為j_chapterName的 h3 標(biāo)簽，具體內(nèi)容是類名為read-content j_readContent的 div 標(biāo)簽。

scrapy.Request 不同于使用 response.follow，需要通過相對路徑構(gòu)造出絕對路徑，response.follow 可以直接使用相對路徑，因此就不需要調(diào)用 urljoin 方法了。

注意，response.follow 直接返回一個(gè) Request 實(shí)例，可以直接通過 yield 進(jìn)行返回。

數(shù)據(jù)獲取了之后是存儲(chǔ)，由于我們要的是 html 頁面，因此，我們就按標(biāo)題存儲(chǔ)即可。

2.8 數(shù)據(jù)整理

首先，我們爬取下來的章節(jié)頁面排序不是很好，如果人工去排需要太多的時(shí)間精力;另外，章節(jié)內(nèi)容包含許多額外的東西，閱讀體驗(yàn)不好，我們需要優(yōu)化內(nèi)容的排版和可讀性。

我們先給章節(jié)排個(gè)序，因?yàn)槟夸浿械恼鹿?jié)列表是按順序排列的，所以只需要給下載頁面名稱添加一個(gè)順序號(hào)就行了。

不知道大家注意到?jīng)]有，前面的分析中目錄已經(jīng)提供了一個(gè)data_rid可以作為排序號(hào)，我們在目錄分析頁面獲取這個(gè)序號(hào)，然后通過 request 的 meta 傳入parse_chapter。

在parse_chapter中通過 response 的 meta 獲取傳入的參數(shù)，然后文件名中加入這個(gè)順序好完成了排序。另外，Sigil 找那個(gè)通過 H1 標(biāo)簽來生成目錄，需要目錄的話，我們需要給內(nèi)容添加一個(gè) h1 標(biāo)簽。

還有可讀性差的問題，也許我們下載的網(wǎng)頁可能會(huì)包含一些亂七八糟的東西，我們有很多辦法，也可以使用 readbility 等第三方庫，這里就不深入了。

三、使用 Sigil 制作電子書

電子書的制作，完全就是工具的應(yīng)用，非常簡單，這里把流程過一下，大家根據(jù)興趣自行深入。

3.1 Sigil 簡介

Sigil 是一個(gè)多平臺(tái)的 ePub 電子書編輯器。官方網(wǎng)站：https://sigil-ebook.com/，下載頁面在 https://github.com/Sigil-Ebook/Sigil/releases，根據(jù)自己的需求下載，安裝很簡單就不啰嗦了。

3.2 ePub 電子書簡介

ePub(Electronic Publication 的縮寫，意為：電子出版)，是一個(gè)自由的開放標(biāo)準(zhǔn)，屬于一種可以 “自動(dòng)重新編排” 的內(nèi)容;也就是文字內(nèi)容可以根據(jù)閱讀設(shè)備的特性，以最適于閱讀的方式顯示。

ePub 檔案內(nèi)部使用了 XHTML 或 DTBook (一種由 DAISY Consortium 提出的 XML 標(biāo)準(zhǔn))來展現(xiàn)文字、并以 zip 壓縮格式來包裹檔案內(nèi)容。EPub 格式中包含了數(shù)位版權(quán)管理(DRM)相關(guān)功能可供選用。

3.3 加載 html 文件

要制作 ePub 電子書，我們首先通過 Sigil 把我們的抓取的文件加載到程序中，在添加文件對話框中我們?nèi)x所有文件。

內(nèi)容都是 HTML 文件，所以編輯、排版什么的學(xué)習(xí)下 HTML。

3.4 制作目錄

文件中存在 HTML 的 h 標(biāo)簽時(shí)，點(diǎn)擊生成目錄按鈕就可以自動(dòng)生成目錄，我們在前面數(shù)據(jù)抓取時(shí)已經(jīng)自動(dòng)添加了 h1 標(biāo)簽。

3.5 制作封面

封面本質(zhì)上也是 HTML，可以編輯，也可以從頁面爬取，就留給大家自己實(shí)現(xiàn)吧。

3.6 編輯元數(shù)據(jù)

編輯書名、作者等信息。

3.6 輸出 ePub

編輯完成后保存，取個(gè)名字。

輸出可以使用電子書閱讀軟件打開查看，我用的是 Calibre，還可以方便的轉(zhuǎn)換為相應(yīng)的格式裝到 Kindle 中閱讀。

名稱欄目：如何用 Python 爬取網(wǎng)站制作電子書
轉(zhuǎn)載來于：http://www.rwnh.cn/news15/176715.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營銷seo公司；服務(wù)項(xiàng)目有網(wǎng)站制作等

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)