小編給大家分享一下Python3爬蟲利器Scrapy的安裝方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)服務(wù)緊隨時(shí)代發(fā)展步伐，進(jìn)行技術(shù)革新和技術(shù)進(jìn)步，經(jīng)過十年的發(fā)展和積累，已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計(jì)師、專業(yè)的網(wǎng)站實(shí)施團(tuán)隊(duì)以及高素質(zhì)售后服務(wù)人員，并且完全形成了一套成熟的業(yè)務(wù)流程，能夠完全依照客戶要求對網(wǎng)站進(jìn)行成都網(wǎng)站制作、成都做網(wǎng)站、建設(shè)、維護(hù)、更新和改版，實(shí)現(xiàn)客戶網(wǎng)站對外宣傳展示的首要目的，并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。

Scrapy是一個(gè)十分強(qiáng)大的爬蟲框架，依賴的庫比較多，至少需要依賴的庫有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平臺(tái)環(huán)境下，它所依賴的庫也各不相同，所以在安裝之前，最好確保把一些基本庫安裝好。本節(jié)就來介紹Scrapy在不同平臺(tái)的安裝方法。

1. 相關(guān)鏈接

官方網(wǎng)站：https://scrapy.org

官方文檔：https://docs.scrapy.org

PyPI：https://pypi.python.org/pypi/Scrapy

GitHub：https://github.com/scrapy/scrapy

中文文檔：http://scrapy-chs.readthedocs.io

2. Anaconda安裝

這是一種比較簡單的安裝Scrapy的方法（尤其是對于Windows來說），如果你的Python是使用Anaconda安裝的，或者還沒有安裝Python的話，可以使用此方法安裝，這種方法簡單、省力。當(dāng)然，如果你的Python不是通過Anaconda安裝的，可以繼續(xù)看后面的內(nèi)容。

關(guān)于Anaconda的安裝方式，可以查看1.1節(jié)，在此不再贅述。

如果已經(jīng)安裝好了Anaconda，那么可以通過conda命令安裝Scrapy，具體如下：

conda install Scrapy

3. Windows下的安裝

如果你的Python不是使用Anaconda安裝的，可以參考如下方式來一步步安裝Scrapy。

安裝lxml

lxml的安裝過程請參見1.3.1節(jié)，在此不再贅述，此庫非常重要，請一定要安裝成功。

安裝pyOpenSSL

在官方網(wǎng)站下載wheel文件（詳見https://pypi.python.org/pypi/pyOpenSSL#downloads）即可，如圖1-76所示。

圖1-76 下載頁面

下載后利用pip安裝即可：

pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl

安裝Twisted

到http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。

比如，對于Python 3.6版本、Windows 64位系統(tǒng)，則當(dāng)前最新版本為Twisted?17.5.0?cp36?cp36m?win_amd64.whl，直接下載即可，如圖1-77所示。

圖1-77 下載頁面

然后通過pip安裝：

pip3 install Twisted?17.5.0?cp36?cp36m?win_amd64.whl

安裝PyWin32

從官方網(wǎng)站下載對應(yīng)版本的安裝包即可，鏈接為：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/，如圖1-78所示。

圖1-78 下載列表

比如對于Python 3.6版本，可以選擇下載pywin32-221.win-amd64-py3.6.exe，下載完畢之后雙擊安裝即可。

注意，這里使用的是Build 221版本，隨著時(shí)間推移，版本肯定會(huì)繼續(xù)更新，最新的版本可以查看https://sourceforge.net/projects/pywin32/files/pywin32/，到時(shí)查找最新的版本安裝即可。

安裝Scrapy

安裝好了以上的依賴庫后，安裝Scrapy就非常簡單了，這里依然使用pip，命令如下：

pip3 install Scrapy

等待命令結(jié)束，如果沒有報(bào)錯(cuò)，就證明Scrapy已經(jīng)安裝好了。

4. Linux下的安裝

在Linux下的安裝方式依然分為兩類平臺(tái)來介紹。

CentOS和Red Hat

在CentOS和Red Hat下，首先確保一些依賴庫已經(jīng)安裝，運(yùn)行如下命令：

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

最后利用pip安裝Scrapy即可：

pip3 install Scrapy

Ubuntu、Debian和Deepin

在Ubuntu、Debian和Deepin平臺(tái)下，首先確保一些依賴庫已經(jīng)安裝，運(yùn)行如下命令：

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev 
zlib1g-dev

然后利用pip安裝Scrapy即可：

pip3 install Scrapy

運(yùn)行完畢后，就完成Scrapy的安裝了。

5. Mac下的安裝

在Mac下，首先也是進(jìn)行依賴庫的安裝。

在Mac上構(gòu)建Scrapy的依賴庫需要C編譯器以及開發(fā)頭文件，它一般由Xcode提供，具體命令如下：

xcode-select --install

隨后利用pip安裝Scrapy即可：

pip3 install Scrapy

6. 驗(yàn)證安裝

安裝之后，在命令行下輸入scrapy，如果出現(xiàn)類似如圖1-79所示的結(jié)果，就證明Scrapy安裝成功了。

圖1-79 驗(yàn)證安裝

7. 常見錯(cuò)誤

在安裝過程中，常見的錯(cuò)誤匯總?cè)缦隆?/p>

pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))

這是six包版本過低出現(xiàn)的錯(cuò)誤。six包是一個(gè)提供兼容Python 2和Python 3的庫，這時(shí)升級(jí)six包即可：

sudo pip3 install -U six

c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

這是在Linux下常出現(xiàn)的錯(cuò)誤，缺少libffi庫造成的。什么是libffi？FFI的全名是Foreign Function Interface，通常指的是允許以一種語言編寫的代碼調(diào)用另一種語言的代碼。而libffi庫只提供了最底層的、與架構(gòu)相關(guān)的、完整的FFI。此時(shí)安裝相應(yīng)的庫即可。

在Ubuntu和Debian下，直接執(zhí)行如下命令即可：

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

在CentOS和Red Hat下，直接執(zhí)行如下命令即可：

sudo yum install gcc libffi-devel python-devel openssl-devel

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build/cryptography/

這是缺少加密的相關(guān)組件，此時(shí)利用pip安裝即可：

pip3 install cryptography

ImportError: No module named 'packaging'

這是因?yàn)槿鄙賞ackaging包出現(xiàn)的錯(cuò)誤，這個(gè)包提供了Python包的核心功能，此時(shí)利用pip安裝即可。

ImportError: No module named '_cffi_backend'

這個(gè)錯(cuò)誤表示缺少cffi包，直接使用pip安裝即可：

pip3 install cffi

ImportError: No module named 'pyparsing'

這個(gè)錯(cuò)誤表示缺少pyparsing包，直接使用pip安裝即可：

pip3 install pyparsing appdirs

以上是Python3爬蟲利器Scrapy的安裝方法的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞標(biāo)題：Python3爬蟲利器Scrapy的安裝方法
網(wǎng)頁鏈接：http://www.rwnh.cn/article32/pgsppc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、做網(wǎng)站、微信公眾號(hào)、商城網(wǎng)站、網(wǎng)站改版、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)