創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

橫縣ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18980820575（備注：SSL證書合作）期待與您的合作！

這篇文章給大家分享的是有關(guān)Python爬蟲中Robots協(xié)議是什么的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧。

利用urllib的robotparser模塊，我們可以實(shí)現(xiàn)網(wǎng)站Robots協(xié)議的分析。本節(jié)中，我們來(lái)簡(jiǎn)單了解一下該模塊的用法。

1. Robots協(xié)議

Robots協(xié)議也稱作爬蟲協(xié)議、機(jī)器人協(xié)議，它的全名叫作網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)（Robots Exclusion Protocol），用來(lái)告訴爬蟲和搜索引擎哪些頁(yè)面可以抓取，哪些不可以抓取。它通常是一個(gè)叫作robots.txt的文本文件，一般放在網(wǎng)站的根目錄下。

當(dāng)搜索爬蟲訪問一個(gè)站點(diǎn)時(shí)，它首先會(huì)檢查這個(gè)站點(diǎn)根目錄下是否存在robots.txt文件，如果存在，搜索爬蟲會(huì)根據(jù)其中定義的爬取范圍來(lái)爬取。如果沒有找到這個(gè)文件，搜索爬蟲便會(huì)訪問所有可直接訪問的頁(yè)面。

下面我們看一個(gè)robots.txt的樣例：

User-agent: *
Disallow: /
Allow: /public/

這實(shí)現(xiàn)了對(duì)所有搜索爬蟲只允許爬取public目錄的功能，將上述內(nèi)容保存成robots.txt文件，放在網(wǎng)站的根目錄下，和網(wǎng)站的入口文件（比如index.php、index.html和index.jsp等）放在一起。

上面的User-agent描述了搜索爬蟲的名稱，這里將其設(shè)置為*則代表該協(xié)議對(duì)任何爬取爬蟲有效。比如，我們可以設(shè)置：

User-agent: Baiduspider

這就代表我們?cè)O(shè)置的規(guī)則對(duì)百度爬蟲是有效的。如果有多條User-agent記錄，則就會(huì)有多個(gè)爬蟲會(huì)受到爬取限制，但至少需要指定一條。

Disallow指定了不允許抓取的目錄，比如上例子中設(shè)置為/則代表不允許抓取所有頁(yè)面。

Allow一般和Disallow一起使用，一般不會(huì)單獨(dú)使用，用來(lái)排除某些限制?，F(xiàn)在我們?cè)O(shè)置為/public/，則表示所有頁(yè)面不允許抓取，但可以抓取public目錄。

下面我們?cè)賮?lái)看幾個(gè)例子。禁止所有爬蟲訪問任何目錄的代碼如下：

User-agent: * 
Disallow: /

允許所有爬蟲訪問任何目錄的代碼如下：

User-agent: *
Disallow:

另外，直接把robots.txt文件留空也是可以的。

禁止所有爬蟲訪問網(wǎng)站某些目錄的代碼如下：

User-agent: *
Disallow: /private/
Disallow: /tmp/

只允許某一個(gè)爬蟲訪問的代碼如下：

User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /

這些是robots.txt的一些常見寫法。

2. 爬蟲名稱

大家可能會(huì)疑惑，爬蟲名是哪兒來(lái)的？為什么就叫這個(gè)名？其實(shí)它是有固定名字的了，比如百度的就叫作BaiduSpider。表3-1列出了一些常見的搜索爬蟲的名稱及對(duì)應(yīng)的網(wǎng)站。

3. robotparser

了解Robots協(xié)議之后，我們就可以使用robotparser模塊來(lái)解析robots.txt了。該模塊提供了一個(gè)類RobotFileParser，它可以根據(jù)某網(wǎng)站的robots.txt文件來(lái)判斷一個(gè)爬取爬蟲是否有權(quán)限來(lái)爬取這個(gè)網(wǎng)頁(yè)。

該類用起來(lái)非常簡(jiǎn)單，只需要在構(gòu)造方法里傳入robots.txt的鏈接即可。首先看一下它的聲明：

urllib.robotparser.RobotFileParser(url='')

當(dāng)然，也可以在聲明時(shí)不傳入，默認(rèn)為空，最后再使用set_url()方法設(shè)置一下也可。

下面列出了這個(gè)類常用的幾個(gè)方法。

set_url()：用來(lái)設(shè)置robots.txt文件的鏈接。如果在創(chuàng)建RobotFileParser對(duì)象時(shí)傳入了鏈接，那么就不需要再使用這個(gè)方法設(shè)置了。

read()：讀取robots.txt文件并進(jìn)行分析。注意，這個(gè)方法執(zhí)行一個(gè)讀取和分析操作，如果不調(diào)用這個(gè)方法，接下來(lái)的判斷都會(huì)為False，所以一定記得調(diào)用這個(gè)方法。這個(gè)方法不會(huì)返回任何內(nèi)容，但是執(zhí)行了讀取操作。

parse()：用來(lái)解析robots.txt文件，傳入的參數(shù)是robots.txt某些行的內(nèi)容，它會(huì)按照robots.txt的語(yǔ)法規(guī)則來(lái)分析這些內(nèi)容。

can_fetch()：該方法傳入兩個(gè)參數(shù)，第一個(gè)是User-agent，第二個(gè)是要抓取的URL。返回的內(nèi)容是該搜索引擎是否可以抓取這個(gè)URL，返回結(jié)果是True或False。

mtime()：返回的是上次抓取和分析robots.txt的時(shí)間，這對(duì)于長(zhǎng)時(shí)間分析和抓取的搜索爬蟲是很有必要的，你可能需要定期檢查來(lái)抓取最新的robots.txt。

modified()：它同樣對(duì)長(zhǎng)時(shí)間分析和抓取的搜索爬蟲很有幫助，將當(dāng)前時(shí)間設(shè)置為上次抓取和分析robots.txt的時(shí)間。

下面我們用實(shí)例來(lái)看一下：

from urllib.robotparser import RobotFileParser
rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

這里以簡(jiǎn)書為例，首先創(chuàng)建RobotFileParser對(duì)象，然后通過set_url()方法設(shè)置了robots.txt的鏈接。當(dāng)然，不用這個(gè)方法的話，可以在聲明時(shí)直接用如下方法設(shè)置：

rp = RobotFileParser('http://www.jianshu.com/robots.txt')

接著利用can_fetch()方法判斷了網(wǎng)頁(yè)是否可以被抓取。

運(yùn)行結(jié)果如下：

True
False

這里同樣可以使用parse()方法執(zhí)行讀取和分析，示例如下：

from urllib.robotparser import RobotFileParser
from urllib.request import urlopen
rp = RobotFileParser()
rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

運(yùn)行結(jié)果一樣：

True
False

感謝各位的閱讀！關(guān)于Python爬蟲中Robots協(xié)議是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)站題目：Python爬蟲中Robots協(xié)議是什么-創(chuàng)新互聯(lián)
文章鏈接：http://www.rwnh.cn/article48/dopcep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、搜索引擎優(yōu)化、面包屑導(dǎo)航、定制網(wǎng)站、網(wǎng)站收錄、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)