網(wǎng)站robots.txt文件的制作及使用

Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它robots.txt是一個協(xié)議，而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

當(dāng)一個搜索蜘蛛訪問一個站點(diǎn)時(shí)，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。

如果將網(wǎng)站視為酒店里的一個房間，robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因?yàn)榇娣刨F重物品，或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但robots.txt不是命令，也不是防火墻，如同守門人無法阻止竊賊等惡意闖入者。

大家都知道，robots.txt文件在網(wǎng)站優(yōu)化時(shí)，是一個很重步驟，正確的寫好我們的robots.txt有利于我們的優(yōu)化，首先我們要知道它是一種協(xié)議，也可以說是爬蟲協(xié)議、機(jī)器人協(xié)議。它的作用就是告訴搜索引擎蜘蛛我們的網(wǎng)站那些頁面可以被抓取，那些不可以抓取，所以這步對SEO網(wǎng)站優(yōu)化很重要，但這一步也是要非常認(rèn)真的寫，一旦寫錯，那對自己網(wǎng)站會很嚴(yán)重，比如一個目錄寫錯了，那么會導(dǎo)致這個目錄里的東西不被抓取，所以我們必須要了解我們網(wǎng)站的架構(gòu)，每個目錄我們都要知道它是什么意思，這樣有利于我們寫好robots.txt協(xié)議，在沒有搞懂自己網(wǎng)站的架構(gòu)之前，最好不要去寫robots.txt。先搞懂再說。下面我就來講講制作方法及怎么去使用：

大家首先要知道兩個標(biāo)簽，Allow和Disallow，一個是允許，一個是不允許，它的作用相比大家也都能理解。大家一定不要搞混了，還有一個符號：* 這個符號代表：所有的意思。

User-agent: *

Disallow:

或者

User-agent: *

Allow:

如果我想屏蔽搜搜的蜘蛛來抓取，

User-agent: sosospider

Disallow: /

大家可以發(fā)現(xiàn)這個屏蔽蜘蛛跟上面允許相比只是多了一個“/”，其含義是完全不一樣的，所以在書寫的時(shí)候要千萬注意，可不能因?yàn)槎鄬憘€斜杠屏蔽了蜘蛛自己卻不知道。還有就是在user-agent：后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對所有蜘蛛的。

我們要禁止網(wǎng)站那個目錄文件不允許搜索引擎蜘蛛來抓?。?/p>

User-agent: *

Disallow: /目錄/。

如果是阻止抓取某目錄的話目錄名字一定要注意“/”，不帶“/”表示的是阻止訪問這個目錄頁面和目錄下的頁面，而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁面，這兩點(diǎn)要分清楚。如果是想屏蔽多個目錄就需要采用的。

如果是阻止蜘蛛訪問某一類型的文件，例如阻止抓取.jpg格式的圖片可以設(shè)置成：

User-agent: *

Disallow: .jpg$

假如我網(wǎng)站很多頁面后綴帶有?號的目錄，怎么來寫呢!我們可以這樣寫;

User-agent: *

Disallow: /*?

最后大家，寫robots.txt的時(shí)候，一定要分清字母的大小寫，還要robots.txt寫好都是放到網(wǎng)站根目錄下面。大家對網(wǎng)站robots.txt文件的制作已經(jīng)了解了嗎？

網(wǎng)站題目：網(wǎng)站robots.txt文件的制作及使用
分享URL：http://www.rwnh.cn/news14/162114.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、動態(tài)網(wǎng)站、定制網(wǎng)站、建站公司、品牌網(wǎng)站設(shè)計(jì)、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)