網(wǎng)站robots.txt文件的制作及使用

Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。

如果將網(wǎng)站視為酒店里的一個(gè)房間，robots.txt就是主人在房間門口懸掛的“請(qǐng)勿打擾”或“歡迎打掃”的提示牌。這個(gè)文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因?yàn)榇娣刨F重物品，或可能涉及住戶及訪客的隱私而不對(duì)搜索引擎開放。但robots.txt不是命令，也不是防火墻，如同守門人無法阻止竊賊等惡意闖入者。

大家都知道，robots.txt文件在網(wǎng)站優(yōu)化時(shí)，是一個(gè)很重步驟，正確的寫好我們的robots.txt有利于我們的優(yōu)化，首先我們要知道它是一種協(xié)議，也可以說是爬蟲協(xié)議、機(jī)器人協(xié)議。它的作用就是告訴搜索引擎蜘蛛我們的網(wǎng)站那些頁面可以被抓取，那些不可以抓取，所以這步對(duì)SEO網(wǎng)站優(yōu)化很重要，但這一步也是要非常認(rèn)真的寫，一旦寫錯(cuò)，那對(duì)自己網(wǎng)站會(huì)很嚴(yán)重，比如一個(gè)目錄寫錯(cuò)了，那么會(huì)導(dǎo)致這個(gè)目錄里的東西不被抓取，所以我們必須要了解我們網(wǎng)站的架構(gòu)，每個(gè)目錄我們都要知道它是什么意思，這樣有利于我們寫好robots.txt協(xié)議，在沒有搞懂自己網(wǎng)站的架構(gòu)之前，最好不要去寫robots.txt。先搞懂再說。下面我就來講講制作方法及怎么去使用：

大家首先要知道兩個(gè)標(biāo)簽，Allow和Disallow，一個(gè)是允許，一個(gè)是不允許，它的作用相比大家也都能理解。大家一定不要搞混了，還有一個(gè)符號(hào)：* 這個(gè)符號(hào)代表：所有的意思。

User-agent: *

Disallow:

或者

User-agent: *

Allow:

如果我想屏蔽搜搜的蜘蛛來抓取，

User-agent: sosospider

Disallow: /

大家可以發(fā)現(xiàn)這個(gè)屏蔽蜘蛛跟上面允許相比只是多了一個(gè)“/”，其含義是完全不一樣的，所以在書寫的時(shí)候要千萬注意，可不能因?yàn)槎鄬憘€(gè)斜杠屏蔽了蜘蛛自己卻不知道。還有就是在user-agent：后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對(duì)所有蜘蛛的。

我們要禁止網(wǎng)站那個(gè)目錄文件不允許搜索引擎蜘蛛來抓?。?/p>

User-agent: *

Disallow: /目錄/。

如果是阻止抓取某目錄的話目錄名字一定要注意“/”，不帶“/”表示的是阻止訪問這個(gè)目錄頁面和目錄下的頁面，而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁面，這兩點(diǎn)要分清楚。如果是想屏蔽多個(gè)目錄就需要采用的。

如果是阻止蜘蛛訪問某一類型的文件，例如阻止抓取.jpg格式的圖片可以設(shè)置成：

User-agent: *

Disallow: .jpg$

假如我網(wǎng)站很多頁面后綴帶有?號(hào)的目錄，怎么來寫呢!我們可以這樣寫;

User-agent: *

Disallow: /*?

最后大家，寫robots.txt的時(shí)候，一定要分清字母的大小寫，還要robots.txt寫好都是放到網(wǎng)站根目錄下面。大家對(duì)網(wǎng)站robots.txt文件的制作已經(jīng)了解了嗎？

當(dāng)前標(biāo)題：網(wǎng)站robots.txt文件的制作及使用
網(wǎng)站路徑：http://www.rwnh.cn/news/162114.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站營(yíng)銷、虛擬主機(jī)、微信公眾號(hào)、網(wǎng)站導(dǎo)航、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)