SEO優(yōu)化人員在建站的時(shí)候會(huì)跟robots文件打交道，這個(gè)文件是什么?能夠?qū)W(wǎng)站起到什么作用?今天跟著創(chuàng)新互聯(lián)SEO來(lái)一起了解一下具體內(nèi)容，幫助你更好的開(kāi)展搜索優(yōu)化工作。

通俗的來(lái)講robots.txt文件是一個(gè)純文本文件，是我們網(wǎng)站和搜索引擎蜘蛛的協(xié)議文件，就和合同一樣，在搜索引擎抓取我們網(wǎng)站的時(shí)候，會(huì)第一個(gè)訪問(wèn)我們網(wǎng)站的robots.txt協(xié)議文件，查看我們網(wǎng)站的制定的協(xié)議，再進(jìn)行網(wǎng)站的抓取。

我們?cè)趺床榭匆粋€(gè)網(wǎng)站是否制作了robots.txt文件呢?

其實(shí)很簡(jiǎn)單，只要在域名后加上/robots.txt就可以訪問(wèn)和查看這個(gè)網(wǎng)站的robots.txt文件了。如果顯示的是404那么說(shuō)明這個(gè)網(wǎng)站還沒(méi)有設(shè)置robots.txt協(xié)議。

robots.txt文件的作用有哪些呢?

1、robots是搜索引擎蜘蛛抓取網(wǎng)站時(shí)，所抓取的第一個(gè)文件

2、robots可以屏蔽網(wǎng)站的垃圾和重復(fù)頁(yè)面

3、robots可以保護(hù)網(wǎng)站的隱私防止隱私泄露

4、robots可以讓一些不想要上排名的頁(yè)面，使其不參與排名

5、robots可以屏蔽不需要搜索引擎蜘蛛抓取的模版插件等

如何制作編寫(xiě)我們網(wǎng)站的robots文件呢?

我們首先要了解robots文件的編寫(xiě)語(yǔ)法，和注意事項(xiàng)。

(User-agent代表選擇蜘蛛) User-agent: Baiduspider (Baiduspider代表百度蜘蛛)

* 選擇代表所有相關(guān) User-agent: * 所有蜘蛛

Disallow: /(在語(yǔ)句下加上Disallow: /代表禁止抓取)如果要禁止網(wǎng)站根目錄里的一個(gè)文件比如a/12/l這個(gè)文件那么Disallow: /a/12/l即可。

禁止一個(gè)文件夾比如c文件夾里所有的文件Disallow: /a 這樣即可。

不想讓蜘蛛禁止a文件夾里的全部文件，想讓蜘蛛抓取a文件夾里的cl66這個(gè)文件Disallow: /aAllow: /a/cl66 這樣即可。

(Allow:代表應(yīng)許抓取)我們要禁止網(wǎng)站里的圖片，那么如果網(wǎng)站里面有很多圖片，有幾萬(wàn)個(gè)圖片難道我們要一個(gè)一個(gè)選擇幾萬(wàn)個(gè)圖片禁止嗎?

比如是jpg格式的圖片，Disallow: /*.jpg$ $代表結(jié)束符 *代表所有。

如果要屏蔽所有js文件的話Disallow: /*.js$ 這樣即可。

怎么屏蔽網(wǎng)站的動(dòng)態(tài)路徑呢? 如果路徑是 www.cdhuace.com/sadada?sdasdadaid=123Disallow: /*?* (禁止抓取路徑?前面和后面的所有) 。

Disallow: /a 這個(gè)是屏蔽以a字母開(kāi)始的文件及文件夾。

Disallow: /a/ 這個(gè)是只屏蔽a文件夾下的所有文件

robots協(xié)議文件編寫(xiě)的注意事項(xiàng)：

1、如果我們網(wǎng)站沒(méi)有設(shè)置robots.txt協(xié)議文件，那么搜索引擎蜘蛛會(huì)默認(rèn)抓取我們網(wǎng)站的所有頁(yè)面文件的。

2、robots.txt協(xié)議文件的第一個(gè)字母要大寫(xiě)，所有內(nèi)容要在英文狀態(tài)下編寫(xiě)。

3、robots.txt協(xié)議文件放置在我們網(wǎng)站的根目錄中，文件名不能錯(cuò)，不然搜索引擎蜘蛛抓取不到我們的robots.txt協(xié)議文件的，字母的大小也是有限制的，robots.txt的文件名必須為小寫(xiě)字母。所有的命令第一個(gè)字母需大寫(xiě)，其余的小寫(xiě)。所有的命令之后要有一個(gè)英文字符空格。

如果實(shí)在嫌robots.txt協(xié)議文件編寫(xiě)比較麻煩，也可以找同行業(yè)，查看他們的robots.txt協(xié)議文件，進(jìn)行復(fù)制略作修改后，傳輸?shù)骄W(wǎng)站的更目錄即可。

以上就是robots.txt文件的相關(guān)介紹以及編寫(xiě)教程，這個(gè)文件能夠?qū)W(wǎng)站的隱私起到一定的保護(hù)作用，對(duì)于優(yōu)化而言是比較必須的一項(xiàng)工作。

本文標(biāo)題：做SEO優(yōu)化 robots文件怎么寫(xiě)？
網(wǎng)頁(yè)URL：http://www.rwnh.cn/news/2714.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷(xiāo)、自適應(yīng)網(wǎng)站、云服務(wù)器、面包屑導(dǎo)航、虛擬主機(jī)、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)