首先我們應(yīng)該明白R(shí)obots.txt文件是網(wǎng)站與搜索引擎之間的一種協(xié)議，當(dāng)搜索引擎來(lái)抓取你網(wǎng)站的時(shí)候，首先會(huì)看你網(wǎng)站根目錄的Robots文件，搜索引擎會(huì)根據(jù)你寫(xiě)的這個(gè)協(xié)議來(lái)抓取你的網(wǎng)站內(nèi)容，當(dāng)然抓取的頁(yè)面都是由你寫(xiě)的Robots來(lái)確定的。

Robots的基本概念與作用

搜索引擎使用spider程序來(lái)訪問(wèn)網(wǎng)站里面的內(nèi)容，但是你的Robots文件可以告訴它那個(gè)頁(yè)面可以訪問(wèn)，那個(gè)頁(yè)面不可以訪問(wèn)，有些人認(rèn)為網(wǎng)站當(dāng)然容許抓取訪問(wèn)了，錯(cuò)，一些網(wǎng)站后臺(tái)隱私文件、js、死鏈這些都是需要屏蔽的。

Robots常見(jiàn)的規(guī)則

1、User-agent指令: 此指令定義了此指令下面的內(nèi)容對(duì)哪些蜘蛛有效。默認(rèn)所有蜘蛛都允許抓取，如果此指令指定了特定的蜘蛛，那么此指令下跟的內(nèi)容就對(duì)特定蜘蛛有效。

2、Disallow指令： 指禁止搜索引擎抓取的路徑​，也就是說(shuō)此指令定義了禁止蜘蛛抓取哪些內(nèi)容

3、Allow指令: ​允許搜索引擎收錄的地址，此指令定義了允許蜘蛛抓些哪些內(nèi)容，如果是某些內(nèi)容允許，其它全部拒絕，則可以用這個(gè)指令，大多數(shù)網(wǎng)站只用到禁止指令。

User-agent的用法示例

此指令是用來(lái)定義蜘蛛名的：常見(jiàn)的蜘蛛名包括：baiduspider、Googlebot、MSNbot、baiduspider-image、Youdaobot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、Sosospider、pangusoSpider、JikeSpider、yisouspider、EasouSpider。

Disallow的用法示例

1、禁止整站被抓?。?/p>

Disallow: /

2、禁止根目錄下的woniuseo目錄抓取：

Disallow: /woniuseo/

3、禁止根目錄下的woniuseo目錄下的單個(gè)頁(yè)面woniuseo.html被抓?。?/p>

Disallow：/woniuseo/woniuseo.html

4、禁止全站含有？的頁(yè)面被抓?。?/p>

Disallow: /*？*

5、禁止全站含有woniuseo的頁(yè)面被抓?。?/p>

Disallow: /*woniuseo*

6、禁止全站后綴為.aspx的頁(yè)面被抓?。?/p>

Disallow: /*.aspx$

7、禁止全站后綴為.jpg的文件被抓?。?/p>

Disallow:/*.jpb$

Allow的用法示例

1、允許所有頁(yè)面被抓?。?/p>

Allow: /

2、允許woniuseo的目錄被抓?。?/p>

Allow: /woniuseo/

3、允許抓取.html的頁(yè)面：

Allow: /*.html$

4、允許抓取.jpg的圖片：

Allow: /*.jpg$

總結(jié)：

把上面的內(nèi)容結(jié)合起來(lái)就能夠得到最佳的Wordpress程序robots.txt文件了。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
使用方法：新建一個(gè)名稱為robots.txt文本文件，將上面的內(nèi)容放進(jìn)去，然后上傳到網(wǎng)站根目錄即可。​最后，就要要去網(wǎng)站看一下文件是否存在http://你的域名/robots.txt。上面只是些基本的寫(xiě)法，當(dāng)然還有很多，不過(guò)這些已經(jīng)夠我們使用了。

網(wǎng)頁(yè)標(biāo)題：關(guān)于robots文件作用與寫(xiě)法的總結(jié)
本文鏈接：http://www.rwnh.cn/news28/299828.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、微信小程序、用戶體驗(yàn)、建站公司、品牌網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)