中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站優(yōu)化中robots文件一定要放在根目錄嗎?

2014-04-18    分類: 網(wǎng)站建設(shè)

    近段時間分享網(wǎng)站優(yōu)化相關(guān)的教程越來越少了,主要還是忙其他項目,導(dǎo)致每天沒有過多的時間。今天抽時間給大家聊聊網(wǎng)站優(yōu)化中關(guān)于robots文件的一些常見的疑問。

一、什么是robots,robots有什么用?

在講解robots之前先給大家介紹一下什么是robots。借用百度百科的解釋robots是網(wǎng)站跟爬蟲間的協(xié)議,用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限,也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當(dāng)一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

用一句話來解釋:robots就是蜘蛛與網(wǎng)站的一種協(xié)議。

至于robots有什么用,相信認(rèn)真看上文的小伙伴還是有一定的收獲。冬鏡認(rèn)為合理的robots還是有以下幾方面的好處:

1、可以避免蜘蛛爬取收錄我們不想展現(xiàn)給別人看的頁面。例如網(wǎng)站后臺地址,個人隱私日志等。

2、可以減輕服務(wù)器壓力。我們通過robots協(xié)議可以讓蜘蛛只抓取一部分頁面,避免蜘蛛胡亂抓取一些沒用的頁面,占用服務(wù)器資源。

3、正確的robots協(xié)議會提升整站質(zhì)量,促使快速收錄排名,從而提高網(wǎng)站權(quán)重。

二、robots協(xié)議格式應(yīng)該怎么寫?

先給大家看一個最簡單的robots文件的寫法:

User-agent: *

Disallow: /inc/

Allow: /uqseo

Sitemap: 域名/sitemapxq7jely9mgz.xml

上文中User-agent代表的是搜索引擎蜘蛛的名字,一般常用的是*,代表通配,換句話說就是該協(xié)議對所有搜索引擎蜘蛛都有用;Disallow指不允許訪問的對象,比如某一個css、js、圖片、視頻、文件夾等,Disallow: /inc/代表的就是不允許搜索引擎蜘蛛爬行抓取inc文件夾下的所有文件;Allow指允許搜索引擎蜘蛛訪問的路徑,Allow: /uqseo代表的是帶有uqseo的文件或文件夾 ;Sitemap指本站的地圖,一般為.xml或.txt格式的地址,值得注意的是這里一定要寫絕對地址。

小提示:每個屬性的冒號是用英文冒號,冒號后面一定要空一格。

三、robots只能放在根目錄嗎?

冬鏡可以明確地告訴robots文件只能放在網(wǎng)站根目錄,關(guān)于這一點也是很好理解的,前文提過robots文件就是針對搜索引擎蜘蛛的一種協(xié)議(有些蜘蛛不一定會遵守),搜索引擎蜘蛛進入網(wǎng)站都是先從網(wǎng)站根目錄,所以robots協(xié)議也只有在根目錄的時候才有效,而且需要注意的是robots文件的命名必須是robots.txt,只能用小寫字母。

四、robots協(xié)議的高級玩法

此玩法需要php+偽靜態(tài)或者php+路由來實現(xiàn)。前面講到robots里面除了禁止和運行之外,還有一個十分重要的就是sitemap地圖,有時候我們網(wǎng)站的sitemap地圖很多時,如果全部寫到robots里面就會顯得十分臃腫,此時我們采用php控制輸出就能實現(xiàn)每次訪問robots顯示不同的地址,具體的就不為大家過多的演示了。

本文題目:網(wǎng)站優(yōu)化中robots文件一定要放在根目錄嗎?
文章轉(zhuǎn)載:http://www.rwnh.cn/news37/8137.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供全網(wǎng)營銷推廣建站公司、網(wǎng)站排名、外貿(mào)建站、Google、動態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計
福泉市| 南安市| 邹城市| 临城县| 咸丰县| 澄江县| 突泉县| 东乌| 建瓯市| 阳东县| 陇西县| 邹城市| 霍林郭勒市| 玉屏| 南康市| 河东区| 科技| 谢通门县| 永春县| 砚山县| 泰安市| 湟中县| 云南省| 仁怀市| 德保县| 舞钢市| 宁陵县| 科尔| 色达县| 讷河市| 瑞安市| 大宁县| 伊金霍洛旗| 麟游县| 滕州市| 漾濞| 那曲县| 大兴区| 铁岭县| 伊宁县| 南康市|