2014-04-18 分類: 網(wǎng)站建設(shè)
近段時(shí)間分享網(wǎng)站優(yōu)化相關(guān)的教程越來(lái)越少了,主要還是忙其他項(xiàng)目,導(dǎo)致每天沒(méi)有過(guò)多的時(shí)間。今天抽時(shí)間給大家聊聊網(wǎng)站優(yōu)化中關(guān)于robots文件的一些常見(jiàn)的疑問(wèn)。
一、什么是robots,robots有什么用?
在講解robots之前先給大家介紹一下什么是robots。借用百度百科的解釋robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議,用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限,也就是說(shuō)robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。
用一句話來(lái)解釋:robots就是蜘蛛與網(wǎng)站的一種協(xié)議。
至于robots有什么用,相信認(rèn)真看上文的小伙伴還是有一定的收獲。冬鏡認(rèn)為合理的robots還是有以下幾方面的好處:
1、可以避免蜘蛛爬取收錄我們不想展現(xiàn)給別人看的頁(yè)面。例如網(wǎng)站后臺(tái)地址,個(gè)人隱私日志等。
2、可以減輕服務(wù)器壓力。我們通過(guò)robots協(xié)議可以讓蜘蛛只抓取一部分頁(yè)面,避免蜘蛛胡亂抓取一些沒(méi)用的頁(yè)面,占用服務(wù)器資源。
3、正確的robots協(xié)議會(huì)提升整站質(zhì)量,促使快速收錄排名,從而提高網(wǎng)站權(quán)重。
二、robots協(xié)議格式應(yīng)該怎么寫(xiě)?
先給大家看一個(gè)最簡(jiǎn)單的robots文件的寫(xiě)法:
User-agent: *
Disallow: /inc/
Allow: /uqseo
Sitemap: 域名/sitemapxq7jely9mgz.xml
上文中User-agent代表的是搜索引擎蜘蛛的名字,一般常用的是*,代表通配,換句話說(shuō)就是該協(xié)議對(duì)所有搜索引擎蜘蛛都有用;Disallow指不允許訪問(wèn)的對(duì)象,比如某一個(gè)css、js、圖片、視頻、文件夾等,Disallow: /inc/代表的就是不允許搜索引擎蜘蛛爬行抓取inc文件夾下的所有文件;Allow指允許搜索引擎蜘蛛訪問(wèn)的路徑,Allow: /uqseo代表的是帶有uqseo的文件或文件夾 ;Sitemap指本站的地圖,一般為.xml或.txt格式的地址,值得注意的是這里一定要寫(xiě)絕對(duì)地址。
小提示:每個(gè)屬性的冒號(hào)是用英文冒號(hào),冒號(hào)后面一定要空一格。
三、robots只能放在根目錄嗎?
冬鏡可以明確地告訴robots文件只能放在網(wǎng)站根目錄,關(guān)于這一點(diǎn)也是很好理解的,前文提過(guò)robots文件就是針對(duì)搜索引擎蜘蛛的一種協(xié)議(有些蜘蛛不一定會(huì)遵守),搜索引擎蜘蛛進(jìn)入網(wǎng)站都是先從網(wǎng)站根目錄,所以robots協(xié)議也只有在根目錄的時(shí)候才有效,而且需要注意的是robots文件的命名必須是robots.txt,只能用小寫(xiě)字母。
四、robots協(xié)議的高級(jí)玩法
此玩法需要php+偽靜態(tài)或者php+路由來(lái)實(shí)現(xiàn)。前面講到robots里面除了禁止和運(yùn)行之外,還有一個(gè)十分重要的就是sitemap地圖,有時(shí)候我們網(wǎng)站的sitemap地圖很多時(shí),如果全部寫(xiě)到robots里面就會(huì)顯得十分臃腫,此時(shí)我們采用php控制輸出就能實(shí)現(xiàn)每次訪問(wèn)robots顯示不同的地址,具體的就不為大家過(guò)多的演示了。
文章標(biāo)題:網(wǎng)站優(yōu)化中robots文件一定要放在根目錄嗎?
轉(zhuǎn)載注明:http://www.rwnh.cn/news/8137.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站排名、網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容