中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

PHPCMS v9 的robots.txt文件詳解

2016-09-04    分類: 網(wǎng)站建設(shè)

robots.txt是一個(gè)協(xié)議,而不是一個(gè)命令。robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議,僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí),才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。 關(guān)于robots.txt文件的寫法,我們來看一下phpcms內(nèi)容管理系統(tǒng)的robots.txt文件:

#
# robots.txt for PHPCMS v9
#
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個(gè)通配符
Disallow: /caches/禁止爬尋緩存目錄下的所有文件
Disallow: /phpcms/禁止爬尋phpcms的核心目錄下的目錄
Disallow: /install/禁止訪問安裝包目錄下的目錄
Disallow: /phpsso_server/禁止爬尋phpsso_server目錄下的目錄
Disallow: /api/禁止爬尋接口目錄下的目錄
Disallow: /admin.php/ 這里定義是禁止蜘蛛爬尋admin目錄下面的目錄

上面的robots.txt文件的寫法,都是禁止蜘蛛爬尋相關(guān)目錄的,那么允許爬尋目錄怎么寫呢?
我們把上面的寫法改成允許蜘蛛爬尋目錄:只需把“Disallow”替換成“Allow”即可。當(dāng)然這樣做是沒有意義的,一般情況下,我們只寫禁止爬尋的目錄,默認(rèn)情況下都是允許訪問的。

如果我們不設(shè)置禁止爬尋目錄會(huì)出現(xiàn)什么情況呢?

比如我們把上面的"Disallow: /admin.php/"改成"Allow: /admin.php/",
這樣也就允許蜘蛛爬尋網(wǎng)站后臺(tái)的相關(guān)網(wǎng)頁,當(dāng)我們在百度搜索時(shí),有時(shí)看到一篇文章,我們點(diǎn)擊,打開的網(wǎng)頁告訴你沒有權(quán)限查看。有些情況下,我們不允許蜘蛛爬尋某些頁面鏈接的某部分。比如很多論壇或者博客的評論,允許游客寫個(gè)人主頁的鏈接,當(dāng)游客發(fā)表評論時(shí)昵稱會(huì)帶上個(gè)人主頁的超鏈接,當(dāng)我們點(diǎn)擊時(shí)會(huì)跳轉(zhuǎn)到個(gè)人主頁。這個(gè)功能可以使個(gè)人主頁帶來更多的展現(xiàn)機(jī)會(huì)。后面的部分是評論者所寫的個(gè)人主頁的鏈接。大家當(dāng)然看不明白,因?yàn)槲矣煤瘮?shù)處理過了。我的robots.txt文件是這樣寫的:
Disallow: /tourl/* 這是告訴蜘蛛,不要爬尋http://seo.cdkjz.cn/wangzhan后面的鏈接了。這樣做的作用是,防止本網(wǎng)站的權(quán)重分流到比本站權(quán)重低的網(wǎng)站去。站長們在做友情鏈接時(shí),一般都是要求交換pr值相等鏈接,原因也就在于此。

新聞名稱:PHPCMS v9 的robots.txt文件詳解
分享路徑:http://www.rwnh.cn/news/46116.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站網(wǎng)站設(shè)計(jì)公司、網(wǎng)站營銷、面包屑導(dǎo)航外貿(mào)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化
屯门区| 景洪市| 鹤峰县| 东港市| 灵石县| 古蔺县| 洞口县| 百色市| 柞水县| 双江| 西城区| 买车| 南昌县| 苏尼特左旗| 武宣县| 湄潭县| 武清区| 曲靖市| 平定县| 哈尔滨市| 达孜县| 遵义县| 平度市| 宁蒗| 顺昌县| 白朗县| 信宜市| 西青区| 乐至县| 武夷山市| 香格里拉县| 河池市| 嘉黎县| 大庆市| 汨罗市| 洛浦县| 麻江县| 金门县| 西丰县| 衡南县| 揭东县|