成都設(shè)計公司-robots.txt文件的格式？
2023-03-15 分類： 網(wǎng)站建設(shè)
什么是robots文件
robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。為了避免站長在設(shè)置robots文件時出現(xiàn)，百度站長平臺特別推出了robots工具，幫助站長正確設(shè)置robots。
在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,詳細(xì)情況如下：
User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。
Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。
六年磨一劍，創(chuàng)新互聯(lián)一直秉承通過傳統(tǒng)線下合作與線上
網(wǎng)站名稱：成都設(shè)計公司-robots.txt文件的格式？
URL鏈接：http://www.rwnh.cn/news/244304.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、Google、小程序開發(fā)、外貿(mào)建站、域名注冊、網(wǎng)站營銷
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 網(wǎng)絡(luò)營銷中網(wǎng)絡(luò)廣告有哪些好處呢？ 2023-03-15
- 在網(wǎng)站管理中怎樣完善信息的檢索和備份？ 2023-03-15
- 頁面圖片alt屬性必須加嗎 2023-03-14
- 網(wǎng)站報價低廉就是便宜？很多缺陷你不知道！ 2023-03-14
- 網(wǎng)站的建設(shè)如何實現(xiàn)理想中的效果 2023-03-14
- 營銷型網(wǎng)站建設(shè)公司哪家好？ 2023-03-14
- 如何做好北京企業(yè)網(wǎng)站的維護(hù)工作 2023-03-14
- 快速提高新網(wǎng)站百度權(quán)重方法 2023-03-15
- 網(wǎng)站怎么設(shè)計制作才有吸引力? 2023-03-15
- 做網(wǎng)站后如何完善內(nèi)容 2023-03-14
- 南通網(wǎng)站建設(shè)的十大策略 2023-03-14
- 企業(yè)微網(wǎng)站開發(fā)模式的應(yīng)用方式 2023-03-14
- 建設(shè)定制型網(wǎng)站有哪些優(yōu)點 2023-03-14
- 北京朝陽網(wǎng)站建設(shè)_做網(wǎng)站12年_懂你的網(wǎng)站制作顧問 2023-03-14
- 成都電商網(wǎng)站建設(shè)應(yīng)該如何合理布局？ 2023-03-14
- 如何建網(wǎng)站才算是有價值 2023-03-14
- 網(wǎng)站無效收錄會變成有效收錄嗎 2023-03-14
- 如何通過設(shè)計提升網(wǎng)站的氣質(zhì)和品質(zhì)？ 2023-03-14
- 企業(yè)為什么要建設(shè)網(wǎng)站？ 2023-03-14