robots文件
2022-06-16 分類： 網(wǎng)站建設(shè)
搜索引擎蜘蛛訪問(wèn)網(wǎng)站時(shí)會(huì)先看網(wǎng)站根目錄下有沒(méi)有一個(gè)命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網(wǎng)站某些內(nèi)容或者指定允許搜索引擎抓取某些內(nèi)容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網(wǎng)站制作認(rèn)為，只有在需要禁止某些內(nèi)容時(shí)，寫(xiě)robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問(wèn)題，robots文件不存在時(shí)會(huì)返回200狀態(tài)碼及一些錯(cuò)誤信息。而不是404狀態(tài)碼，還有可能會(huì)使搜索引擎錯(cuò)誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個(gè)空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實(shí)踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問(wèn)或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會(huì)出現(xiàn)在搜索結(jié)果中，只要有導(dǎo)入鏈接指向這個(gè)URL，成都建網(wǎng)站認(rèn)為搜索引擎就知道這個(gè)URL的存在，雖然不會(huì)抓取頁(yè)面內(nèi)容，但是可能一下幾種形式還是會(huì)顯示在搜索結(jié)果中：
1.只顯示URL，沒(méi)有標(biāo)題，描述。谷歌通常這么處理。
2.只顯示開(kāi)放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁(yè)面上的meta robots標(biāo)簽。
深圳網(wǎng)站制作認(rèn)為，只有在需要禁止某些內(nèi)容時(shí)，寫(xiě)robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問(wèn)題，robots文件不存在時(shí)會(huì)返回200狀態(tài)碼及一些錯(cuò)誤信息。而不是404狀態(tài)碼，還有可能會(huì)使搜索引擎錯(cuò)誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個(gè)空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實(shí)踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問(wèn)或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會(huì)出現(xiàn)在搜索結(jié)果中，只要有導(dǎo)入鏈接指向這個(gè)URL，成都建網(wǎng)站認(rèn)為搜索引擎就知道這個(gè)URL的存在，雖然不會(huì)抓取頁(yè)面內(nèi)容，但是可能一下幾種形式還是會(huì)顯示在搜索結(jié)果中：
1.只顯示URL，沒(méi)有標(biāo)題，描述。谷歌通常這么處理。
2.只顯示開(kāi)放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁(yè)面上的meta robots標(biāo)簽。
網(wǎng)頁(yè)標(biāo)題：robots文件
文章網(wǎng)址：http://www.rwnh.cn/news9/167759.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站維護(hù)、網(wǎng)站排名、網(wǎng)站收錄、用戶體驗(yàn)、面包屑導(dǎo)航
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 如何讓網(wǎng)站上的按鈕更好看更易用 2022-06-15
- 專業(yè)SEO人員常用seo工具有哪些 2022-06-15
- 網(wǎng)絡(luò)營(yíng)銷必備的幾大技巧？ 2022-06-15
- 新網(wǎng)站上線收錄慢怎么解決 2022-06-15
- 網(wǎng)絡(luò)建設(shè)需要更新才能“活”起來(lái) 2022-06-15
- 如何給別人的產(chǎn)品提意見(jiàn)? 2022-06-15
- 你的企業(yè)網(wǎng)站被您賦予生命了嗎？ 2022-06-15
- 同行網(wǎng)站是怎么建設(shè)得那么好的，給幾個(gè)方法，趕緊消化 2022-06-15
- 如何做好網(wǎng)站內(nèi)部構(gòu)建? 2022-06-15
- 電子郵件營(yíng)銷的優(yōu)勢(shì) 2022-06-15
- 更換服務(wù)器需注意的事項(xiàng) 2022-06-15
- 【微博運(yùn)營(yíng)之微博營(yíng)銷】新浪微博傳播途徑研究 2022-06-15
- Web應(yīng)用程序的優(yōu)點(diǎn) 2022-06-15
- 企業(yè)網(wǎng)站該如何實(shí)施網(wǎng)站優(yōu)化 2022-06-15
- 設(shè)計(jì)的階段,成為設(shè)計(jì)師的幾個(gè)要經(jīng)歷的階段 2022-06-15
- 定制企業(yè)官網(wǎng)必備制作流程步驟講解 2022-06-15
- 裝飾品牌網(wǎng)站首頁(yè)設(shè)計(jì)效果 2022-06-15
- 株洲網(wǎng)站優(yōu)化關(guān)鍵詞為什么會(huì)出現(xiàn)排名不穩(wěn)定的情況？ 2022-06-15
- 互聯(lián)網(wǎng)時(shí)代，SEO網(wǎng)絡(luò)優(yōu)化技術(shù)的主要應(yīng)用領(lǐng)域有哪些？ 2022-06-15