中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站制作robots協(xié)議應(yīng)該遵守么?

2013-04-26    分類: 網(wǎng)站制作

前些年,網(wǎng)站建設(shè)行業(yè)的程序猿們肯定有聽說過robots協(xié)議,而且360與百度兩大搜索引擎關(guān)于“robots”協(xié)議也一直存在爭議,百度這邊呢,指責(zé)360違反商業(yè)道德,不遵守“robots協(xié)議”,而360又認(rèn)為百度利用該協(xié)議作為不正當(dāng)競爭的工具,想要壟斷整個(gè)搜索引擎市場。那么究竟robots協(xié)議功能是什么?有什么功能?那就跟隨成都創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一起來了解下吧!

首先,robots協(xié)議全稱是Robots Exclusion Protocol,翻譯過來是機(jī)器人排除協(xié)議,又稱為爬蟲協(xié)議、機(jī)器人協(xié)議,是指網(wǎng)站所有者通過一個(gè)置于網(wǎng)站根目錄下的文本文件,即robots.txt,提示搜索引擎的網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁不應(yīng)被抓取,哪些網(wǎng)頁可以抓取。從本質(zhì)上來說,robots協(xié)議是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

網(wǎng)站制作

如果把網(wǎng)站比作一個(gè)對公眾開放的博物館,robots協(xié)議就相當(dāng)于在博物館入口處懸掛的提示牌,告知游客哪些區(qū)域不對游客開放,如:“本館三樓301-302室為展品儲(chǔ)藏室、四樓為辦公區(qū),謝絕參觀”。通常情況下,游客會(huì)根據(jù)提示牌的內(nèi)容,進(jìn)行參觀游覽。提示牌本身沒有強(qiáng)制力,如果要防止游客擅自闖入不開放區(qū)域,最好的辦法是采取一些“技術(shù)措施”,如在辦公區(qū)外設(shè)置欄桿,在儲(chǔ)藏室門上加鎖等。博物館設(shè)置提示牌的目的是為了便于游客更好的參觀,提示牌的內(nèi)容對所有游客應(yīng)一視同仁。如果提示牌規(guī)定禁止某一類人參觀,則需要有合理、正當(dāng)?shù)睦碛桑谌狈侠?、正?dāng)理由的情況下,禁止某一類人進(jìn)入一個(gè)對公眾開放的博物館參觀顯然是不合理的。

從《互聯(lián)網(wǎng)搜索引擎自律公約》第七條、第八條的規(guī)定來看,其包含兩個(gè)層次的含義,一方面從搜索引擎的角度來說,必須遵守受訪網(wǎng)站的robots協(xié)議,不得隨意抓取,另一方面從受訪網(wǎng)站的角度來說,其設(shè)置robots協(xié)議的行為本身應(yīng)當(dāng)具有行業(yè)公認(rèn)合理的正當(dāng)理由,不得利用robots協(xié)議進(jìn)行不正當(dāng)競爭行為。

而robots協(xié)議設(shè)置的初衷也正是如此,為了提示搜索引擎的網(wǎng)絡(luò)機(jī)器人更有效的抓取對網(wǎng)絡(luò)用戶有用的信息,從而更好的促進(jìn)信息共享。但是對于robots協(xié)議存在的不正當(dāng)競爭行為應(yīng)該加以限制,也只有這樣才可以維護(hù)市場環(huán)境的公平競爭,從而促進(jìn)互聯(lián)網(wǎng)行業(yè)的發(fā)展。

網(wǎng)站題目:網(wǎng)站制作robots協(xié)議應(yīng)該遵守么?
文章起源:http://www.rwnh.cn/news17/767.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡(luò)營銷seo公司;服務(wù)項(xiàng)目有網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
策勒县| 拉萨市| 临安市| 达日县| 老河口市| 黔西县| 芜湖市| 云阳县| 铜山县| 寻乌县| 时尚| 明星| 保德县| 晋中市| 晴隆县| 台州市| 天水市| 呼伦贝尔市| 黔江区| 祁阳县| 洛浦县| 玉田县| 中宁县| 凤冈县| 龙山县| 锦屏县| 赞皇县| 綦江县| 舒城县| 长汀县| 丰县| 师宗县| 都安| 东明县| 黄山市| 班玛县| 荃湾区| 万盛区| 罗平县| 万全县| 北安市|