爬蟲(chóng)質(zhì)量的點(diǎn)評(píng)規(guī)范
假如從查找引擎用戶體會(huì)的視點(diǎn)考慮，對(duì)爬蟲(chóng)的工作效果有不同的點(diǎn)評(píng)規(guī)范，其中最首要的 3 個(gè)規(guī)范是：抓取網(wǎng)頁(yè)的覆蓋率、抓取網(wǎng)頁(yè)時(shí)新性及抓取網(wǎng)頁(yè)重要性。假如這 3 方面做得好，則查找引擎用戶體會(huì)必定好。

seo優(yōu)化公司
關(guān)于現(xiàn)有的查找引擎來(lái)說(shuō)，還不存在哪個(gè)查找引擎有能力將互聯(lián)網(wǎng)上呈現(xiàn)的一切網(wǎng)頁(yè)都下載并樹(shù)立索引，一切查找引擎只能索引互聯(lián)網(wǎng)的一部分。而所謂的抓取覆蓋率指的是爬蟲(chóng)抓取網(wǎng)頁(yè)的數(shù)量占互聯(lián)網(wǎng)一切網(wǎng)頁(yè)數(shù)量的份額，覆蓋率越高，等價(jià)于查找引擎的召回率越高，用戶體會(huì)越好。
索引網(wǎng)頁(yè)和互聯(lián)網(wǎng)網(wǎng)頁(yè)對(duì)比
抓取到本地的網(wǎng)頁(yè)，很有或許已經(jīng)發(fā)生變化，或者被刪除，或者內(nèi)容被更改，因?yàn)榕老x(chóng)抓取完一輪需求較長(zhǎng)的時(shí)間周期，所以抓取到的網(wǎng)頁(yè)傍邊必然會(huì)有一部分是過(guò)期的數(shù)據(jù)，即不能在網(wǎng)頁(yè)變化后時(shí)間反應(yīng)到網(wǎng)頁(yè)庫(kù)中。所以網(wǎng)頁(yè)庫(kù)中過(guò)期的數(shù)據(jù)越少，則網(wǎng)頁(yè)的時(shí)新性越好，這對(duì)用戶體會(huì)的改善大有裨益。
假如時(shí)新性不好，查找到的都是過(guò)期數(shù)據(jù)，或者網(wǎng)頁(yè)被刪除，用戶的內(nèi)心感觸可想而知。
互聯(lián)網(wǎng)雖然網(wǎng)頁(yè)繁復(fù)，但是每個(gè)網(wǎng)頁(yè)的差異性都很大，比如來(lái)自騰訊、網(wǎng)易新聞的網(wǎng)頁(yè)和某個(gè)做弊網(wǎng)頁(yè)比較，其重要性猶如天壤之別。假如查找引擎抓取到的網(wǎng)頁(yè)大部分是比較重要的網(wǎng)頁(yè)，則能夠闡明在抓取網(wǎng)頁(yè)重要性方面做得比較好。這方面做的越好，則越闡明查找引擎的查找精度越高。
通過(guò)以上 3 個(gè)規(guī)范的闡明分析，能夠?qū)⑴老x(chóng)研制的方針簡(jiǎn)略描述如下：在資源有限的情況下，既然查找引擎只能抓取互聯(lián)網(wǎng)現(xiàn)存網(wǎng)頁(yè)的一部分，那么就盡或許給選擇比較重要的那部分頁(yè)面來(lái)索引；關(guān)于已經(jīng)抓取到的網(wǎng)頁(yè)，盡或許快的更新內(nèi)容，使得索引網(wǎng)頁(yè)和互聯(lián)網(wǎng)對(duì)應(yīng)頁(yè)面內(nèi)容同步更新；在此基礎(chǔ)上，盡或許擴(kuò)展抓取范圍，抓取到更多曾經(jīng)無(wú)法發(fā)現(xiàn)的網(wǎng)頁(yè)。
3 個(gè)“盡或許”基本說(shuō)清楚了爬蟲(chóng)體系為增強(qiáng)用戶體會(huì)而奮斗的方針。
大型商業(yè)查找引擎為了滿意 3 個(gè)質(zhì)量規(guī)范，大都開(kāi)發(fā)了多套針對(duì)性很強(qiáng)的爬蟲(chóng)體系。以Google為例，至少包含兩套不同的爬蟲(chóng)體系：一套被稱為Fresh Bot，首要考慮網(wǎng)頁(yè)的時(shí)新性，關(guān)于內(nèi)容更新頻頻的網(wǎng)頁(yè)，現(xiàn)在能夠到達(dá)以秒計(jì)的更新周期；另外一套被稱之為Deep Crawl Bot，首要針對(duì)更新不是那么頻頻的網(wǎng)頁(yè)抓取，以天為更新周期。

分享文章：seo優(yōu)化公司：搜索引擎爬蟲(chóng)質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)
URL標(biāo)題：http://www.rwnh.cn/news17/90017.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、建站公司、品牌網(wǎng)站設(shè)計(jì)、動(dòng)態(tài)網(wǎng)站、商城網(wǎng)站、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)