搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)量都在萬億級,用戶輸入搜索詞后,如果靠排名程序?qū)崟r對這些頁面進行相關(guān)性分析,則計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。因此,必須對抓取的頁面進行預(yù)處理，也稱為“索引”。下面，小編將詳細(xì)為大家介紹百度排名中這些預(yù)處理都有哪些步驟：

A.提取文字

現(xiàn)在的搜索引擎還是以文字內(nèi)容為基礎(chǔ)。在蜘蛛程序抓取的頁面HTML代碼中,除了用戶在瀏覽器上可以看到的文字外,還包含大量的HTML格式標(biāo)簽、JavaScript程序等無法用于排名的內(nèi)容。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序,提取可以用于排名處理的網(wǎng)頁文字內(nèi)容。

B.中文分詞

中文分詞是中文搜索引擎特有的步驟。在中文語句中,詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的,所以搜索引擎首先必須分辨是哪幾個字組成了一個詞,以及哪些字本身就是一個詞。中文分詞方法有兩種,一種是基于詞典匹配,另一種是基于統(tǒng)計。

基于詞典匹配的方法是指將待分析的一段中文與一個事先準(zhǔn)備好的詞典中的詞條進行匹配,在待分析中文字串中掃描到詞典中已有的詞條則匹配成功,或者說切分出一個單詞。基于統(tǒng)計的分詞方法是指分析大量文字樣本,統(tǒng)計出字與字相鄰的情況出現(xiàn)的概率,幾個字相鄰的情況出現(xiàn)得越多,它們就越可能是一個詞，基于統(tǒng)計的方法的優(yōu)勢是對新出現(xiàn)的詞反應(yīng)更快,也有利于消除歧義。在實際使用中,分詞系統(tǒng)是混合使用兩種方法的。搜索引擎對頁面的分詞取決于詞庫的規(guī)模、準(zhǔn)確性和分詞算法的好壞,而不取決于頁面本身,所以SEOer對分詞能做的工作很少。 SEOer唯一能做的是在頁面上用某種形式提示搜索引擎,某幾個字應(yīng)該被當(dāng)成一個詞處理,尤其是可能產(chǎn)生歧義的時候,如在頁面標(biāo)題、H標(biāo)簽及黑體中出現(xiàn)的關(guān)鍵詞。

C.去除停止詞

無論是英文還是中文,頁面內(nèi)容中都會有一些出現(xiàn)頻率很高卻對內(nèi)容沒有任何影響的詞。例如,“的”、“地”、“得”之類的助詞,“啊”、“哈”、“呀”之類的感嘆詞,“從而”、“以”、“卻”之類的副詞或介詞。英文中的常見停止詞有the、a、an、to、of等。這些詞被稱為停止詞,因為它們對頁面的主要意思沒有影響。搜索引擎在索引頁面之前會去掉這些停止詞,使索引數(shù)據(jù)的主題更為突出,減少無謂的計算量。

D.消除噪聲

噪聲并不是指網(wǎng)頁中嘈雜的聲音,而是指頁面上對頁面主題沒有貢獻的內(nèi)容,如版權(quán)聲明文字、導(dǎo)航條、廣告等,這些內(nèi)容對頁面主題只會起到分散作用。因此搜索引擎需要識別并消除這些噪聲,在計算排名時避免使用噪聲內(nèi)容。消除噪聲的基本方法是根據(jù)HTML標(biāo)簽對頁面分塊,區(qū)分頁頭、導(dǎo)航條、正文、頁腳、廣告等區(qū)域。在網(wǎng)站中多次重復(fù)出現(xiàn)的區(qū)塊往往屬于噪聲。消除頁面噪聲后,剩下的才是頁面主體內(nèi)容。

E.去除重復(fù)內(nèi)容

同一篇文章經(jīng)常會重復(fù)出現(xiàn)在不同網(wǎng)站及同一網(wǎng)站的不同網(wǎng)址,搜索引擎并不喜歡這種重復(fù)的內(nèi)容。用戶搜索時,如果在前兩頁看到的都是來自不同網(wǎng)站的同一篇文章,體驗就比較差了。搜索引擎希望只返回相同文章中的一篇,所以在進行索引前還需要識別和刪除重復(fù)內(nèi)容,這個過程就稱為“去重”。

了解了搜索引擎的去重算法之后, SEOer就應(yīng)該知道,簡單地增加“的”、“地”、“得”或者調(diào)換段落順序這種所謂“偽原創(chuàng)”行為逃不過搜索引擎的去重算法,因為這樣的操作無法改變文章的特征關(guān)鍵詞,而且搜索引擎的去重算法很可能不止用在頁面級別,而是進行到段落級別,所以混合不同文章的內(nèi)容、交叉調(diào)換段落順序也不能使轉(zhuǎn)載和抄襲變成原創(chuàng)。

F.正向索引

經(jīng)過文字提取、分詞、消噪、去重后,搜索引擎得到的就是獨特的、能反映頁面主體內(nèi)容的、以詞為單位的內(nèi)容。接下來搜索引擎索引程序就可以提取關(guān)鍵詞,按照分詞程序劃分好的詞把頁面轉(zhuǎn)換為由關(guān)鍵詞組成的集合,同時記錄每一個關(guān)鍵詞在頁面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式(如標(biāo)題標(biāo)簽、黑體、H標(biāo)簽、錨文字等)、位置(如頁面第1段文字等)。這樣,每一個頁面都可以記錄為一串關(guān)鍵詞的集合，其中每個關(guān)鍵詞的詞頻、格式、位置等權(quán)重信息也都記錄在案。

G.倒排索引

正向索引還不能直接用于排名。假設(shè)用戶搜索關(guān)鍵詞“2”,如果只存在正向索引,那么排名程序需要掃描所有索引庫中的文件,找出包含關(guān)鍵詞“2”的文件,再進行相關(guān)性計算。這樣的計算量無法滿足實時返回排名結(jié)果的要求,因此需要搜索引擎將正向索引數(shù)據(jù)庫重新構(gòu)造成倒排索引,把文件到關(guān)鍵詞的映射轉(zhuǎn)換為關(guān)鍵詞到文件的映射。

H.鏈接關(guān)系計算

現(xiàn)在所有的主流搜索引擎排名因素中都包含網(wǎng)頁之間的鏈接流動信息。搜索引擎在抓取頁面內(nèi)容后,必須事前計算頁面上有哪些鏈接指向哪些其他頁面,每個頁面有哪些導(dǎo)入鏈接,鏈接使用了哪些錨文字。這些復(fù)雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。由于頁面和鏈接數(shù)量巨大,網(wǎng)上的鏈接關(guān)系又在隨時更新,因此鏈接關(guān)系及PR的計算要耗費很長時間。

I.特殊文件處理

除了HTML文件外,搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型,如PDF、Word、WPS、XLS、PPT、TXT等。我們在搜索結(jié)果中也經(jīng)常會看到這些文件類型。但是,目前的搜索引擎還不能處理圖片、視頻、 Flash這類非文字內(nèi)容,也不能執(zhí)行腳本和程序。雖然搜索引擎在識別圖片及從Flash中提取文字內(nèi)容方面有些進步,但距離直接讀取圖片、視頻、Flash內(nèi)容返回結(jié)果的目標(biāo)還差得很遠(yuǎn)。目前,搜索引擎對圖片、視頻內(nèi)容的排名還依據(jù)與之相關(guān)的文字內(nèi)容。

以上九點就是百度排名時搜索引擎蜘蛛抓取頁面后的預(yù)處理過程，本文主要內(nèi)容來源于網(wǎng)絡(luò)，由小編整理發(fā)布，如有侵權(quán)請聯(lián)系本網(wǎng)站刪除，謝謝!