搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)量都在萬億級,用戶輸入搜索詞后,如果靠排名程序?qū)崟r對這些頁面進行相關性分析,則計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。因此,必須對抓取的頁面進行預處理，也稱為“索引”。下面，小編將詳細為大家介紹百度排名中這些預處理都有哪些步驟：

A.提取文字

現(xiàn)在的搜索引擎還是以文字內(nèi)容為基礎。在蜘蛛程序抓取的頁面HTML代碼中,除了用戶在瀏覽器上可以看到的文字外,還包含大量的HTML格式標簽、JavaScript程序等無法用于排名的內(nèi)容。搜索引擎預處理首先要做的就是從HTML文件中去除標簽、程序,提取可以用于排名處理的網(wǎng)頁文字內(nèi)容。

B.中文分詞

中文分詞是中文搜索引擎特有的步驟。在中文語句中,詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的,所以搜索引擎首先必須分辨是哪幾個字組成了一個詞,以及哪些字本身就是一個詞。中文分詞方法有兩種,一種是基于詞典匹配,另一種是基于統(tǒng)計。

基于詞典匹配的方法是指將待分析的一段中文與一個事先準備好的詞典中的詞條進行匹配,在待分析中文字串中掃描到詞典中已有的詞條則匹配成功,或者說切分出一個單詞?；诮y(tǒng)計的分詞方法是指分析大量文字樣本,統(tǒng)計出字與字相鄰的情況出現(xiàn)的概率,幾個字相鄰的情況出現(xiàn)得越多,它們就越可能是一個詞，基于統(tǒng)計的方法的優(yōu)勢是對新出現(xiàn)的詞反應更快,也有利于消除歧義。在實際使用中,分詞系統(tǒng)是混合使用兩種方法的。搜索引擎對頁面的分詞取決于詞庫的規(guī)模、準確性和分詞算法的好壞,而不取決于頁面本身,所以SEOer對分詞能做的工作很少。 SEOer唯一能做的是在頁面上用某種形式提示搜索引擎,某幾個字應該被當成一個詞處理,尤其是可能產(chǎn)生歧義的時候,如在頁面標題、H標簽及黑體中出現(xiàn)的關鍵詞。

C.去除停止詞

無論是英文還是中文,頁面內(nèi)容中都會有一些出現(xiàn)頻率很高卻對內(nèi)容沒有任何影響的詞。例如,“的”、“地”、“得”之類的助詞,“啊”、“哈”、“呀”之類的感嘆詞,“從而”、“以”、“卻”之類的副詞或介詞。英文中的常見停止詞有the、a、an、to、of等。這些詞被稱為停止詞,因為它們對頁面的主要意思沒有影響。搜索引擎在索引頁面之前會去掉這些停止詞,使索引數(shù)據(jù)的主題更為突出,減少無謂的計算量。

D.消除噪聲

噪聲并不是指網(wǎng)頁中嘈雜的聲音,而是指頁面上對頁面主題沒有貢獻的內(nèi)容,如版權(quán)聲明文字、導航條、廣告等,這些內(nèi)容對頁面主題只會起到分散作用。因此搜索引擎需要識別并消除這些噪聲,在計算排名時避免使用噪聲內(nèi)容。消除噪聲的基本方法是根據(jù)HTML標簽對頁面分塊,區(qū)分頁頭、導航條、正文、頁腳、廣告等區(qū)域。在網(wǎng)站中多次重復出現(xiàn)的區(qū)塊往往屬于噪聲。消除頁面噪聲后,剩下的才是頁面主體內(nèi)容。

E.去除重復內(nèi)容

同一篇文章經(jīng)常會重復出現(xiàn)在不同網(wǎng)站及同一網(wǎng)站的不同網(wǎng)址,搜索引擎并不喜歡這種重復的內(nèi)容。用戶搜索時,如果在前兩頁看到的都是來自不同網(wǎng)站的同一篇文章,體驗就比較差了。搜索引擎希望只返回相同文章中的一篇,所以在進行索引前還需要識別和刪除重復內(nèi)容,這個過程就稱為“去重”。

了解了搜索引擎的去重算法之后, SEOer就應該知道,簡單地增加“的”、“地”、“得”或者調(diào)換段落順序這種所謂“偽原創(chuàng)”行為逃不過搜索引擎的去重算法,因為這樣的操作無法改變文章的特征關鍵詞,而且搜索引擎的去重算法很可能不止用在頁面級別,而是進行到段落級別,所以混合不同文章的內(nèi)容、交叉調(diào)換段落順序也不能使轉(zhuǎn)載和抄襲變成原創(chuàng)。

F.正向索引

經(jīng)過文字提取、分詞、消噪、去重后,搜索引擎得到的就是獨特的、能反映頁面主體內(nèi)容的、以詞為單位的內(nèi)容。接下來搜索引擎索引程序就可以提取關鍵詞,按照分詞程序劃分好的詞把頁面轉(zhuǎn)換為由關鍵詞組成的集合,同時記錄每一個關鍵詞在頁面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式(如標題標簽、黑體、H標簽、錨文字等)、位置(如頁面第1段文字等)。這樣,每一個頁面都可以記錄為一串關鍵詞的集合，其中每個關鍵詞的詞頻、格式、位置等權(quán)重信息也都記錄在案。

G.倒排索引

正向索引還不能直接用于排名。假設用戶搜索關鍵詞“2”,如果只存在正向索引,那么排名程序需要掃描所有索引庫中的文件,找出包含關鍵詞“2”的文件,再進行相關性計算。這樣的計算量無法滿足實時返回排名結(jié)果的要求,因此需要搜索引擎將正向索引數(shù)據(jù)庫重新構(gòu)造成倒排索引,把文件到關鍵詞的映射轉(zhuǎn)換為關鍵詞到文件的映射。

H.鏈接關系計算

現(xiàn)在所有的主流搜索引擎排名因素中都包含網(wǎng)頁之間的鏈接流動信息。搜索引擎在抓取頁面內(nèi)容后,必須事前計算頁面上有哪些鏈接指向哪些其他頁面,每個頁面有哪些導入鏈接,鏈接使用了哪些錨文字。這些復雜的鏈接指向關系形成了網(wǎng)站和頁面的鏈接權(quán)重。由于頁面和鏈接數(shù)量巨大,網(wǎng)上的鏈接關系又在隨時更新,因此鏈接關系及PR的計算要耗費很長時間。

I.特殊文件處理

除了HTML文件外,搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型,如PDF、Word、WPS、XLS、PPT、TXT等。我們在搜索結(jié)果中也經(jīng)常會看到這些文件類型。但是,目前的搜索引擎還不能處理圖片、視頻、 Flash這類非文字內(nèi)容,也不能執(zhí)行腳本和程序。雖然搜索引擎在識別圖片及從Flash中提取文字內(nèi)容方面有些進步,但距離直接讀取圖片、視頻、Flash內(nèi)容返回結(jié)果的目標還差得很遠。目前,搜索引擎對圖片、視頻內(nèi)容的排名還依據(jù)與之相關的文字內(nèi)容。

以上九點就是百度排名時搜索引擎蜘蛛抓取頁面后的預處理過程，本文主要內(nèi)容來源于網(wǎng)絡，由小編整理發(fā)布，如有侵權(quán)請聯(lián)系本網(wǎng)站刪除，謝謝!