當(dāng)日益劇增的海量信息讓我們眼花繚亂時，搜索引擎的出現(xiàn)可以讓我們快速找到自己想要的答案。因此多了解搜索引擎的分詞算法，可以讓網(wǎng)站在搜索引擎上獲得更好的展現(xiàn)機(jī)會。網(wǎng)站建設(shè)小編在講解中文分詞技術(shù)之前，先來了解下全文檢索技術(shù)。

　全文檢索技術(shù)

　　全文檢索是指索引程序掃描文章中的每個詞并建立對應(yīng)索引，記錄該詞出現(xiàn)的位置和次數(shù)。當(dāng)通過搜索引擎查詢時，檢索程序就在記錄的索引進(jìn)行查找并返回給用戶。全文檢索又分為基于字的全文索引和基于詞的全文索引?；谧值娜乃饕龝?nèi)容中的每個字建立索引并記錄，此方法查全率高但查準(zhǔn)率低，特別是對于中文，有時搜索馬克，會列出馬克思的結(jié)果?；谠~的全文索引是把一個詞語作為一個單位進(jìn)行索引記錄并能處理同義詞。搜索引擎有自己的詞庫，當(dāng)用戶搜索時，搜索引擎會從詞庫中抽取關(guān)鍵詞作為索引項，這樣可以大大提高檢索的準(zhǔn)確率。

　　中文分詞技術(shù)

　　一直以來大家都比較熟悉百度，百度有自己的中文分詞技術(shù)。一般采用的包括正向大匹配，反向大匹配，好匹配法，專家系統(tǒng)方法等。其中大正向匹配是最常用的分詞解決方案，它采用機(jī)械式算法，通過建立詞典并進(jìn)行正向大匹配對中文進(jìn)行分詞。舉個簡單的例子比如搜索“北京大學(xué)在哪里”則返回結(jié)果很多都是包含北京大學(xué)，北大等詞語的網(wǎng)頁，搜索引擎就是采用正向大匹配去判斷，把北京大學(xué)當(dāng)做一個詞語來索引記錄并返回。當(dāng)然，正向大匹配也有不完整性，比如長度過長的詞語，搜索引擎有時無法準(zhǔn)確的分詞或者對前后都相互關(guān)聯(lián)的詞無法準(zhǔn)確分詞。例如“結(jié)合成分子時”會被返回結(jié)合、成分、子時而有時我們想要的關(guān)鍵詞是“分子”。

　　很多時候百度都會根據(jù)自己詞庫中詞語的權(quán)重進(jìn)行拆分，權(quán)重的計算基于生活各個方面，比較復(fù)雜，搜索引擎要做的就是返回用戶最想要的結(jié)果，有時站長們做網(wǎng)站要站在用戶的角度去考慮問題，其實這也是站在搜索引擎的角度考慮問題，不論在確定目標(biāo)關(guān)鍵詞或者是長尾關(guān)鍵詞時，都可以根據(jù)中文分詞的原理來選擇，這樣可以大化的減少無用功。

　　分詞原理不斷在變化，不斷在更新，我們應(yīng)該繼續(xù)學(xué)習(xí)，只有掌握了本質(zhì)才能抓住實質(zhì)。

分享文章：搜索引擎分詞算法
網(wǎng)址分享：http://www.rwnh.cn/news/165897.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、品牌網(wǎng)站制作、微信公眾號、服務(wù)器托管、定制網(wǎng)站、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)