前面的幾篇文章中我么介紹了幾種seo初學(xué)者需要理清的關(guān)系，下面小編為大家簡(jiǎn)單剖析搜索引擎蜘蛛的分類(lèi)。按照抓取內(nèi)容的不同可以將搜索引擎蜘蛛分為以下幾類(lèi)：

A.全文索引

全文搜索引擎從網(wǎng)站提取信息,建立網(wǎng)頁(yè)數(shù)據(jù)庫(kù)。搜索引擎的自動(dòng)信息搜集功能分兩種。

一種是定期搜索,即每隔一段時(shí)間(如 Google一般是28天),搜索引擎主動(dòng)派出蜘蛛程序,對(duì)一定IP地址范圍內(nèi)的互聯(lián)網(wǎng)網(wǎng)站進(jìn)行檢索,一旦發(fā)現(xiàn)新的網(wǎng)站會(huì)自動(dòng)提取網(wǎng)站的信息和網(wǎng)址并將其加入自己的數(shù)據(jù)庫(kù)。

另一種是提交網(wǎng)站搜索,即網(wǎng)站擁有者主動(dòng)向搜索引擎提交網(wǎng)址。搜索引擎在一定時(shí)間內(nèi)(2天到數(shù)月不等)向網(wǎng)站派出蜘蛛程序,掃描網(wǎng)站并將有關(guān)信息存入數(shù)據(jù)庫(kù)以備用戶查詢。后來(lái),搜索引擎索引規(guī)則發(fā)生了很大變化,主動(dòng)提交網(wǎng)址并不能保證網(wǎng)站進(jìn)入搜索引擎數(shù)據(jù)庫(kù),因此,最好的辦法是多獲得一些外部鏈接,讓搜索引擎有更多的機(jī)會(huì)找到并自動(dòng)收錄網(wǎng)站。

當(dāng)用戶以關(guān)鍵詞查找信息時(shí),搜索引擎會(huì)在數(shù)據(jù)庫(kù)中進(jìn)行搜尋。如果找到與用戶要求內(nèi)容相符的網(wǎng)站,便采用特殊的算法(通常根據(jù)網(wǎng)頁(yè)中關(guān)鍵詞的匹配程度、出現(xiàn)的位置、頻次、鏈接質(zhì)量)計(jì)算出各網(wǎng)頁(yè)的相關(guān)度及排名等級(jí),然后根據(jù)關(guān)聯(lián)度的高低,按順序?qū)⑦@些網(wǎng)頁(yè)鏈接返回給用戶。這種引擎的特點(diǎn)是搜全率比較高。

B.目錄索引

目錄索引也稱(chēng)“分類(lèi)檢索”,是因特網(wǎng)上最早提供WWW資源查詢的服務(wù)。它主要通過(guò)搜集和整理因特網(wǎng)的資源,根據(jù)搜索到的網(wǎng)頁(yè)內(nèi)容,將其網(wǎng)址分配到相關(guān)分類(lèi)主題目錄的不同層次的類(lèi)目之下,形成像圖書(shū)館目錄一樣的分類(lèi)樹(shù)形結(jié)構(gòu)索引。目錄索引無(wú)須輸入任何文字,只要根據(jù)網(wǎng)站提供的主題分類(lèi)目錄層層點(diǎn)擊進(jìn)入,便可查到所需的網(wǎng)絡(luò)信息資源。

目錄索引雖然有搜索功能,但在嚴(yán)格意義上它不是真正的搜索引擎,只是按目錄分類(lèi)的網(wǎng)站鏈接列表而已。用戶完全可以按照分類(lèi)目錄找到所需要的信息,不需依靠關(guān)鍵詞( Keyword)進(jìn)行查詢。與全文搜索引擎相比,目錄索引有許多不同之處。首先,搜索引擎屬于自動(dòng)網(wǎng)站檢索,而目錄索引則完全依賴(lài)手工操作。用戶提交網(wǎng)站信息后,目錄編輯人員會(huì)親自瀏覽網(wǎng)站,然后根據(jù)一套自定的評(píng)判標(biāo)準(zhǔn)甚至編輯人員的主觀印象決定是否接納該網(wǎng)站。

其次,搜索引擎收錄網(wǎng)站時(shí),只要網(wǎng)站本身沒(méi)有違反有關(guān)的規(guī)則,一般都能成功登錄;而目錄索引對(duì)網(wǎng)站的要求則高得多,有時(shí)登錄多次也不一定成功。尤其像Yahoo這樣的超級(jí)索引,登錄更是困難。此外,在登錄搜索引擎時(shí),一般不用考慮網(wǎng)站的分類(lèi)問(wèn)題,而在登錄目錄索引時(shí)則必須將網(wǎng)站放在一個(gè)最合適的目錄( Directory)下。

最后,搜索引擎中各網(wǎng)站的有關(guān)信息都是從用戶網(wǎng)頁(yè)中自動(dòng)提取的,所以從用戶的角度看,我們擁有更大的自主權(quán);而目錄索引則要求必須手工填寫(xiě)網(wǎng)站信息,而且還有各種各樣的限制。更有甚者,如果工作人員認(rèn)為我們提交網(wǎng)站的目錄、網(wǎng)站信息不合適,可以隨時(shí)對(duì)其進(jìn)行調(diào)整,當(dāng)然事先是不會(huì)和我們商量的。

C.元搜索

元搜索引擎( METASearch Engine)接受用戶查詢請(qǐng)求后,同時(shí)在多個(gè)搜索引擎上搜索,并將結(jié)果返回給用戶。著名的元搜索引擎有 InfoSpace、 Dogpile、 Vivisimo等,中文元搜索引擎中具有代表性的是搜星搜索引擎。在搜索結(jié)果排列方面,有的直接按來(lái)源排列搜索結(jié)果,如 Dogpile;有的則按自定規(guī)則將結(jié)果重新排列組合,如Vivisimo。

以上就是小編為大家分享的關(guān)于搜索引擎蜘蛛的分類(lèi)的文章，文章主要內(nèi)容來(lái)源于網(wǎng)絡(luò)，由小編整理發(fā)布，如有侵權(quán)請(qǐng)聯(lián)系本網(wǎng)站!