中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

蜘蛛抓取但是收錄不放出來為什么

2014-03-28    分類: 網(wǎng)站收錄


1、爬取和收錄的關(guān)系:

爬取和收錄并不是包含關(guān)系,他們兩個(gè)是搜索引擎工作的環(huán)節(jié),蜘蛛爬取頁(yè)面后放入臨時(shí)數(shù)據(jù)庫(kù),等內(nèi)容通過審查后背放出就形成了收錄。所以這兩個(gè)環(huán)節(jié)是前后關(guān)系,但是沒有必然的聯(lián)系。



2.蜘蛛抓取頁(yè)面的過程:

第一階段:大小通吃
搜索引擎蜘蛛過來抓取時(shí),就需要對(duì)網(wǎng)站的URL進(jìn)行一個(gè)統(tǒng)一的抓取,也就是站長(zhǎng)常說的大小通吃的情況。搜索引擎蜘蛛對(duì)網(wǎng)頁(yè)中出現(xiàn)地鏈接,都會(huì)逐一加入到待抓取URL中,機(jī)械性的將新抓取的網(wǎng)頁(yè)中的URL提取出來。這對(duì)于很多的站點(diǎn)來說,是比較好的情況。搜索引擎蜘蛛過來抓取時(shí),站長(zhǎng)可以通過網(wǎng)站日志有一個(gè)清楚的記錄。站長(zhǎng)可以通過網(wǎng)站日志分析網(wǎng)站優(yōu)化的基本情況,這僅僅是第一階段。

第二階段:網(wǎng)頁(yè)評(píng)級(jí)
搜索引擎蜘蛛對(duì)網(wǎng)站的頁(yè)面進(jìn)行抓取以后,就需要對(duì)網(wǎng)站的頁(yè)面進(jìn)行評(píng)級(jí)。PageRank是一種著名的鏈接分析算法,可以用來衡量網(wǎng)頁(yè)的重要性,很自然的,站長(zhǎng)可以用PageRank的思路來對(duì)URL進(jìn)行排序。搜索引擎蜘蛛抓取頁(yè)面后,會(huì)對(duì)網(wǎng)站的頁(yè)面進(jìn)行下載。但PageRank是個(gè)全局性算法,也就是當(dāng)所有網(wǎng)頁(yè)有下載完成后,其計(jì)算結(jié)果才是可靠的。對(duì)于中小網(wǎng)站來講,服務(wù)器如果質(zhì)量不好,如果在抓取過程中,只看到部分內(nèi)容,在抓取階段是無法獲得可靠的PageRank得分。

3、蜘蛛爬取成功卻不放出來的原因:

蜘蛛爬取后會(huì)將頁(yè)面放入到臨時(shí)數(shù)據(jù)庫(kù),搜索引擎再對(duì)臨時(shí)數(shù)據(jù)庫(kù)中的內(nèi)容進(jìn)行審查,將優(yōu)質(zhì)的內(nèi)容放出并建立索引。所以并不是說爬取就會(huì)被收錄,還需要內(nèi)容質(zhì)量過關(guān)才能被放出來并建立索引。不同的蜘蛛抓取的頁(yè)面評(píng)測(cè)也不一樣,有的是低權(quán)重的蜘蛛,有的是高權(quán)重的蜘蛛和抓取待定的蜘蛛,這個(gè)可以百度搜下各種蜘蛛的情況,來做出各種應(yīng)對(duì)情況

正常情況下網(wǎng)站提交后次日,spider會(huì)放出一個(gè)網(wǎng)站主頁(yè)的快照。再接下來的時(shí)間內(nèi),會(huì)不斷的收錄索引內(nèi)容頁(yè),并持續(xù)的放出。這個(gè)過程維護(hù)一月、二月、或者是三月,時(shí)間不等。如果網(wǎng)站已經(jīng)有首頁(yè)放出,說明百度蜘蛛已經(jīng)有來抓取過,只是內(nèi)容還沒有放出來,多等待些時(shí)間即可。如果在等待收錄放出的時(shí)間階段不要做任何大的發(fā)動(dòng)。比如說 修改title標(biāo)題、修改url 等。否則會(huì)延長(zhǎng)放出的時(shí)間,周期也會(huì)變長(zhǎng)。

其次,如果內(nèi)容和首頁(yè)都沒有放出來,就需要重新向百度提交,通知百度蜘蛛來抓取網(wǎng)站的內(nèi)容,最好是提交個(gè)sitemap地圖,手動(dòng)提交一下。

分享標(biāo)題:蜘蛛抓取但是收錄不放出來為什么
分享路徑:http://www.rwnh.cn/news/6866.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡(luò)營(yíng)銷seo公司;服務(wù)項(xiàng)目有網(wǎng)站營(yíng)銷、網(wǎng)站收錄

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

綿陽(yáng)服務(wù)器托管
康定县| 乡城县| 方山县| 宽甸| 全南县| 和顺县| 南雄市| 南宁市| 镇原县| 陆川县| 大姚县| 新源县| 东乡族自治县| 海南省| 克拉玛依市| 宣城市| 卢湾区| 苍南县| 尼木县| 张北县| 柏乡县| 家居| 滁州市| 银川市| 老河口市| 崇明县| 南澳县| 琼中| 十堰市| 金堂县| 汤原县| 嘉定区| 巴彦淖尔市| 图们市| 罗定市| 澄迈县| 巩义市| 博客| 德清县| 三都| 巴彦县|