很多做網(wǎng)站SEO優(yōu)化的工程師，都會去分析網(wǎng)站日志文件，從而得到一些數(shù)據(jù)去調(diào)整優(yōu)化策略，但具體是如何分析的，通過什么工具或方法，絕大多數(shù)SEO工程師是不會告訴你的！

今天創(chuàng)新互聯(lián)小編就詳細(xì)為大家講解下，是如何具體去分析日志文件：

首先，我們需要知道分析日志文件的目的是什么？

通過分析網(wǎng)站日志Log文件我們可以看到用戶和搜索引擎蜘蛛訪問網(wǎng)站的行為數(shù)據(jù)，這些數(shù)據(jù)能讓我們分析出用戶和蜘蛛對網(wǎng)站的偏好以及網(wǎng)站的健康情況。在網(wǎng)站日志分析中，我們主要需要分析的是蜘蛛行為。

在蜘蛛爬取及收錄過程中，搜索引擎會給特定權(quán)重網(wǎng)站分配相應(yīng)的資源量。一個搜索引擎友好型的網(wǎng)站應(yīng)該充分利用這些資源，讓蜘蛛可以迅速、準(zhǔn)確、全面的爬取有價值、用戶喜歡的內(nèi)容，而不浪費(fèi)資源在無用的、訪問異常的內(nèi)容上。

一，日志文件如何獲得，以阿里云云主機(jī)為例

登錄你的阿里云云主機(jī)管理控制面板，可找到如下圖：

把日志文件下載到本地

二、下載專業(yè)的SEO日志文件分析工具

在這里給大家推薦：光年日志分析工具或web log exploer，今天以光年日志分析工具為例：點(diǎn)擊下載，安裝好工具之后，新建任務(wù)導(dǎo)入下載的日志文件，然后點(diǎn)擊執(zhí)行，如下圖：

三、分析日志文件

真正的干貨在這里--網(wǎng)站日志數(shù)據(jù)分析解讀：

1、訪問次數(shù)、停留時間、抓取量

從這三項數(shù)據(jù)中我們可以得知：平均每次抓取頁面數(shù)、單頁抓取停留時間和平均每次停留時間。

平均每次抓取頁面數(shù)=總抓取量/訪問次數(shù)

單頁抓取停留=每次停留/每次抓取

平均每次停留時間=總停留時間/訪問次數(shù)

從這些數(shù)據(jù)我們可以看出蜘蛛的活躍程度、親和程度、抓取深度等，總訪問次數(shù)、停留時間、抓取量越高、平均抓取頁面、平均停留時間，表明網(wǎng)站越受搜索引擎喜歡。而單頁抓取停留時間表明網(wǎng)站頁面訪問速度，時間越長，表明網(wǎng)站訪問速度越慢，對搜索引擎抓取收錄較不利，我們應(yīng)盡量提高網(wǎng)頁加載速度，減少單而立停留時間，讓爬蟲資源更多的去抓取收錄。

另外，根據(jù)這些數(shù)據(jù)我們還可以統(tǒng)計出一段時間內(nèi)，網(wǎng)站的整體趨勢表現(xiàn)，如：蜘蛛訪問次數(shù)趨勢、停留時間趨勢、抓取趨勢。

通過日志分析我們可以看到網(wǎng)站哪些目錄受蜘蛛喜歡、抓取目錄深度、重要頁面目錄抓取狀況、無效頁面目錄抓取狀況等。通過對比目錄下頁面抓取及收錄情況，我們可以發(fā)現(xiàn)更多問題。對于重要目錄，我們需要通過內(nèi)外調(diào)整增加權(quán)重及爬??；對于無效頁面，在robots.txt中進(jìn)行屏蔽。

另外，通過多日日志統(tǒng)計，我們可以看到站內(nèi)外行為給目錄帶來的效果，優(yōu)化是否合理，是否達(dá)到了預(yù)期效果。對于同一目錄，以長期時間段來看，我們可以看到該目錄下頁面表現(xiàn)，根據(jù)行為推測表現(xiàn)的原因等。

3、頁面抓取

在網(wǎng)站日志分析中，我們可以看到具體被蜘蛛爬取的頁面。在這些頁面中，我們可以分析出蜘蛛爬取了哪些需要被禁止爬取的頁面、爬取了哪些無收錄價值頁面、爬取了哪些重復(fù)頁面url等，為充分利用蜘蛛資源我們需要將這些地址在robots.txt中禁止爬取。

另外，我們還可以分析未收錄頁面原因，對于新文章，是因為沒有被爬取到而未收錄抑或爬取了但未放出。對于某些閱讀意義不大的頁面，可能我們需要它作為爬取通道，對于這些頁面，我們是否應(yīng)該做Noindex標(biāo)簽等。但從另一方面講，蜘蛛會弱智到靠這些無意義的通道頁爬取頁面嗎，蜘蛛不懂sitemap？【對此，筆者有疑惑，求分享經(jīng)驗】

4、蜘蛛訪問IP

曾經(jīng)有人提出過通過蜘蛛的ip段來判斷網(wǎng)站的降權(quán)情況，笨鳥感覺這個意義不大，因為這個后知性太強(qiáng)了。而且降權(quán)更多應(yīng)該從前三項數(shù)據(jù)來判斷，用單單一個ip段來判斷意義不大。IP分析的更多用途應(yīng)該是判斷是否存在采集蜘蛛、假蜘蛛、惡意點(diǎn)擊蜘蛛等。

5、訪問狀態(tài)碼

蜘蛛經(jīng)常出現(xiàn)的狀態(tài)碼如301、404等，出現(xiàn)這些狀態(tài)碼要及時處理，以避免對網(wǎng)站造成壞的影響。

6、抓取時間段

通過分析對比多個單日蜘蛛小時爬取量，我們可以了解到特定蜘蛛對于本網(wǎng)站在特定時間的活躍時段。通過對比周數(shù)據(jù)，我們可以看到特定蜘蛛在一周中的活躍周期。了解這個，對于網(wǎng)站內(nèi)容更新時間有一定指導(dǎo)意義，而之前所謂小三大四等均為不科學(xué)說法。

7、蜘蛛爬取路徑

在網(wǎng)站日志中我們可以跟蹤到特定IP的訪問路徑，如果我們跟蹤特定蜘蛛的訪問路徑則能發(fā)現(xiàn)對于本網(wǎng)站結(jié)構(gòu)下蜘蛛的爬取路徑偏好。由此，我們可以適當(dāng)?shù)囊龑?dǎo)蜘蛛的爬取路徑，讓蜘蛛更多的爬取重要、有價值、新更新頁面。其中爬取路徑中我們雙可以分析頁面物理結(jié)構(gòu)路徑偏好以及url邏輯結(jié)構(gòu)爬取偏好。通過這些，可以讓我們從搜索引擎的視角去審視自己的網(wǎng)站。

本文名稱：網(wǎng)站SEO優(yōu)化必備技能：網(wǎng)站日志文件分析
文章轉(zhuǎn)載：http://www.rwnh.cn/news37/325387.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站營銷、外貿(mào)建站、ChatGPT、Google、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)