Linux常見日志統(tǒng)計分析命令

在上文中，我們已經詳細介紹 linux 三劍客的基本使用，接下來我們看看具體在性能測試領域的運用，本文主要介紹的是在 Tomcat 和 Nginx access日志的統(tǒng)計分析。

公司主營業(yè)務：成都做網(wǎng)站、成都網(wǎng)站設計、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)建站是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)建站推出怒江州免費做網(wǎng)站回饋大家。

server.xml 使用配置方式，%D-請求時間，%F-響應時間

字段說明如下：

日志樣例：

使用默認 combined 的經典格式上擴展 response_timeupstream_response_time

nginx.conf 使用配置方式：

字段說明如下：

日志示例：

為了能理解 AWK 程序，我們下面概述其基本知識。

模式( pattern ) 用于匹配輸入中的每行文本。對于匹配上的每行文本，awk 都執(zhí)行對應的 動作( action )。模式和動作之間使用花括號隔開。awk 順序掃描每一行文本，并使用 記錄分隔符（一般是換行符）將讀到的每一行作為 記錄，使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個 域， 每個域分別可以使用 2, … 表示。1 表示第一個域，表示第二個域，n 表示第 n 個域。 $0 表示整個記錄。模式或動作都可以不指定，缺省模式的情況下，將匹配所有行。缺省動作的情況下，將執(zhí)行動作 {print}，即打印整個記錄。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。 使用 awk 分解出Nginx access日志中的信息

以此類推…… 當我們使用默認的域分割符時，我們可以從日志中解析出下面不同類型的信息：

我們不難發(fā)現(xiàn)，僅使用默認的域分隔符，不方便解析出請求行、引用頁和瀏覽器類型等其他信息，因為這些信息之中包含不確定個數(shù)的空格。 因此，我們需要把域分隔符修改為 “ ，就能夠輕松讀出這些信息。

注意：這里為了避免 Linux Shell 誤解 “ 為字符串開始，我們使用了反斜杠，轉義了 “ 。 現(xiàn)在，我們已經掌握了 awk 的基本知識，以及它是怎樣解析日志的。

此處使用Nginx access.log 舉例，Tomcat 日志自己舉一反三。

如果我們想知道那些類型的瀏覽器訪問過網(wǎng)站，并按出現(xiàn)的次數(shù)倒序排列，我可以使用下面的命令：

此命令行首先解析出瀏覽器域，然后使用管道將輸出作為第一個 sort 命令的輸入。第一個 sort 命令主要是為了方便 uniq 命令統(tǒng)計出不同瀏覽器出現(xiàn)的次數(shù)。最后一個 sort 命令將把之前的統(tǒng)計結果倒序排列并輸出。

我們可以使用下面的命令行，統(tǒng)計服務器返回的狀態(tài)碼，發(fā)現(xiàn)系統(tǒng)可能存在的問題。

正常情況下，狀態(tài)碼 200 或 30x 應該是出現(xiàn)次數(shù)最多的。40x 一般表示客戶端訪問問題。50x 一般表示服務器端問題。 下面是一些常見的狀態(tài)碼：

HTTP 協(xié)議狀態(tài)碼定義可以參閱：

查找并顯示所有狀態(tài)碼為 404 的請求

統(tǒng)計所有狀態(tài)碼為 404 的請求

現(xiàn)在我們假設某個請求 ( 例如 : URI: /path/to/notfound ) 產生了大量的 404 錯誤，我們可以通過下面的命令找到這個請求是來自于哪一個引用頁，和來自于什么瀏覽器。

有時候會發(fā)現(xiàn)其他網(wǎng)站出于某種原因，在他們的網(wǎng)站上使用保存在自己網(wǎng)站上的圖片。如果您想知道究竟是誰未經授權使用自己網(wǎng)站上的圖片，我們可以使用下面的命令：

注意：使用前，將 修改為自己網(wǎng)站的域名。

統(tǒng)計共有多少個不同的 IP 訪問：

統(tǒng)計每一個 IP 訪問了多少個頁面：

將每個 IP 訪問的頁面數(shù)進行從小到大排序：

統(tǒng)計 2018 年 8 月 31 日 14 時內有多少 IP 訪問 :

統(tǒng)計訪問最多的前十個 IP 地址

查看某一個 IP訪問了哪些頁面：

統(tǒng)計某個 IP 的詳細訪問情況,按訪問頻率排序

列出傳輸大小最大的幾個文件

列出輸出大于 204800 byte ( 200kb) 的頁面以及對應頁面發(fā)生次數(shù)

列出訪問最頻的頁面(TOP100)

列出訪問最頻的頁面([排除php頁面】(TOP100)

列出頁面訪問次數(shù)超過100次的頁面

列出最近1000條記錄，訪問量最高的頁面

統(tǒng)計每分鐘的請求數(shù),top100的時間點(精確到分鐘)

統(tǒng)計每小時的請求數(shù),top100的時間點(精確到小時)

統(tǒng)計每秒的請求數(shù),top100的時間點(精確到秒)

統(tǒng)計當天的 pv

說明：

可以使用下面的命令統(tǒng)計出所有響應時間超過 3 秒的日志記錄。

注意：NF 是當前記錄中域的個數(shù)。$NF 即最后一個域。

列出php頁面請求時間超過3秒的頁面，并統(tǒng)計其出現(xiàn)的次數(shù)，顯示前100條

列出相應時間超過 5 秒的請求，顯示前20條

統(tǒng)計蜘蛛抓取次數(shù)

統(tǒng)計蜘蛛抓取404的次數(shù)

通過本文的介紹，我相信同學們一定會發(fā)現(xiàn) linux三劍客強大之處。在命令行中，它還能夠接受，和執(zhí)行外部的 AWK 程序文件，可以對文本信息進行非常復雜的處理，可以說“只有想不到的，沒有它做不到的”。

linux常用命令有哪些

linux 常用命令有：

pwd 命令

使用 pwd 命令找出您所在的當前工作目錄（文件夾）的路徑。該命令將返回一個絕對（完整）路徑，該路徑基本上是所有以 / 開頭的目錄的路徑。絕對路徑的一個示例是 /home/username。

cd 命令

要瀏覽 Linux 文件和目錄，請使用 cd 命令。根據(jù)您所在的當前工作目錄，它需要目錄的完整路徑或名稱。假設您位于 /home/username / Documents 中，并且想要轉到 Documents 的子目錄 Photos。為此，只需鍵入以下命令：cd Photos。另一種情況是，如果您想切換到一個全新的目錄，例如 /home/username / Movies。在這種情況下，您必須輸入 cd，然后輸入目錄的絕對路徑：cd /home/username / Movies。有一些快捷方式可幫助您快速導航：cd ..（帶有兩個點）將一個目錄向上移動 cd 直接轉到主文件夾 cd-（帶連字符）移動到上一個目錄附帶說明一下，Linux 的 shell 是區(qū)分大小寫的。因此，您必須準確輸入名稱的目錄。

ls 命令

LS 命令用于查看目錄的內容。默認情況下，此命令將顯示當前工作目錄的內容。如果要查看其他目錄的內容，請鍵入 ls，然后鍵入目錄的路徑。例如，輸入 LS / 家 / 用戶名 / 文檔查看的內容的文件。您可以使用 ls 命令使用以下變體：ls -R 還將列出子目錄中的所有文件 ls -a 將顯示隱藏的文件 ls -al 將列出文件和目錄以及詳細信息，例如權限，大小，所有者等。

cat 命令

cat（連接的縮寫）是 Linux 中最常用的命令之一。它用于在標準輸出（sdout）上列出文件的內容。要運行此命令，請鍵入 cat，然后輸入文件名及其擴展名。例如：cat file.txt。以下是使用 cat 命令的其他方法：cat filename 創(chuàng)建一個新文件 cat filename1 filename2 filename3 連接兩個文件（1 和 2），并將它們的輸出存儲在新文件中（3）將文件轉換為大寫或小寫使用，cat filename | tr a-z A-Z output.txt

cp 命令

使用 cp 命令將文件從當前目錄復制到另一個目錄。例如，命令 cp scenery.jpg/home /username/ Pictures 將在您的 Pictures 目錄中創(chuàng)建一個 Scene.jpg 副本（來自當前目錄）。

mv 命令

mv 命令的主要用途是移動文件，盡管它也可以用于重命名文件。mv 中的參數(shù)類似于 cp 命令。您需要輸入 mv，文件名和目標目錄。例如：mv file.txt/home /username/ Documents。

mkdir 命令

使用 mkdir 命令創(chuàng)建一個新目錄 - 如果鍵入 mkdir Music，它將創(chuàng)建一個名為 Music 的目錄。還有一些額外的 mkdir 命令：要在另一個目錄中生成新目錄，請使用此 Linux 基本命令 mkdir Music / Newfile 使用 p（父級）選項在兩個現(xiàn)有目錄之間創(chuàng)建一個目錄。例如，mkdir -p Music / 2022 / Newfile 將創(chuàng)建新的 “2022” 文件。

rmdir 命令

如果需要刪除目錄，請使用 rmdir 命令。但是，rmdir 僅允許您刪除空目錄。

rm 命令

該 RM 命令用于刪除目錄以及其中的內容。如果只想刪除目錄（作為 rmdir 的替代方法），請使用 rm -r。注意：使用此命令時要格外小心，并仔細檢查您所在的目錄。這將刪除所有內容，并且沒有撤消操作。

touch 命令

該觸摸命令允許您創(chuàng)建通過 Linux 命令行新的空白文件。例如，輸入 touch /home/username/Documents/Web.html 在 Documents 目錄下創(chuàng)建一個名為 Web 的 HTML 文件。

locate 命令

您可以使用此命令來定位文件，就像 Windows 中的搜索命令一樣。此外，將 - i 參數(shù)與該命令一起使用將使其不區(qū)分大小寫，因此即使您不記得其確切名稱，也可以搜索文件。要搜索包含兩個或多個單詞的文件，請使用星號（*）。例如，locate -i school * note 命令將搜索包含單詞 “school” 和 “ note” 的任何文件，無論它是大寫還是小寫。

find 命令

在類似定位命令，使用 查找也搜索文件和目錄。區(qū)別在于，您可以使用 find 命令在給定目錄中查找文件。例如，find /home/-name notes.txt 命令將在主目錄及其子目錄中搜索名為 notes.txt 的文件。使用查找時的其他變化 是：要查找當前目錄中使用的文件，請使用 find . -name notes.txt 要查找目錄，請使用 /-type d -name notes. txt13. grep 命令無疑對日常使用很有幫助的另一個基本 Linux 命令是 grep。它使您可以搜索給定文件中的所有文本。為了說明這一點，grep blue notepad.txt 將在記事本文件中搜索單詞 blue。包含搜索到的單詞的行將被完整顯示。

sudo 命令

該命令是 “SuperUser Do” 的縮寫，使您能夠執(zhí)行需要管理或超級用戶權限的任務。但是，建議不要將此命令用于日常使用，因為如果您做錯了一些事情，很容易發(fā)生錯誤。

df 命令

使用 df 命令可獲取有關系統(tǒng)磁盤空間使用情況的報告，以百分比和 KB 表示。如果要以兆字節(jié)為單位查看報告，請輸入 df -m。

du 命令

如果要檢查文件或目錄占用了多少空間，答案是 du（磁盤使用情況）命令。但是，磁盤使用情況摘要將顯示磁盤塊號，而不是通常的大小格式。如果要以字節(jié)，千字節(jié)和兆字節(jié)為單位查看它，請在命令行中添加 - h 參數(shù)。

head 命令

所述頭命令用于查看任何文本文件的第一行。默認情況下，它將顯示前十行，但是您可以根據(jù)自己的喜好更改此數(shù)字。例如，如果只想顯示前五行，則鍵入 head -n 5 filename.ext。

tail 命令

該命令與 head 命令具有相似的功能，但是 tail 命令將顯示文本文件的最后十行，而不是顯示第一行。例如，tail -n filename.ext。

diff 命令

diff 命令是差異的縮寫，diff 命令逐行比較兩個文件的內容。分析文件后，它將輸出不匹配的行。程序員在需要進行程序更改時經常使用此命令，而不是重寫整個源代碼。此命令最簡單的形式是 diff file1.ext file2.ext

tar 命令

該 tar 命令是最常用的命令歸檔多個文件到一個壓縮包。類似于 zip 格式常見的 Linux 文件格式，壓縮是可選的。該命令具有很長的功能列表，非常復雜，例如將新文件添加到現(xiàn)有檔案中，列出檔案內容，從檔案中提取內容等等。查看一些實際示例，以了解有關其他功能的更多信息。

chmod 命令

chmod 是另一個 Linux 命令，用于更改文件和目錄的讀取，寫入和執(zhí)行權限。由于此命令相當復雜，因此您可以閱讀完整的教程以正確執(zhí)行它。

chown 命令

在 Linux 中，所有文件均歸特定用戶所有。該 CHOWN 命令使您可以更改或文件的所有權轉讓給指定的用戶名。例如，chown linuxuser2 file.ext 將使 linuxuser2 成為 file.ext 的所有者。

Jobs 命令

jobs 命令將顯示所有當前作業(yè)及其狀態(tài)。作業(yè)基本上是由 Shell 啟動的進程。

kill 命令

如果您的程序無響應，則可以使用 kill 命令手動終止它。它將向運行異常的應用發(fā)送特定信號，并指示該應用自行終止。您總共可以使用 64 個信號，但是人們通常只使用兩個信號：SIGTERM（15） — 請求程序停止運行，并給它一些時間來保存其所有進度。如果在輸入 kill 命令時未指定信號，則將使用此信號。SIGKILL（9） - 強制程序立即停止。未保存的進度將丟失。除了知道信號之外，您還需要知道要殺死的程序的進程標識號（PID）。如果您不知道 PID，只需運行命令 ps ux。在知道您要使用什么信號以及程序的 PID 之后，輸入以下語法：kill [signal option] PID.

ping 命令

使用 ping 命令檢查與服務器的連接狀態(tài)。例如，只需輸入 ping google.com，該命令將檢查您是否能夠連接到 Google 并測量響應時間。

wget 命令

Linux 命令行非常有用 - 您甚至可以在 wget 命令的幫助下從 Internet 下載文件。為此，只需鍵入 wget，然后輸入下載鏈接即可。

uname 命令

該 UNAME 命令，短期對于 Unix 名，將打印您的 Linux 系統(tǒng)，如計算機名稱的詳細信息，操作系統(tǒng)，內核，等等。

top 命令

作為與 Windows 中的任務管理器等效的終端，top 命令將顯示正在運行的進程的列表以及每個進程使用的 CPU 數(shù)量。監(jiān)視系統(tǒng)資源使用情況非常有用，尤其是知道哪個進程由于消耗太多資源而需要終止時。

history 命令

當您使用 Linux 一段時間后，您會很快注意到每天可以運行數(shù)百個命令。因此，如果您想查看之前輸入的命令，運行歷史記錄命令特別有用。

man 命令

對某些 Linux 命令的功能感到困惑嗎？不用擔心，您可以使用 man 命令從 Linux 的外殼程序中輕松地學習如何使用它們。例如，輸入 man tail 將顯示 tail 命令的手動指令。

echo 命令

此命令用于將一些數(shù)據(jù)移到文件中。例如，如果要將文本 “Hello，我的名字叫 John” 添加到名為 name.txt 的文件中，則可以鍵入 echo Hello, my name is John name.txt

zip，unzip 命令

使用 zip 命令將文件壓縮到 zip 歸檔文件中，然后使用 unzip 命令從 zip 歸檔文件中提取壓縮文件。

hostname 命令

如果您想知道主機 / 網(wǎng)絡的名稱，只需鍵入 hostname。在末尾添加 - I 將顯示您的網(wǎng)絡的 IP 地址。

useradd，userdel 命令

linux查看日志的命令是？具體怎么用

tail -f 日志文件路徑主要用于查看實時的日志記錄，屬于動態(tài)記錄查看。

cat日志路徑主要用于查看靜態(tài)的歷史日志記錄，一般跟路徑名稱，常見的這周類型的日志記錄一般用管道符進行過濾篩選自己所需的記錄。

dmesg主要用于調試腳本或者命令，出現(xiàn)異常中斷來排查錯誤原因顯示的。

tail? -n? 10? test.log，查詢日志尾部最后10行的日志。

tail -n +10 test.log，查詢10行之后的所有日志。

head -n 10? test.log，查詢日志文件中的頭10行日志。

head -n -10? test.log，查詢日志文件除了最后10行的其他所有日志。

操作命令

首先介紹一個名詞“控制臺（console）”，它就是我們通常見到的使用字符操作界面的人機接口，例如dos。我們說控制臺命令，就是指通過字符界面輸入的可以操作系統(tǒng)的命令。

例如dos命令就是控制臺命令。要了解的是基于Linux操作系統(tǒng)的基本控制臺命令。有一點一定要注意，和dos命令不同的是，Linux的命令（也包括文件名等等）對大小寫是敏感的，也就是說，如果你輸入的命令大小寫不對的話，系統(tǒng)是不會做出你期望的響應的。

Linux查看系統(tǒng)日志的一些常用命令

last

-a 把從何處登入系統(tǒng)的主機名稱或ip地址，顯示在最后一行。

-d 指定記錄文件。指定記錄文件。將IP地址轉換成主機名稱。

-f 記錄文件 指定記錄文件。

-n 顯示列數(shù)或-顯示列數(shù) 設置列出名單的顯示列數(shù)。

-R 不顯示登入系統(tǒng)的主機名稱或IP地址。

-x 顯示系統(tǒng)關機，重新開機，以及執(zhí)行等級的改變等信息

以下看所有的重啟、關機記錄

last | grep reboot

last | grep shutdown

history

列出所有的歷史記錄：

[zzs@Linux] # history

只列出最近10條記錄：

[zzs@linux] # history 10 (注,history和10中間有空格)

使用命令記錄號碼執(zhí)行命令,執(zhí)行歷史清單中的第99條命令

[zzs@linux] #!99 (!和99中間沒有空格)

重復執(zhí)行上一個命令

[zzs@linux] #!!

執(zhí)行最后一次以rpm開頭的'命令(!? ?代表的是字符串,這個String可以隨便輸，Shell會從最后一條歷史命令向前搜索，最先匹配的一條命令將會得到執(zhí)行。)

[zzs@linux] #!rpm

逐屏列出所有的歷史記錄：

[zzs@linux]# history | more

立即清空history當前所有歷史命令的記錄

[zzs@linux] #history -c

cat, tail 和 watch

系統(tǒng)所有的日志都在 /var/log 下面自己看(具體用途可以自己查,附錄列出一些常用的日志)

cat /var/log/syslog 等

cat /var/log/*.log

tail -f

如果日志在更新，如何實時查看 tail -f /var/log/messages

還可以使用 watch -d -n 1 cat /var/log/messages

-d表示高亮不同的地方，-n表示多少秒刷新一次。

該指令，不會直接返回命令行，而是實時打印日志文件中新增加的內容，

這一特性，對于查看日志是非常有效的。如果想終止輸出，按 Ctrl+C 即可。

除此之外還有more, less ,dmesg|more,這里就不作一一列舉了,因為命令太多了,關鍵看個人喜好和業(yè)務需求.個人常用的就是以上那些

linux日志文件說明

/var/log/message 系統(tǒng)啟動后的信息和錯誤日志，是Red Hat Linux中最常用的日志之一

/var/log/secure 與安全相關的日志信息

/var/log/maillog 與郵件相關的日志信息

/var/log/cron 與定時任務相關的日志信息

/var/log/spooler 與UUCP和news設備相關的日志信息

/var/log/boot.log 守護進程啟動和停止相關的日志消息

/var/log/wtmp 該日志文件永久記錄每個用戶登錄、注銷及系統(tǒng)的啟動、停機的事件

當前名稱：linux日志命令大全 linux常用日志
當前URL：http://www.rwnh.cn/article4/dodocie.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、虛擬主機、App開發(fā)、品牌網(wǎng)站設計、Google、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)