一、日志分類

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：國際域名空間、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、廣安網(wǎng)站維護(hù)、網(wǎng)站推廣。

  1、進(jìn)程日志

  進(jìn)程日志即為hadoop各個(gè)守護(hù)進(jìn)程的日志，例如ResourceManager、NodeManager、NameNode、DataNode等守護(hù)進(jìn)程。集群啟動(dòng)或者運(yùn)行期間出現(xiàn)異常，首先應(yīng)該查看進(jìn)程日志，它是系統(tǒng)排障的重要工具。默認(rèn)位置為${HADOOP_HOME}/logs。可以在mapred-env.sh和yarn-env.sh中分別指定HADOOP_MAPRED_LOG_DIR和YARN_LOG_DIR變量來改變默認(rèn)位置。

  進(jìn)程日志是滾動(dòng)記錄的，當(dāng)日志達(dá)到指定大小之后，會(huì)滾動(dòng)寫入下一個(gè)文件。可以在$HADOOP_HOME/etc/hadoop/log4j.properties中對(duì)文件大小、保留個(gè)數(shù)等進(jìn)行相應(yīng)設(shè)置。

  2、作業(yè)日志

  作業(yè)日志記錄了作業(yè)運(yùn)行的整體情況，以及該作業(yè)的計(jì)數(shù)器統(tǒng)計(jì)信息。比如作業(yè)一共有多少個(gè)map，多少個(gè)reduce，分別在什么時(shí)候哪個(gè)節(jié)點(diǎn)啟動(dòng)，各個(gè)map進(jìn)行了多少文件讀寫、占用了多少CPU時(shí)間等等。作業(yè)日志在系統(tǒng)監(jiān)控和調(diào)優(yōu)方面有重要作用。

  3、Container日志

  Container日志是hadoop各個(gè)container記錄的日志，其中會(huì)包含錯(cuò)誤或失敗的重要信息。如果沒有打開日志聚合，默認(rèn)是分布在各個(gè)nodemanager節(jié)點(diǎn)上的。如果打開了日志聚合選項(xiàng)，則會(huì)統(tǒng)一放在集中的位置（比如HDFS上）。Container日志會(huì)記錄作業(yè)運(yùn)行時(shí)會(huì)發(fā)生的各種運(yùn)行時(shí)信息和錯(cuò)誤，對(duì)于調(diào)試和調(diào)優(yōu)有很大的幫助。

  二、作業(yè)日志位置的移動(dòng)

  作業(yè)日志記錄的是作業(yè)的整體情況，而且會(huì)隨著作業(yè)執(zhí)行的階段變化而改變。

  1、作業(yè)啟動(dòng)后，hadoop會(huì)將作業(yè)日志放在${yarn.app.mapreduce.am.staging-dir}/${user}/.staging/{$job_ID}目錄。其中：

  yarn.app.mapreduce.am.staging-dir在yarn-site.xml中指定，默認(rèn)是/tmp/hadoop-yarn/staging

  ${user}是運(yùn)行作業(yè)的用戶

  例如：grid用戶發(fā)起一個(gè)mr作業(yè)，job_id為job_1483969906296_0002，在其運(yùn)行沒有結(jié)束時(shí)，作業(yè)的日志會(huì)放在/tmp/hadoop-yarn/staging/grid/.staging/job_1483969906296_0002目錄中。

  2、作業(yè)完成后，作業(yè)日志會(huì)被移到${mapreduce.jobhistory.intermediate-done-dir}/${user}，其中${mapreduce.jobhistory.intermediate-done-dir}可以在mapred-site.xml中配置，默認(rèn)值是${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

  3、第2步的這個(gè)新地址只是個(gè)臨時(shí)的中轉(zhuǎn)站，hadoop會(huì)定時(shí)將這個(gè)目錄中的日志轉(zhuǎn)移到永久地址：${mapreduce.jobhistory.done-dir}/${year}/${month}/${day}/000000目錄中。其中的000000應(yīng)該會(huì)發(fā)生變化，暫時(shí)未確定代表何種變量，以后確認(rèn)后再補(bǔ)充。

  三、其它補(bǔ)充

  1、作業(yè)日志中的jhist文件為json格式，保存了作業(yè)的主要信息

  2、如果需要查看container日志，最好打開日志聚合（在yarn-site.xml中配置yarn.log-aggregation-enable為true），可以使用yarn logs -applicationId <application_id>查看完整的container日志。

分享題目：Hadoop日志小結(jié)
網(wǎng)站鏈接：http://www.rwnh.cn/article48/gcgghp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、自適應(yīng)網(wǎng)站、網(wǎng)站排名、ChatGPT、云服務(wù)器、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)