簡(jiǎn)介

為了可以通過(guò)WebUI控制臺(tái)頁(yè)面來(lái)查看具體的運(yùn)行細(xì)節(jié)，解決應(yīng)用程序運(yùn)行結(jié)束，無(wú)法繼續(xù)查看監(jiān)控集群信息。無(wú)法回顧運(yùn)行的程序細(xì)節(jié)，配置開(kāi)啟spark.history服務(wù).Spark History Server可以很好地解決上面的問(wèn)題。

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括華鎣網(wǎng)站建設(shè)、華鎣網(wǎng)站制作、華鎣網(wǎng)頁(yè)制作以及華鎣網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái)，我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，華鎣網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到華鎣省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

配置文件位置：

$SPARK_HOME$/conf目錄下的spark-defaults.conf文件。默認(rèn)spark-defaults.conf是不存在的，我們可以根據(jù)Spark提供的template文件新建。

配置參數(shù)描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master節(jié)點(diǎn)的ip地址

spark.history.updateInterval
#默認(rèn)值：10，以秒為單位，更新日志相關(guān)信息的時(shí)間間隔

spark.history.retainedApplications
#默認(rèn)值：50，在內(nèi)存中保存Application歷史記錄的個(gè)數(shù)，如果超過(guò)這個(gè)值，舊的應(yīng)用程序信息將被刪除，當(dāng)再次訪問(wèn)已被刪除的應(yīng)用信息時(shí)需要重新構(gòu)建頁(yè)面。

spark.history.ui.port
#默認(rèn)值：4040，HistoryServer的web端口

spark.history.ui.acls.enable
#默認(rèn)值：false，授權(quán)用戶查看應(yīng)用程序信息的時(shí)候是否檢查acl。如果啟用，只有應(yīng)用程序所有者和spark.ui.view.acls指定的用戶可以查看應(yīng)用程序信息;否則，不做任何檢查

spark.eventLog.enabled 
#默認(rèn)值：false ，是否記錄Spark事件，用于應(yīng)用程序在完成后重構(gòu)webUI

spark.eventLog.dir
#默認(rèn)值：file:///tmp/spark-events，保存日志相關(guān)信息的路徑，可以是hdfs://開(kāi)頭的HDFS路徑，也可以是file://開(kāi)頭的本地路徑，都需要提前創(chuàng)建

spark.eventLog.compress 
#默認(rèn)值：false,是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認(rèn)使用的是snappy

本地文件存儲(chǔ)日志配置案例：

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

啟動(dòng)服務(wù)

$SPARK_HOME/sbin/start-history-server.sh

訪問(wèn)

瀏覽器：http://nodeIP:18080

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

新聞標(biāo)題：SparkHistoryServer配置部署-創(chuàng)新互聯(lián)
新聞來(lái)源：http://www.rwnh.cn/article14/cesgge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、網(wǎng)站導(dǎo)航、小程序開(kāi)發(fā)、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)