本篇文章給大家分享的是有關(guān)如何進(jìn)行spark on yarn 的資源調(diào)度器設(shè)置.，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)建站主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、響應(yīng)式網(wǎng)站設(shè)計(jì)、程序開發(fā)、網(wǎng)站優(yōu)化、微網(wǎng)站、成都微信小程序等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn)，集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體。

最近一段時(shí)間 發(fā)現(xiàn)了一個(gè)問題. 就是即便在整個(gè)集群  不忙的時(shí)候, 也會(huì)某幾個(gè)節(jié)點(diǎn), 會(huì)被spark on yarn 的任務(wù)跑滿. 

而不是把任務(wù)均勻的分配到到多幾個(gè)節(jié)點(diǎn)上. 

百思不解. 

于是開始各個(gè)方面的調(diào)查.  從spark 方面沒有發(fā)現(xiàn)什么問題. 回過頭來看yarn . 

發(fā)現(xiàn)原來使我們的資源調(diào)度的配置上有點(diǎn)問題. 

  <property>

    <name>yarn.scheduler.capacity.resource-calculator</name>

    <!--value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value-->

    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

    <description>

      The ResourceCalculator implementation to be used to compare

      Resources in the scheduler.

      The default i.e. DefaultResourceCalculator only uses Memory while

      DominantResourceCalculator uses dominant-resource to compare

      multi-dimensional resources such as Memory, CPU etc.

    </description>

  </property>

問題就出在這里了.  default  調(diào)度器, 只關(guān)注node 的內(nèi)存 情況, 根據(jù)內(nèi)存情況來分派任務(wù). 

這就是導(dǎo)致, 如果一個(gè)spark 任務(wù)向yarn 申請(qǐng)container 的時(shí)候, yarn 只關(guān)注了 某幾個(gè)點(diǎn)的內(nèi)存情況. 

如果內(nèi)存滿足 spark 的要求, 就可能把所有的container 都分派到一個(gè)node 去,導(dǎo)致這個(gè)node 節(jié)點(diǎn) 負(fù)載飚高. 

比如 spark 申請(qǐng) 10個(gè) 1g 內(nèi)存的container . 然后 yarn 發(fā)現(xiàn)有2個(gè)節(jié)點(diǎn)  各有5g 空閑內(nèi)存,  但是卻只有3個(gè)cpu 空閑. 

那么可能就會(huì)只有這倆node 來跑這10個(gè)container , 而不是把10個(gè)container 分配到10個(gè)node上去.

然后就出現(xiàn)我們前面說的情況.  內(nèi)存充足但是cpu不足. 導(dǎo)致spark 的container 只有3個(gè)在運(yùn)行. 另外倆個(gè)要等待 .  

這也符合我們前面看到的現(xiàn)象.  

以上就是如何進(jìn)行spark on yarn 的資源調(diào)度器設(shè)置.，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

新聞名稱：如何進(jìn)行sparkonyarn的資源調(diào)度器設(shè)置.
標(biāo)題URL：http://www.rwnh.cn/article8/jeedip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、App設(shè)計(jì)、營(yíng)銷型網(wǎng)站建設(shè)、做網(wǎng)站、標(biāo)簽優(yōu)化、網(wǎng)頁(yè)設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)