如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

目前創(chuàng)新互聯(lián)建站已為1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機(jī)、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、合山網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶(hù)導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶(hù)和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

       Spark特別適用于多次操作特定的數(shù)據(jù)，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的內(nèi)存，成本很高;mem & disk:內(nèi)存用完后，會(huì)自動(dòng)向磁盤(pán)遷移，解決了內(nèi)存不足的問(wèn)題，卻帶來(lái)了數(shù)據(jù)的置換的消費(fèi)。Spark常見(jiàn)的調(diào)優(yōu)工具有nman、Jmeter和Jprofile,以下是Spark調(diào)優(yōu)的一個(gè)實(shí)例分析：

1、場(chǎng)景：精確客戶(hù)群

對(duì)一個(gè)容量為300g的客戶(hù)信息表在spark上進(jìn)行查詢(xún)優(yōu)化，該大寬表有1800多列，有效使用的有20列。

2、優(yōu)化達(dá)到的效果：查詢(xún)由原來(lái)的40.232s降低為2.7s

3、優(yōu)化過(guò)程分析

第一步：首先發(fā)現(xiàn)磁盤(pán)存在大量的iowait，通過(guò)查看相關(guān)日志文件，發(fā)現(xiàn)一個(gè)block的大小進(jìn)而推算出整個(gè)數(shù)據(jù)文件大小為300G整個(gè)內(nèi)存無(wú)法容納，采用壓縮的方法實(shí)現(xiàn)優(yōu)化，結(jié)合本數(shù)據(jù)文件的特點(diǎn)，存在大量的0和1，選 Gzip算法進(jìn)行壓縮，壓縮后的大小為1.9G，該步使得查詢(xún)從40.232降為了20.12s。

第二步：大寬表存在1800多列，而有效使用的只有20多列，故通過(guò)RCFILE只將有效的列加載，該步使得查詢(xún)從20s降為12s。

第三步：通過(guò)Jprofile分析出CPU的負(fù)載過(guò)高，到底是什么原因造成的，仔細(xì)發(fā)現(xiàn)序列化機(jī)制有問(wèn)題。Spark的serialization框架有兩種：java自身的和kryo的。其中kryo 是一個(gè)快速高效的Java對(duì)象圖形序列化框架,主要特點(diǎn)是性能、高效和易用，換成kryo后，查詢(xún)從12s降到7s。

第四步：進(jìn)一步分析CPU各核負(fù)載量很不均勻，內(nèi)存也沒(méi)有用滿(mǎn)，系統(tǒng)的資源沒(méi)有得到充分利用，該如何利 用？ (1)Spark的RDD的partition個(gè)數(shù)創(chuàng)建task的個(gè)數(shù)是對(duì)應(yīng)的;(2)Partition的個(gè)數(shù)在hadoop的RDD中由block的 個(gè)數(shù)決定的，內(nèi)存：系統(tǒng)總內(nèi)存數(shù)=work內(nèi)存大小*work 數(shù)=SPARK_WORKER_MEMORY*SPARK_WORKER_INSTANCES;

CPU:系統(tǒng)總的task數(shù)=work數(shù)×work所占的cores數(shù)=SPARK_WORKER_INSTANCES*SPARK_WORKER_CORES，計(jì)算task并行度，內(nèi)存分配情況，調(diào)優(yōu)參數(shù)：

SPARK_WORKER_INSTANCES=4

SPARK_WORKER_CORES = 3

SPARK_WORKER_MEMORY = 6G

Cpu(12core)  mem(24G)，通過(guò)這幾個(gè)參數(shù)的優(yōu)化，查詢(xún)由7s降到5s。

第五步：進(jìn)一步發(fā)現(xiàn)Sharkserver端出現(xiàn)明顯的fullGC,通過(guò)調(diào)優(yōu)參數(shù)

Export SHARK_MASTER_MEM=2g,該步由6s降到3sl;

第六步：又發(fā)現(xiàn)當(dāng)兩表關(guān)聯(lián)時(shí)，cpu 出現(xiàn)瓶頸，分析原因是日表做了gzip壓縮，優(yōu)化方法：日表不使用gzip壓縮，將日表做成內(nèi)存表。查詢(xún)從3s降到2s。

關(guān)于如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

本文名稱(chēng)：如何進(jìn)行Spark性能調(diào)優(yōu)實(shí)戰(zhàn)
URL地址：http://www.rwnh.cn/article42/jdjoec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開(kāi)發(fā)、軟件開(kāi)發(fā)、定制開(kāi)發(fā)、網(wǎng)站排名、小程序開(kāi)發(fā)、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)