Hive常用命令及設(shè)置

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),紅花崗企業(yè)網(wǎng)站建設(shè),紅花崗品牌網(wǎng)站建設(shè),網(wǎng)站定制,紅花崗網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,紅花崗網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

alter table ad_app.app_accounting_daily add columns (return_cost bigint) cascade;

數(shù)據(jù)傾斜

set hive.map.aggr=true;

set hive.groupby.skewindata=true;

set mapreduce.job.queuename = root.data.adonline;

set mapred.reduce.tasks=8192;

set mapreduce.job.priority=VERY_HIGH;

Set hive.groupby.mapaggr.checkinterval = 100000

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set hive.exec.compress.intermediate=true;

set mapred.compress.map.output=true;

set mapred.max.split.size=256000000;       -- 決定每個(gè)map處理的最大的文件大小，單位為B

set mapred.min.split.size.per.node=1;        -- 節(jié)點(diǎn)中可以處理的最小的文件大小

set mapred.min.split.size.per.rack=1;    

控制map數(shù)量

set mapred.max.split.size=128000000;

set mapred.min.split.size.per.node=64000000;

set mapred.min.split.size.per.rack=64000000;

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

設(shè)置reducer最大個(gè)數(shù)

set hive.exec.reducers.max=8192;

控制map reduce內(nèi)存

set mapreduce.map.memory.mb=4096;

set mapreduce.reduce.memory.mb=4096;

set mapreduce.reduce.java.opts=-Xmx3800M;

set mapred.child.map.java.opts=-Xmx3800M;

set mapreduce.map.java.opts=-Xmx3800M;

ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='20130101') LOCATION '/user/hadoop/warehouse/table_name/dt=20130101'; //一次添加一個(gè)分區(qū)

文章標(biāo)題：Hive常用命令及設(shè)置
轉(zhuǎn)載注明：http://www.rwnh.cn/article2/jijpic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、電子商務(wù)、企業(yè)網(wǎng)站制作、做網(wǎng)站、微信小程序、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)