這篇文章主要介紹“hive數(shù)據(jù)怎么遷移”，在日常操作中，相信很多人在hive數(shù)據(jù)怎么遷移問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hive數(shù)據(jù)怎么遷移”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

這篇文章主要介紹“hive數(shù)據(jù)怎么遷移”，在日常操作中，相信很多人在hive數(shù)據(jù)怎么遷移問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hive數(shù)據(jù)怎么遷移”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

為南昌縣等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及南昌縣網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都網(wǎng)站制作、成都網(wǎng)站設計、南昌縣網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

hive數(shù)據(jù)遷移，cdh4u5的hive中數(shù)據(jù)遷移到cdh6.1的hive中，由于distcp不能使用，需要手動導出數(shù)據(jù)

on hadoop4

cd /tmp/test/people_payment_log

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201309* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201310* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201311* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201312* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201401* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201402* .

hadoop fs -get /data/warehouse/userdb.db/people_payment/hour=201403* .

cd /tmp/test

tar -czf people_payment_log.tgz people_payment_log

壓縮，copy到hdp7,/home/abc/cdh/people_payment，解壓縮

on hdp7,scp -Cr hadoop4:/tmp/test/people_payment_log.tgz /home/abc/cdh/people_payment

cd /home/abc/cdh/people_payment;tar -xzf people_payment_log.tgz

將數(shù)據(jù)上傳到cdh6集群的people_payment表中，shell內(nèi)容如下：

base_dir=/home/abc/cdh/people_payment

data_dir=$base_dir/people_payment_log

ls $data_dir >$base_dir/hour.txt

cd $data_dir

 cat $base_dir/hour.txt |while read oneHour

do

    echo $oneHour

hadoop fs -put $oneHour /user/hive/warehouse/userdb.db/people_payment/

done

然后需要讓hive metastore知道這些分區(qū)的存在，生成分區(qū)alert語句。

base_dir=/home/abc/cdh/people_payment

cd $base_dir 

echo "use userdb;">$base_dir/alert.txt

cat $base_dir/hour.txt |while read oneHour

do

    realy_hour=`echo $oneHour|awk -F '=' '{print $2}'`

echo "ALTER TABLE people_payment ADD PARTITION (hour = '$realy_hour');">>$base_dir/alert.txt 

done

alert.txt的內(nèi)容類似

use userdb;

ALTER TABLE people_payment ADD PARTITION (hour = '2013090100');

ALTER TABLE people_payment ADD PARTITION (hour = '2013090101');

然后調(diào)用hive -f alert.txt集中進行alert partition。

直接有文件存在的話，可以用下面的方式導入hive

腳本內(nèi)容如下：

base_dir=/home/abc/cdh/people_payment

data_dir=/data/login/data_login_raw

hive_db=userdb

table=user_login

 ls $data_dir/a.bc.d.201408*|awk -F '.' '{print $5}'>$base_dir/hour.txt

 cat $base_dir/hour.txt |while read oneHour

do

    echo $oneHour

    sql="use $hive_db;LOAD DATA LOCAL INPATH '$data_dir/a.bc.d.$oneHour'  OVERWRITE INTO table $table partition ( hour=$oneHour);"

    echo "===================================================$sql"

    /home/abc/cdh/hive/bin/hive -e "$sql"

done

最好是生成一個批量的LOAD DATA LOCAL INPATH。..語句

然后hive -f調(diào)用，避免了多次啟動hive client.

當前文章：hive數(shù)據(jù)怎么遷移
瀏覽地址：http://www.rwnh.cn/article36/cieesg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設、App開發(fā)、自適應網(wǎng)站、網(wǎng)站維護、外貿(mào)建站、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)