這篇文章將為大家詳細(xì)講解有關(guān)Sqoop架構(gòu)和常用命令是什么，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括山城網(wǎng)站建設(shè)、山城網(wǎng)站制作、山城網(wǎng)頁制作以及山城網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，山城網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到山城省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

Sqoop簡(jiǎn)介
Sqoop是一個(gè)用來將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如 ： MySQL ,Oracle 等）中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中。

Sqoop架構(gòu)圖:


常用命令介紹
MySQL=> Hive (MySQL數(shù)據(jù)導(dǎo)入進(jìn)Hive)
1.將指定的mysql表遷移到Hive中
sqoop import --hive-import --connect jdbc:mysql://192.168.1.1/dbname --table ${tablename} --username ${username} --password ${password} --hive-database${dbname} -m 1 --as-parquetfile

例如:
sqoop import --hive-import --connect jdbc:mysql://172.16.16.15/test --table person --username mdba --password dsf0723 --hive-database test -m 1 --as-parquetfile

2.將mysql指定庫(kù)中的所有表遷移到Hive中
sqoop import-all-tables --hive-import --connect jdbc:mysql://192.168.1.1/dbname --username ${username} --password ${password} --hive-database ${dbname} -m 1  --hive-database anhui --as-parquetfile
-Oracle => Hbase  將上述命令中的jdbc:mysql:改為jdbc:oracle:thin
例如:
sqoop import --hive-import --connect jdbc:oracle:thin:@172.16.16.16:1523:orcl --table test --username cq2017 --password cq2017 --hive-database chongqing_2017 --hive-table test_20170505 -m 1 --as-parquetfile


從Hive(HDFS)=>MySQL  (從Hive導(dǎo)入進(jìn)MySQL)
sqoop export --connect jdbc:mysql://192.168.1.1:3306/dbname --username root
--password 123 --export-dir ‘hive表hdfs文件文件存放路徑’ --table mysqltablename  -m 1 --fields-termianted-by '\t'
--MysqlTableName 必須是提前創(chuàng)建好的，且數(shù)據(jù)字段和字段類型,分隔符的設(shè)定與Hive中一致
--Hive中沒有特殊的分隔符要求的話，默認(rèn)分隔符是/u0001 不用加命令項(xiàng) --fields-termianted-by ‘\t’ 
-- hive表hdfs文件文件存放路徑  /user/hive/warehouse/庫(kù)名/表名


其他命令:
第一類：數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到HDFS上
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123
--table user --columns ‘id, name, incoam, expenses‘  指定mysql數(shù)據(jù)庫(kù)表中的某幾個(gè)字段的數(shù)據(jù)遷移
這里的列名 嚴(yán)格區(qū)分大小寫

指定輸出路徑、指定數(shù)據(jù)分隔符
sqoop import --connect jdbc:mysql://lishiyu06:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td' --fields-terminated-by '\t'

指定Map數(shù)量 -m 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2


增加where條件, 注意：條件必須用引號(hào)引起來====》用于追加導(dǎo)入
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --where 'id>3' --target-dir '/sqoop/td2' 


增加query語句(使用 \ 將語句換行) 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123 \
--query 'SELECT * FROM user where id > 2 AND $CONDITIONS' --split-by user.id --target-dir '/sqoop/td3'

注意：如果使用--query這個(gè)命令的時(shí)候，需要注意的是where后面的參數(shù)，AND $CONDITIONS這個(gè)參數(shù)必須加上，
而且存在單引號(hào)與雙引號(hào)的區(qū)別，如果--query后面使用的是雙引號(hào)，那么需要在$CONDITIONS前加上\即\$CONDITIONS
如果設(shè)置map數(shù)量為1個(gè)時(shí)即-m  1 ，不用加上--split-by ${tablename.column}

關(guān)于“Sqoop架構(gòu)和常用命令是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

文章題目：Sqoop架構(gòu)和常用命令是什么
文章位置：http://www.rwnh.cn/article48/psjoep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷、動(dòng)態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈、外貿(mào)網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)