這篇文章主要介紹“怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”，在日常操作中，相信很多人在怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

黔江ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)

1.     項目背景

1.1.  項目背景

數(shù)據(jù)接口

API：應(yīng)用程序接口（Application Program Interface）的簡稱，是實現(xiàn)計算機(jī)軟件之間數(shù)據(jù)通信的工具。同時API也是一種中間件，為各個平臺提供數(shù)據(jù)共享。在大數(shù)據(jù)與物聯(lián)網(wǎng)發(fā)展的背景下，目前有大量的數(shù)據(jù)接口被提供或發(fā)掘出來，提供給開發(fā)者使用，應(yīng)用到生活中的每一個細(xì)節(jié)中。本文旨在闡述kettle對于數(shù)據(jù)接口的監(jiān)控、調(diào)用及其轉(zhuǎn)儲，更多詳細(xì)的數(shù)據(jù)接口內(nèi)容不在此具體說明。

項目背景

本文旨在提供一種方法，以幫助同學(xué)們掌握Kettle對于數(shù)據(jù)接口的調(diào)用與轉(zhuǎn)儲，Kettle的配置方法和組件的使用具有多樣性，需要大家多多思考與發(fā)掘。

2.     Kettle配置

本文使用的是Kettle 7.0版本，調(diào)用的接口為百度開發(fā)平臺-百度地圖API，返回數(shù)據(jù)集為JSON格式或者XML格式，本次使用了兩種方式來存儲數(shù)據(jù)，一種是導(dǎo)出成EXCEL，一種是導(dǎo)出到關(guān)系數(shù)據(jù)庫進(jìn)行存儲。

2.1. Kettle轉(zhuǎn)換的配置

總覽

總覽

 

校驗接口信息

我們首先拿到WebAPI的地址，測試連接的暢通，這里我使用了百度地圖的Place Suggestion API，輸入城市需要檢索的地點(diǎn)，返回建議值，效果如下：

 

http://api.map.baidu.com/place/v2/suggestion?query=%E6%98%A5%E7%86%99%E8%B7%AF&region=%E6%88%90%E9%83%BD%E5%B8%82&output=json&ak=n0lHarpY3QZx6xXXIaWMFLxj

這里我們測試接口URL的連通性。

 

這里我的接口是沒有校驗身份的，只需要輸入申請的AK就可以了。測試成功，返回的值為JSON字符串的格式。

接口信息接入

新建一個轉(zhuǎn)換，接口信息接入可以選擇EXCEL接入，文本接入，生成記錄，或者表輸入都行，視自己的情況而定，我這里因為只是測試，選用了生成記錄，并且參數(shù)值固定死，后期可以使用“${}”將參數(shù)替換出來。

 

利用HTTP客戶端解析數(shù)據(jù)

添加HttpClient組件，我們需要用到它作為客戶端來解析API，類似瀏覽器。

 

這里的URL地址我們選擇從前面的生成記錄里面獲取。注意字符集的設(shè)置，否則后面獲取到的接口數(shù)據(jù)會是亂碼。

判斷是否獲取到數(shù)據(jù)

這里添加過濾記錄組件，用來判斷是否成功從HTTP客戶端獲取到數(shù)據(jù)

 

解析JSON串

添加JSON輸入組件，這里從流中獲取到從API上獲取的結(jié)果作為源字段。

 

將JSON串解析成多個字段的形式，具體路徑需要自己先在過一下JSON串的格式，提前掌握這些信息。

 

嵌套循環(huán)解析JSON串

我們此次使用的JSON串，實際需要的數(shù)據(jù)實際是在其內(nèi)曾的RESULT字段里面嵌套的JSON串里，所以我們需要再對RESULT字段進(jìn)行解析。

 

輸出數(shù)據(jù)

我們這里使用了EXCEL輸出的方法，EXCEL輸出沒有特別需要強(qiáng)調(diào)的地方，主要需要注意的就是在這里我們只輸出需要的內(nèi)部的地址信息，因為其他字段在流中也會繼承下來，這里合理選擇輸出的字段即可。

 

錯誤處理

錯誤處理一般來說都只是進(jìn)行記錄，或者寫入日志，或者寫入日志表，或者發(fā)送報錯信息郵件到管理員郵箱。

這里不做具體講解，具體的選擇方案看項目需求而定。

運(yùn)行結(jié)果

F9可執(zhí)行改轉(zhuǎn)換，轉(zhuǎn)換沒有錯誤的話則進(jìn)入上面一條線，并且輸出為EXCEL表格。

 

EXCEL展開如下圖：

 

3.     其他

本附件列出了一些配置過程中可能與遇到的一些問題以及解決方案。

3.1.  常見錯誤信息

在實驗過程中遇到一些錯誤在所難免，我這里提供了一些容易遇到的錯誤，給大家參考參考思路。

中文亂碼

解決方案：在使用HTTP客戶端接入的時候，需要正確選擇字符集，一般使用UTF-8是沒錯的，它能夠兼容大部分字符。在進(jìn)行文本文件輸出的時候，需要正確選擇輸出的格式，盡量不在這一步做編碼轉(zhuǎn)換。

API接口無效

解決方案：在解析API接口URL路徑時，難免參數(shù)會帶上中文漢字，這里的漢字需要提前做好轉(zhuǎn)碼，這里教大家一個小技巧，使用Chome瀏覽器，把URL鏈接粘貼進(jìn)去，瀏覽器會自動幫我們把編碼進(jìn)行轉(zhuǎn)換。此時，再把URL地址粘貼出來即可。

到此，關(guān)于“怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

本文標(biāo)題：怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于：http://www.rwnh.cn/article32/csodsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、電子商務(wù)、品牌網(wǎng)站建設(shè)、網(wǎng)站設(shè)計公司、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)