本篇內(nèi)容介紹了“怎么從Hadoop URL中讀取數(shù)據(jù)”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

站在用戶的角度思考問題，與客戶深入溝通，找到西藏網(wǎng)站設(shè)計(jì)與西藏網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)頁空間、企業(yè)郵箱。業(yè)務(wù)覆蓋西藏地區(qū)。

要從Hadoop文件系統(tǒng)中讀取文件，一個(gè)最簡(jiǎn)單的方法是使用java.net.URL對(duì)象來打開一個(gè)數(shù)據(jù)流，從而從中讀取數(shù)據(jù)。一般的格式如下：
1.    InputStream in = null;  
2. try {  
3.     in = new URL("hdfs://host/path").openStream();  
4.     // process in  
5. } finally {  
6.     IOUtils.closeStream(in);  
7. } 
這里還需要一點(diǎn)工作來讓Java識(shí)別Hadoop文件系統(tǒng)的URL 方案，就是通過一個(gè)FsUrlStreamHandlerFactory實(shí)例來調(diào)用在URL中的setURLStreamHandler-Factory方法。這種方法在一個(gè)Java虛擬機(jī)中只能被調(diào)用一次，因此一般都在一個(gè)靜態(tài)塊中執(zhí)行。這個(gè)限制意味著如果程序的其他部件(可能是不在你控制中的第三方部件)設(shè)置一個(gè)URLStreamHandlerFactory，我們便無法再從Hadoop中讀取數(shù)據(jù)。下一節(jié)將討論另一種方法。
例3-1展示了以標(biāo)準(zhǔn)輸出顯示Hadoop文件系統(tǒng)的文件的程序，它類似于Unix的cat命令。
例3-1：用URLStreamHandler以標(biāo)準(zhǔn)輸出格式顯示Hadoop文件系統(tǒng)的文件
1. public class URLCat {  
2.  
3.  static {  
4.    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
5.  }  
6.    
7.  public static void main(String[] args) throws Exception {  
8.    InputStream in = null;  
9.    try {  
10.      in = new URL(args[0]).openStream();  
11.      IOUtils.copyBytes(in, System.out, 4096, false);  
12.    } finally {  
13.      IOUtils.closeStream(in);  
14.    }  
15.  }  
16. } 
我們使用Hadoop中簡(jiǎn)潔的IOUtils類在finally子句中關(guān)閉數(shù)據(jù)流，同時(shí)復(fù)制輸入流和輸出流之間的字節(jié)(本例中是System.out)。copyBytes方法的最后兩個(gè)參數(shù)，前者是要復(fù)制的緩沖的大小，后者表示復(fù)制結(jié)束后是否關(guān)閉數(shù)據(jù)流。這里是將輸入流關(guān)掉了，而System.out不需要關(guān)閉。

“怎么從Hadoop URL中讀取數(shù)據(jù)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)頁題目：怎么從HadoopURL中讀取數(shù)據(jù)
本文網(wǎng)址：http://www.rwnh.cn/article10/gsphgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、網(wǎng)站營銷、域名注冊(cè)、網(wǎng)站建設(shè)、外貿(mào)建站、網(wǎng)頁設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)