本篇內(nèi)容介紹了“hadoop怎么合并sequcefie并在map中讀取”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),寒亭企業(yè)網(wǎng)站建設(shè),寒亭品牌網(wǎng)站建設(shè),網(wǎng)站定制,寒亭網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,寒亭網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

package hgs.sequencefile;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
//合并小文件
public class SequenceMain {
	public static void main(String[] args) throws IOException, URISyntaxException {
		
		Configuration conf = new Configuration();
		
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.6.129:9000"),conf);
		//獲得該文件夾下的所有的文件
		FileStatus[] fstats = fs.listStatus(new Path("/words"));
		//System.out.println(fstats.length);
		Text key = new Text();
		Text value = new Text();
		
		@SuppressWarnings("deprecation")
		//創(chuàng)建一個(gè)sequecewriter
		//merge.seq是文件名
		SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, new Path("/sequence/merge.seq"), key.getClass(), value.getClass());
		//循環(huán)遍歷每個(gè)文件 
		for(FileStatus fis : fstats) {
			//將每個(gè)文件以key value的形式寫(xiě)入到sequencefile中
			FSDataInputStream finput = fs.open(fis.getPath());
			byte[] buffer = new byte[(int)fis.getLen()];
			IOUtils.readFully(finput, buffer, 0, buffer.length);
			//文件名為key 文件內(nèi)容為value
			key.set(fis.getPath().getName());
			value.set(buffer);
			writer.append(key, value);
			finput.close();			
		}
		writer.close();
		fs.close();		
	}
}

package hgs.sequencefile;
import java.io.IOException;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class SequnceMapper extends Mapper<Text, Text, Text, Text> {
	@Override
	protected void map(Text key, Text value, Mapper<Text, Text, Text, Text>.Context context)
			throws IOException, InterruptedException {
		context.write(key, value);
	}
}

package hgs.sequencefile;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.SequenceFileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.SequenceFileAsTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class SequenceDriver {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "read_sequence_file");
		job.setJarByClass(hgs.sequencefile.SequenceDriver.class);
		// TODO: specify a mapper
		job.setMapperClass(SequnceMapper.class);
		// TODO: specify a reducer
		//job.setReducerClass(Reducer.class);
		// TODO: specify output types
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		//在這個(gè)設(shè)置讀取sequencefile的inputformat，該類讀取的是String淚習(xí)慣的key value
		//SequenceFileAsBinaryInputFormat 該類獨(dú)處的ByteWritable的key value
		job.setInputFormatClass(SequenceFileAsTextInputFormat.class);
		// TODO: specify input and output DIRECTORIES (not files)
		FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.6.129:9000/sequence"));
		FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.6.129:9000/seqresult"));
		if (!job.waitForCompletion(true))
			return;
	}
}

“hadoop怎么合并sequcefie并在map中讀取”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

新聞名稱：hadoop怎么合并sequcefie并在map中讀取-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://www.rwnh.cn/article40/cepoho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、全網(wǎng)營(yíng)銷推廣、建站公司、外貿(mào)網(wǎng)站建設(shè)、用戶體驗(yàn)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)