|
|
Hadoop的简单单词统计案例
在Hadoop学习过程中，单词统计作为一个最基本的案例，非常简单实用，是每一个入门菜鸟必须要掌握的一个例子，可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程
引入相关Hadoop目录相关Jar文件：
（hdfs(必须),common（必须），mapreduce（必须））
引入配置文件：
core-site.xml；hdfs-site.xml；……
编写Map程序：
package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/** * * @author Youda * Map需要四个泛型参数 * KEYIN:输入参数：默认是要处理的文本中的某一行的偏移量 * VALUEIN：输入参数：要处理的某一行文本内容 * VALUEOUT：输出给Reduce的数据类型 * KEYOUT：输出给Reduce的偏移量 * * 由于需要网络传输，故参数需要序列化 * 但是Java自带的序列化会携带一些冗余信息，不利于大量的网络传输 * 所以Hadoop对Long，String进行了封装,变为LongWritable,Text * */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
@Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
throws IOException, InterruptedException {
// 处理具体的业务逻辑
String text = value.toString();
String[] words = StringUtils.split(text," |,|\\.");
for(String word:words){
context.write(new Text(word), new LongWritable(1)); }
} } |
编写Reduce程序：
package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/** * * @author Youda * */
public class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
@Override
protected void reduce(Text arg0, Iterable<LongWritable> arg1,Reducer<Text, LongWritable, Text, LongWritable>.Context arg2) throws IOException, InterruptedException {
Long value = 0L;
for(LongWritable num:arg1){
value += num.get();
}
arg2.write(arg0, new LongWritable(value));
}
} |
编写控制程序：
package cn.guyouda.hadoop.mapreduce.wordcount;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/** * * @author Youda *指定Map和Reduce类 *指定作业需要处理的数据位置 *还可以指定数据输出的结果路径 */
public class WordCountRunner {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
job.setJarByClass(WordCountRunner.class);
//指定Map和Reduce类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
//指定Reduce的输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//指定Map的输出类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
//指定源文件夹和输出文件夹
FileInputFormat.setInputPaths(job, new Path("/wordcount/srcdata/"));
.setOutputPath(job, new Path("/wordcount/output/"));
//提交：参数：是否显示处理进度
System.exit(job.waitForCompletion(true)?0:1);
}
} |
在Hadoop中创建文件夹需要统计的单词所在文件夹并上传
hadoop fs -mkdir /wordcont
hadoop fs -mkdir /wordcount/srcdata
hadoop fs -put XXXX.txt /wordcount/srcdata
注：在创建文件夹和上传文件之前需要启动HDFS（start-dfs.sh）输出文件夹不能自己创建，否则程序运行时会报错
运行程序：
hadoop jar Count.jar cn.guyouda.hadoop.mapreduce.WordCountRunner
运行结束以后会在输出文件夹创建结果文件
注：运行程序前必须启动YARN（start-yarn.sh）
显示统计结果：
hadoop fs -cat /wordcount/output/part-r-00000
————————————————
版权声明：本文遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/G_Youda/article/details/77989412
程序猿的技术大观园：www.javathinker.net
[这个贴子最后由 admin 在 2020-01-01 17:00:47 重新编辑]
|
|
Java技术网站 → 『 Java开发技术 』 → 『 大数据处理和分布式架构专题 』 → Hadoop的简单单词统计案例
消息
查看
搜索
好友
邮件
复制
引用
IP: 已设置保密
