|
2018-06-01 09:40:40
Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API 浏览(102457)|评论(107) 交流分类:Java|笔记分类: Hadoop实战-初……
私塾在线《深入浅出学
Hadoop-
初级
部分》
——
系列精品教程
第一部分:Word Count 程序讲解
•编写一个MapReduce 程序的步骤
–编写一个Mapper类
–编写一个Reducer类
–编写一个Driver类(即Job),来将Mapper与Reducer类来进行组合。
java代码:
Mapper public class WordMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override public void map(LongWritable key, Text value,OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); for(String word : s.split("\\W+")){ if(word.length()>0){ output.collect(new Text(word),new IntWritable(1)); } } } }
java代码:
Reducer public class WordReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable>{ @Override public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { Int sum = 0; while (values.hasNext()) { sum += values.next().get()+sum; } output.collect(key, new IntWritable(sum)); } }
第二部分:Mapper API 介绍
•老版Mapper API
–
org.apache.hadoop.mapred Interface Mapper<K1,V1,K2,V2>
•新版Mapper API
–
org.apache.hadoop.mapreduce Class Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>
第三部分:Reducer API 介绍
•老版 Reducer API
–
org.apache.hadoop.mapred Interface Reducer<K2,V2,K3,V3>
•新版 Reducer API
–
org.apache.hadoop.mapreduce Class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>
第四部分:Job运行模式
•MapReduce程序可以以以下三种模式运行
–
–Local(Standalone) Mode:只有一个 Java 虚拟机在跑,完全没有分布式的成分。且不使用HDFS文件系统,而是使用本机的Linux文件系统。
–Pseudo-distributed Mode:在同一台机器上启动独立数个 JVM 进程,每一个hadoop daemon运行在一个单独的JVM进程中,进行“伪分布式”操作。
–Fully-distributed Mode:真正的可以运行于多台机器上的分布式模式。其中, Standalone mode 使用local filesystem 以及 local MapReducer job runner, Distributed mode 使用HDFS 以及 MapReduce daemons
•对应的配置文件 conf/core-site.xml:
为Hadoop设定默认的文件系统
<configuration>
<property>
<name>
fs.default.name
</name>
<value>
VALUE
</value>
</property>
</configuration>
Standalone mode: VALUE=file:///
Pseudo-distributed mode: VALUE=hdfs://localhost:9000
Fully-Distributed mode: VALUE=hdfs://namenode
•对应的配置文件 conf/mapred-site.xml
<configuration>
<property>
<name>
mapred.job.tracker
</name>
<value>
VALUE
</value>
</property>
</configuration>
Standalone mode: VALUE=local
Pseudo-distributed mode: VALUE=localhost:9001
Fully-Distributed mode: VALUE=jobtracker:9001
HDFS client使用这个属性来决定NameNode的位置,这样HDFS client就可以连接到该NameNode.
第五部分:集群上运行Word Count
•打包
•启动
•MapReduce网络用户界面
•获取结果
•调试作业
•打包
步骤
在项目上,选择[File]=>Export,导出项目为一个jar包
•启动
– 步骤
hadoop jar yourjar.jar mainClassName -conf inputfolder outputfolder
•MapReduce网络用户界面
– url
•获取结果
–Hadoop fs –ls outputfolder
•调试作业
–加入传统的Log输出
–使用Reporter 来做错误源的输出比对
第六部分:Mapreduce 工作流
•如何将问题分解成MapReduce作业
–复杂的需求
•在Word Count 程序中,求出单词出现频率的总和
•单词中包含大写字母H的则转换为小写
•在Word Count 程序中,求出单词出现频率的总和与单词的个数
•运行独立的作业
–假设有Job1,Job2,需要运行
•如果作业是线性的
JobClinet.runjob(conf1)
JobClinet.runjob(conf2)
•如果更负责的是环形的
–
–可以通过Hadoop自带的JobControl来运行
转载请注明出处【 /forum/blogPost/list/0/5461.html
】
该帖子包含附件,回复帖子后即可下载附件。
相关笔记推荐
精品视频课程推荐
透彻理解JavaBean视频教程
Java数据结构和算法精讲版
Ajax+JSON基础实战视频教程
云计算综合实战项目视频教程(更新版)
深入浅出学Zookeeper
评论(107)
107楼
lshlmy
2018-06-01
引用
学习学习
106楼
13763062259
2017-08-29
引用
感谢分享 学习学习 学习 好的 学习中 学习中。。。课程不错 学习中 讲的很好,学习中
98楼
hukunfeiguochao
2016-08-19
引用
学习中。。。课程不错
97楼
hukunfeiguochao
2016-08-19
引用
讲的很好,学习中 xuexue
95楼
1519623220
2016-08-19
引用
牛啊 不错的材料 下载下来学习看看
92楼
lzpazashufe
2016-05-16
引用
xuexi 学习学习
感谢分享
不错 请登录后评论 登录
|