太阳城娱乐2138官方网

Mapper

public class WordMapper extends MapReduceBase implements
		Mapper<LongWritable, Text, Text, IntWritable> {
	private final static IntWritable one = new IntWritable(1);
	private Text word = new Text();
	@Override
	public void map(LongWritable key, Text value,OutputCollector<Text, IntWritable> output, Reporter reporter)
			throws IOException {
		String line = value.toString();
		 for(String word : s.split("\\W+")){
                            if(word.length()>0){
 		        output.collect(new Text(word),new IntWritable(1));
  	                 }
                        }	
            }
}

java代码：

Reducer

public class WordReducer extends MapReduceBase implements
Reducer<Text, IntWritable, Text, IntWritable>{
	
	@Override
	public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text, IntWritable> output, Reporter reporter)
			throws IOException {
		Int sum = 0;
		while (values.hasNext()) {
			sum += values.next().get()+sum;
		}
		output.collect(key, new IntWritable(sum));
	}

}

第二部分：Mapper API 介绍

•老版Mapper API

– org.apache.hadoop.mapred Interface Mapper<K1,V1,K2,V2>

•新版Mapper API

– org.apache.hadoop.mapreduce Class Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

第三部分：Reducer API 介绍

•老版 Reducer API

– org.apache.hadoop.mapred Interface Reducer<K2,V2,K3,V3>

•新版 Reducer API

– org.apache.hadoop.mapreduce Class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

第四部分：Job运行模式

•MapReduce程序可以以以下三种模式运行

–

–Local(Standalone) Mode：只有一个 Java 虚拟机在跑，完全没有分布式的成分。且不使用HDFS文件系统，而是使用本机的Linux文件系统。

–Pseudo-distributed Mode：在同一台机器上启动独立数个 JVM 进程，每一个hadoop daemon运行在一个单独的JVM进程中，进行“伪分布式”操作。

–Fully-distributed Mode：真正的可以运行于多台机器上的分布式模式。其中， Standalone mode 使用local filesystem 以及 local MapReducer job runner， Distributed mode 使用HDFS 以及 MapReduce daemons

•对应的配置文件 conf/core-site.xml：

为Hadoop设定默认的文件系统

<configuration>

<property>

<name> fs.default.name </name>

<value> VALUE </value>

</property>

</configuration>

Standalone mode: VALUE=file:///

Pseudo-distributed mode: VALUE=hdfs://localhost:9000

Fully-Distributed mode： VALUE=hdfs://namenode

•对应的配置文件 conf/mapred-site.xml

<configuration>

<property>

<name> mapred.job.tracker </name>

<value> VALUE </value>

</property>

</configuration>

Standalone mode: VALUE=local

Pseudo-distributed mode: VALUE=localhost:9001

Fully-Distributed mode： VALUE=jobtracker:9001

HDFS client使用这个属性来决定NameNode的位置，这样HDFS client就可以连接到该NameNode.

第五部分：集群上运行Word Count

•打包

•启动

•MapReduce网络用户界面

•获取结果

•调试作业

•打包

步骤

在项目上，选择[File]=>Export，导出项目为一个jar包

•启动

– 步骤

hadoop jar yourjar.jar mainClassName -conf inputfolder outputfolder

•MapReduce网络用户界面

– url

http://localhost:50030/

•获取结果

–Hadoop fs –ls outputfolder

•调试作业

–加入传统的Log输出

–使用Reporter 来做错误源的输出比对

第六部分：Mapreduce 工作流

•如何将问题分解成MapReduce作业

–复杂的需求

•在Word Count 程序中，求出单词出现频率的总和

•单词中包含大写字母H的则转换为小写

•在Word Count 程序中，求出单词出现频率的总和与单词的个数

•运行独立的作业

–假设有Job1，Job2，需要运行

•如果作业是线性的

JobClinet.runjob(conf1)

JobClinet.runjob(conf2)

•如果更负责的是环形的

–

–可以通过Hadoop自带的JobControl来运行

转载请注明出处【 /forum/blogPost/list/0/5461.html 】

该帖子包含附件，回复帖子后即可下载附件。

相关笔记推荐

Hadoop实战-初级部分之 HDFS API

Hadoop实战-初级部分之 HDFS

Hadoop实战-初级部分之 Shell

Hadoop实战-初级部分之 MapReduce

Hadoop实战-初级部分之 Hadoop安装部署

Hadoop实战-初级部分之开启云计算之旅

精品视频课程推荐

透彻理解JavaBean视频教程
深入浅出的讲解JavaBen的写法、JavaBean的用法、JavaBean的实现机制、JavaBean对应翻译的代码理解。

Java数据结构和算法精讲版
本课程专注于数据结构和算法的内容，使用Java来进行代码示例，不空洞的讲解概念和理论，重点放在代码的实现和示例上。从零开始、全面系统、成体系的讲解数据结构和基本算法，循序渐进的讲述构建软件系统所常见的数据结构和算法。

Ajax+JSON基础实战视频教程
数据校验、Javascript模拟多线程、下拉列表联动、操作XML、AJAX结合JSON的操作、Json-lib的使用

云计算综合实战项目视频教程（更新版）
内容概述：通过一个真实完整的项目——某大型互联网企业用户上网行为日志分析系统，系统学习Hadoop、Hive，HBase、Zookeeper等云计算开发技术在真实商业系统中到底如何使用。具有极高的学习和参考价值。该系统是一个每天5亿条数据，上百个节点的实际商业项目，该系统将海量日志数据进行分布式存储，并通过分布式算法和网络爬虫技术形成标签化的用户模型，最终实现人与内容、人与行为、人与商品的智能配对。技术要点：Hadoop、Hive、HBase、Zookeeper、爬虫技术等

深入浅出学Zookeeper
内容概述：本课程深入浅出的讲解Hadoop 体系下的分布式协调组件－Zookeeper,向大家介绍了Zookeeper的原理与使用，深入浅出，结合生动实例，具有很高的实战意味技术要点：Zookeepr 原理，Zookeeper 架构，Zookeeper 简单使用，Zookeeper Watch等

浏览(102457)|评论(107) 交流分类：Java|笔记分类: Hadoop实战-初……

评论(107)

107楼 lshlmy 2018-06-01 引用

学习学习

106楼 13763062259 2017-08-29 引用

感谢分享

105楼 fim1991 2017-08-29 引用

学习学习

104楼 shenjb 2017-03-19 引用

学习

103楼 shenjb 2017-03-19 引用

好的

102楼 wwqz123 2017-03-19 引用

学习中

101楼 wy90314 2017-03-19 引用

学习中。。。课程不错

100楼刷儿 2016-08-19 引用

学习中

99楼 jinkd6 2016-08-19 引用

讲的很好，学习中

98楼 hukunfeiguochao 2016-08-19 引用

学习中。。。课程不错

97楼 hukunfeiguochao 2016-08-19 引用

讲的很好，学习中

96楼 baobao 2016-08-19 引用

xuexue

95楼 1519623220 2016-08-19 引用

牛啊

94楼刷儿 2016-08-19 引用

不错的材料

93楼 sun 2016-05-16 引用

下载下来学习看看

92楼 lzpazashufe 2016-05-16 引用

xuexi

91楼凌帆 2016-05-16 引用

学习学习

90楼想你已成习惯 2015-09-15 引用

感谢分享

89楼 kelen121 2015-09-04 引用

不错

1 2 3 4 5 6 ► Go

前往页面...

请登录后评论登录

2007太阳成集团游戏中心