博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce
阅读量:7218 次
发布时间:2019-06-29

本文共 523 字,大约阅读时间需要 1 分钟。

现在不敢说懂了,纯给自己科普。

wordcount

1)将文件拆分成splits,由于测试用的文件较小,所以每个文件为一个split,并将文件按行分割形成<key,value>对,如图所示。这一步由MapReduce框架自动完成,其中偏移量(即key值)包括了回车所占的字符数(Windows和Linux环境会不同)。

2)将分割好的<key,value>对交给用户定义的map方法进行处理,生成新的<key,value>对,如图所示。

3)得到map方法输出的<key,value>对后,Mapper会将它们按照key值进行排序,并执行Combine过程,将key至相同value值累加,得到Mapper的最终输出结果。如图所示。

4)Reducer先对从Mapper接收的数据进行排序,再交由用户自定义的reduce方法进行处理,得到新的<key,value>对,并作为WordCount的输出结果,如图所示。

转自:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html

 

转载于:https://www.cnblogs.com/linyx/p/4025436.html

你可能感兴趣的文章
Ruby gem install mysql 错误解决
查看>>
坑!!!
查看>>
web前端性能优化
查看>>
java基础-数组的折半查找原理
查看>>
挑战JavaScript正则表达式每日两题(2)
查看>>
个人网盘倒下去 企业网盘顶起来
查看>>
Redis的多种启动方式比较!
查看>>
C#读取excel文件数据丢失问题
查看>>
我的编程知识库
查看>>
【Linux实用技术】LFS6.3构建实录
查看>>
js实现页面跳转的几种方式
查看>>
块代码编程---开始使用块代码
查看>>
ASP.NET 发邮件方法
查看>>
分享:Arcadia 0.12.1 发布,Ruby 集成开发环境
查看>>
在ubuntu12.04上使用华为et127 3g上网卡
查看>>
存储类型
查看>>
Maven多模块项目中应用maven-tomcat-plugin热部署
查看>>
jQuery Callbacks
查看>>
判断安卓程序是否高危程序。
查看>>
有关YARN/MRv2 相关
查看>>