用户登录
用户注册

分享至

mapreduce参数

  • 作者: 日天大圣
  • 来源: 51数据库
  • 2020-09-22
mapreduce.map.java.opts 是什么参数
首先介绍一下wordcount 早mapreduce框架中的 对应关系
大家都知道 mapreduce 分为 map 和reduce 两个部分,那么在wordcount例子中,很显然 对文件word 计数部分为map,对 word 数量累计部分为 reduce;
大家都明白 map接受一个参数,经过map处理后,将处理结果作为reduce的入参分发给reduce,然后在reduce中统计了word 的数量,最终输出到输出结果;
但是初看遇到的问题:
一、map的输入参数是个 Text之类的 对象,并不是 file对象
二、reduce中并没有if-else之类的判断语句 ,来说明 这个word 数量 加 一次,那个word 加一次。那么这个判断到底只是在 map中已经区分了 还是在reduce的时候才判断的
三、map过程到底做了什么,reduce过程到底做了什么?为什么它能够做到多个map多个reduce



  看名字就知道了,第一个可以配jvm参数,比如日志、gc,第二个只能配内存大小。
mapreduce.map.memory.mb 是向rm申请的内存资源大小,这些资源不仅可以用于java程序,也可以用于其它语言编写的程序,map任务里不一定只跑java,也可以是通过java启动其它语言编写的任务。
软件
前端设计
程序设计
Java相关