用户登录
用户注册

分享至

mapreduce map 数量

  • 作者: 好名字都让猪起了---
  • 来源: 51数据库
  • 2020-09-27
当然不是,这没有什么好不好的,主要看具体需求,如果你的输入文件很多很大,当然分开处理效率会好很多,但是当你的文件较小或者较少时,过分的切分只会造成map资源的浪费。



  map和reduce两个词没有什么意义,hadoop的分布式计算框架分为两个阶段,第一个是map阶段,第二个是reduce阶段。map阶段负责对输入文件进行切分处理,然后汇总再分组给reduce进行处理,以达到高效的分布式计算效率
软件
前端设计
程序设计
Java相关