用户登录
用户注册

分享至

mapreduce map的key

  • 作者: 黄山老婆婆
  • 来源: 51数据库
  • 2020-10-02
你说writable类型不太准确, hadoop会有你说的这种类型是因为分布式的原因,要将数据进行序列化,这样才能进行后面的计算,所以应该说mapreduce 中map的key、vlaue必须实现了序列化,hadoop自己提供一些序列化的类型,比如IntWritable等,当然也可以自己定义



  你可以定义新的类型
但是也要implement writable
序列化是因为需要网络传输
mr避免不了网络io的

所以必须writable
但是具体类型
你不满意他提供的
那自己写
软件
前端设计
程序设计
Java相关