mapreduce map的key
- 作者: 黄山老婆婆
- 来源: 51数据库
- 2020-10-02
你说writable类型不太准确, hadoop会有你说的这种类型是因为分布式的原因,要将数据进行序列化,这样才能进行后面的计算,所以应该说mapreduce 中map的key、vlaue必须实现了序列化,hadoop自己提供一些序列化的类型,比如IntWritable等,当然也可以自己定义
你可以定义新的类型
但是也要implement writable
序列化是因为需要网络传输
mr避免不了网络io的
所以必须writable
但是具体类型
你不满意他提供的
那自己写
你可以定义新的类型
但是也要implement writable
序列化是因为需要网络传输
mr避免不了网络io的
所以必须writable
但是具体类型
你不满意他提供的
那自己写
推荐阅读
