mapreduce编程原理

作者: 达?矢抾哆拉?
来源: 51数据库
2020-09-23

分别对Map函数和Reduce函数进行测试，功能正确后，就可以在小规模集群上进行测试，测试成功后就可以在Hadoop集群上进行运行。这里先不介绍单元测试的知识，后面再专门介绍如何在Hadoop中使用MRUnit进行单元测试。 MRUnit是由Couldera公司开发的...

　　分别对map函数和reduce函数进行测试，功能正确后，就可以在小规模集群上进行测试，测试成功后就可以在hadoop集群上进行运行。这里先不介绍单元测试的知识，后面再专门介绍如何在hadoop中使用mrunit进行单元测试。
mrunit是由couldera公司开发的专门针对 hadoop中编写mapreduce单元测试的框架，基本原理是junit4和 easymock。mr就是map和reduce的缩写。
mrunit框架非常精简，其核心的单元测试依赖于junit。

推荐阅读