mapreduce 统计

作者: 悟空也性感豹纹加钢管2
来源: 51数据库
2020-09-25

1、准备文件并设置编码格式为UTF-8并上传Linux

2、新建一个Java Project
3、导入jar
4、编写Map()和Reduce()
5、将代码输出成jar
6、在linux中启动hdfs
7、修改两个配置文件
8、在linux中启动yarn
9、运行mapReduce
10、查看运行结果

　　触发shuffle的常见算子：distinct、groupbykey、reducebykey、aggregatebykey、join、cogroup、repartition等。要解决数据倾斜的问题，首先要定位数据倾斜发生在什么地方，首先是哪个stage，直接在web ui上看就可以，然后查看运行耗时的task

推荐阅读