tez spark

作者: 沙漠之鱼8185584
来源: 51数据库
2020-09-27

hive默认计算引擎是mapreduce，hive on spark是搞hive的开发者将计算引擎换成spark
对应的有spark sql，这是spark的开发者写的访问hive数据的sql引擎。两者开发者不同。
如果你搞hive的话，建议可以再了解下hive on tez，又叫Stinger

　　hive on spark
在许多已有hadoop企业中，hive担当着非常重要的角色，为hadoop注入了使用sql的能力，已经成为sql on hadoop上的事实标准。基于这些原因，cloudera选择继续拥抱hive，主要的精力则放在性能和最小化特性差异上，造福大量期望利用spark引擎高效性的hive重度用户。
hive上的修改
在hive on spark设计原则上，工程师主要尊重以下几点：
首先，尽量少的改动hive已有代码；
其次，最大化代码重用；
再次，最小化feature的改动，带来更多的兼容性，也减少了后续的维护开销。

推荐阅读