spark平台

作者: 无情小疯子
来源: 51数据库
2020-09-25

目前看来，在各个场合下spark都优于hadoop（Map/Reduce）。但Hadoop与MR是的初衷是为了使用廉价的、异构的机器来做分布式存储与计算，但spark对硬件的要求稍高，对内存/CPU是有较高要求的。如果不考虑成本因素，spark应该是未来的首选，当然也不排除2~3年后，在hadoop生态圈又有新贵出来替换spark。

　　这个就比较负责了，可以用hadoop+hbase+spark/storm进行平台构建，spark用于数据分析和处理、hbase用于将处理后的数据保存、hadoop用于离线分析和原始数据存储，具体的还得结合应用场景

推荐阅读