spark2.1

作者: 我是一只不吃鱼的猫
来源: 51数据库
2020-09-21

hadoop、storm、spark、akka是分布式处理框架； kafka是一种消息队列； zookeeper是dubbo的服务注册中心；由上可见，这些东西相关性没那么大，学习是要看应用场景的，如果你在大数据公司里做分布式处理，那hadoop、spark二者之一估计是必学的

　　1，构建系统的选择，sbt更合适用来构建scala工程，maven更合适用来构建java工程
　　2，对于spark中的api来说，java和scala有差别，但差别并不大
　　3，如果用scala开发spark原型程序，可以用spark-shell“打草稿”，或者直接使用spark-shell做交互式实时查询
　　4，用scala代码量将减少甚至一个数量级，不过scala的使用门槛较高！

推荐阅读