spark java api
- 作者: 大mm软又萌
- 来源: 51数据库
- 2020-09-28
1，构建系统的选择，sbt更合适用来构建Scala工程，maven更合适用来构建Java工程
2，对于spark中的API来说，Java和Scala有差别，但差别并不大
3，如果用Scala开发spark原型程序，可以用spark-shell“打草稿”，或者直接使用spark-shell做交互式实时查询
4，用Scala代码量将减少甚至一个数量级，不过Scala的使用门槛较高
就个人体会来说，scala相对于java的优势是巨大的。熟悉scala之后再看java代码，有种读汇编的感觉……
如果仅仅是写spark应用，并非一定要学scala，可以直接用spark的java api或python api。但因为语言上的差异，用java开发spark应用要罗嗦许多。好在带lambda的java 8出来之后有所改善。
在spark应用开发上，学scala主要好处有二：
开发效率更高，代码更精简；
使用spark过程中出现异常情况，在排查时如果对spark源码比较熟悉，可以事半功倍。
2，对于spark中的API来说，Java和Scala有差别，但差别并不大
3，如果用Scala开发spark原型程序，可以用spark-shell“打草稿”，或者直接使用spark-shell做交互式实时查询
4，用Scala代码量将减少甚至一个数量级，不过Scala的使用门槛较高
就个人体会来说，scala相对于java的优势是巨大的。熟悉scala之后再看java代码，有种读汇编的感觉……
如果仅仅是写spark应用，并非一定要学scala，可以直接用spark的java api或python api。但因为语言上的差异，用java开发spark应用要罗嗦许多。好在带lambda的java 8出来之后有所改善。
在spark应用开发上，学scala主要好处有二：
开发效率更高，代码更精简；
使用spark过程中出现异常情况，在排查时如果对spark源码比较熟悉，可以事半功倍。
推荐阅读
