用户登录
用户注册

分享至

spark orc

  • 作者: 爱生活-爱老婆
  • 来源: 51数据库
  • 2020-09-27
Mapreduce中的每个Task分别在自己的进程中运行,当该Task运行完的时候,该进程也就结束了。和Mapreduce不一样的是,Spark中多个Task可以运行在一个进程里面,而且这个进程的生命周期和Application一样,即使没有Job在运行。
  这个模型有什么好处呢?可以加快Spark的运行速度!Tasks可以快速地启动,并且处理内存中的数据。但是这个模型有的缺点就是粗粒度的资源管理,每个Application拥有固定数量的executor和固定数量的内存。



  mapreduce应该是指mapreduce吧,是一种编程模式,用于大规模数据的并行计算。
spark作为名词是火花的意思,作为动词是产生,触发,发出火星,强烈赞同,正常运转的意思
yarn做为名词是纱线,故事的意思,作为动词是讲故事的意思。
因此,这三者之间没有任何联系啊,所有的意思都是区别。
您可以上金山词霸进行翻译,然后参考例句,谢谢
软件
前端设计
程序设计
Java相关