用户登录
用户注册

分享至

mapreduce适用于

  • 作者: 时不我予61353468
  • 来源: 51数据库
  • 2020-09-20
Hadoop/MapReduce和Spark最适合的都是做离线型的数据分析,但Hadoop特别适合是单次分析的数据量“很大”的情景,而Spark则适用于数据量不是很大的情景。这儿所说的“很大”,是相对于整个集群中的内存容量而言的,因为Spark是需要将数据HOLD在内存中的。一般的,1TB以下的数据量都不能算很大,而10TB以上的数据量都是算“很大”的。比如说,20个节点的一个集群(这样的集群规模在大数据领域算是很小的了),每个节点64GB内存(不算很小,但也不能算大),共计1.28TB。让这样规模的一个集群把500GB左右的数据HOLD在内存中还是很轻松的。这时候,用Spark的执行速度都会比Hadoop快,毕竟在MapReduce过程中,诸如spill等这些操作都是需要写磁盘的。

这儿有2点需要提一下:
1)一般情况下,对于中小互联网和企业级的大数据应用而言,单次分析的数量都不会“很大”,因此可以优先考虑使用Spark,特别是当Spark成熟了以后(Hadoop已经出到2.5了,而Spark才刚出1.0呢)。比如说,中国移动的一个省公司(在企业级,移动公司的数据量还是算相当大的),他们单次分析的数量一般也就几百GB,连1TB都很少超过,更不用说超过10TB了,所以完全可以考虑用Spark逐步替代Hadoop。

2)业务通常认为Spark更适用于机器学习之类的“迭代式”应用,但这仅仅是“更”。一般地,对于中等规模的数据量,即便是不属于“更适合”范畴的应用,Spark也能快2~5倍左右。我自己做过一个对比测试,80GB的压缩数据(解压后超过200GB),10个节点的集群规模,跑类似“sum+group-by”的应用,MapReduce花了5分钟,而spark只需要2分钟。



  框架梁的二排筋长度,应根据以下规范规定进行计算:

1、凡框架梁的所有支座和非框架梁(不包括井字梁)的中间支座上部纵筋的延伸长度a值在标准构造详图中统一取值为:第一排非通长筋从柱(梁)边起延伸至ln/3位置,第二排非通长筋延伸至ln/4位置(ln的取值:对于端支座,ln为本跨的净跨值,对于中间支座,ln为支座两边较大一跨的净跨值);

2、悬挑梁(包括其他类型梁的悬挑部位)上部第一排纵筋延伸至梁端头并下弯,第二排延伸至3l/4位置,l为自柱(梁)边算起的悬挑净长;当具体工程需将悬挑梁中的部分上纵筋从悬挑梁跟部开始斜向弯下时,应由设计者另加注明的说明计算长度。

希望以上能够帮您解决问题!
软件
前端设计
程序设计
Java相关