spark计算框架

作者: 长脚侠
来源: 51数据库
2020-09-28

hadoop包括hdfs、mapreduce、yarn、核心组件。hdfs用于存储，mapreduce用于计算,yarn用于资源管理。
spark包括spark sql、saprk mllib、spark streaming、spark 图计算。saprk的这些组件都是进行计算的。spark sql离线计算，spark streaming 流计算，spark mllib机器学习。
mpi高性能计算。
hahoop只有mapreduce是和spark一样用来计算，要比较的话，只能比较mapreduce与spark区别。mapreduce叠代计算中间结果放在磁盘，适合大数据离线计算。spark技术先进，统一使用rdd,结果可放在内存，pipeline，计算速度比mapreduce快。
建议大数据存储使用hadoop的hdfs,资源管理用hadoop的yarn,计算使用spark或mpi

　　框架梁的二排筋长度，应根据以下规范规定进行计算：

1、凡框架梁的所有支座和非框架梁(不包括井字梁)的中间支座上部纵筋的延伸长度a值在标准构造详图中统一取值为：第一排非通长筋从柱(梁)边起延伸至ln/3位置，第二排非通长筋延伸至ln/4位置（ln的取值：对于端支座，ln为本跨的净跨值，对于中间支座，ln为支座两边较大一跨的净跨值)；

2、悬挑梁(包括其他类型梁的悬挑部位)上部第一排纵筋延伸至梁端头并下弯，第二排延伸至3l/4位置，l为自柱(梁)边算起的悬挑净长；当具体工程需将悬挑梁中的部分上纵筋从悬挑梁跟部开始斜向弯下时，应由设计者另加注明的说明计算长度。

希望以上能够帮您解决问题！