用户登录
用户注册

分享至

apache storm 场景

  • 作者: 评论才是最精彩的段子
  • 来源: 51数据库
  • 2020-09-20
Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.
当然它们各自都有其应用场景,各有各的优势.可以配合使用.
下面我转一份别人的资料,讲的很清楚.
Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。
所以,在不同的应用场景下,应该选择不同的框架。
Storm是最佳的流式计算框架,Storm由Java和Clojure写成,Storm的优点是全内存计算,所以它的定位是分布式实时计算系统,按照Storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。
Storm的适用场景:
1)流数据处理
Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去。
2)分布式RPC。由于Storm的处理组件是分布式的,而且处理延迟极低,所以可以作为一个通用的分布式RPC框架来使用。
SparkSpark是一个基于内存计算的开源集群计算系统,目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发,类似于Hadoop MapReduce的通用并行计算框架,Spark基于Map Reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。
Spark的适用场景:
1)多次操作特定数据集的应用场合
Spark是基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多,所需读取的数据量越大,受益越大,数据量小但是计算密集度较大的场合,受益就相对较小。
2)粗粒度更新状态的应用
由于RDD的特性,Spark不适用那种异步细粒度更新状态的应用,例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。
总的来说Spark的适用面比较广泛且比较通用。
Hadoop是实现了MapReduce的思想,将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中,所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
Hadoop的适用场景:
1)海量数据的离线分析处理
2)大规模Web信息搜索
3)数据密集型并行计算
简单来说:
Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景
Storm适合于实时流数据处理,实时性方面做得极好
Spark是内存分布式计算框架,试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架,但是Spark已经做得很不错了,批处理方面性能优于Map-Reduce,但是流处理目前还是弱于Storm,产品仍在改进之中



  淘宝店铺管理主要有以下应用软件:
1、宝贝编辑工具:《淘宝助理》
淘宝助理是一个功能强大的客户端工具软件,它可以帮助您编辑宝贝信息,快捷批量上传宝贝,并提供方便的管理界面。
2、卖家版旺旺替代品:《千牛》
千牛——卖家一站式工作平台,是由阿里集团官方出品,包含千牛移动版和千牛pc版。千牛pc版是在卖家版旺旺的基础上升级而来,其核心是为卖家整合:店铺管理工具、经营咨询信息、商业伙伴关系,借此提升卖家的经营效率,促进彼此间的合作共赢。千牛pc版是卖家版旺旺的升级版,是专为卖家解决店铺管理、销售经营的需求,除了具有卖家版旺旺的沟通功能以外,还具有处理订单,管理商品,查看实时数据等功能。
3、高级版个性化店铺装修工具:《淘宝旺铺》
淘宝旺铺是淘宝开辟的一项增值服务和功能,是一种更加个性豪华的店铺界面。使得顾客购物体验更好,更容易产生购买欲望。淘宝旺铺分为两种:一种是付费的,一种是免费的。
4、店铺全方位功能的软件:《工具吧》
工具吧是卖家服务市场里面的一款,全方位的店铺辅助软件,可以设置打折、满减、包邮、快递单打印、宝贝批量编辑、自动橱窗、自动上下架、会员管理、短信营销等等几十种功能,堪称是卖家开店的全能助手。
淘宝整站数据分析工具:《数据魔方》
数据魔方有使用的门槛一钻以上用户才能使用,数据魔方是淘宝官方出品的一款数据产品。主要提供行业数据分析,店铺数据分析。其中包含了品牌、店铺、产品的排行榜,购买人群的特征分析(年龄、性别、购买时段、地域等等)。除此之外,数据魔方还提供了淘词功能,主要用来优化宝贝标题用,通过使用效果更好的关键词来提升搜索排名。数据魔方的第一时间,还可以给卖家提供实时的运营数据支持,店铺的实时成交情况,行业的实时成交情况,是运营活动的得力助手。
5、流量统计工具:《量子恒道店铺经》
量子恒道是淘宝官方的数据产品,秉承数据让生意更简单的使命,致力于为各个电商,淘宝卖家提供精准实时的数据统计、多维的数据分析、权威的数据解决方案;是每个淘宝卖家必备的店铺运营工具。目前量子恒道-店铺经目前分免费的标准包(包括流量分析,销售分析,客户分析及推广效果),付费的来源分析和装修分析;从小时-天-周-月,从店铺首页-宝贝页-分类页,记录店铺的流量(包含实时流量),销售,转化,推广及装修效果数据。
6、量子恒道的好基友:《江湖策》
江湖策同样是淘宝官方工具,通过大数据挖掘,提供实时访客数据,渠道推荐及转化效果数据;最新两个新功能:买家人群画像(包含6大信息喜好及购买力等),无线渠道效果数据(如ipad,iphone等),让您更了解买家,了解渠道效果,提升成交转化!
7、图片处理软件:《adobe photoshop》
这个就是大名鼎鼎的ps,主要用来制作分类图片,原创店招,宝贝描述页面的图片装点。
8、免费的数据分享平台:淘宝指数
淘宝指数是淘宝官方的免费的数据分享平台,于2011年年底上线,通过它,用户可以窥探淘宝购物数据,了解淘宝购物趋势。而且产品不仅仅针对淘宝卖家,还包括淘宝买家及广大的第三方用户。
软件
前端设计
程序设计
Java相关