从品牌网站建设到网络营销策划,从策略到执行的一站式服务
本篇内容主要讲解“Storm基本架构是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Storm基本架构是什么”吧!
成都创新互联是一家专注网站建设、网络营销策划、微信小程序开发、电子商务建设、网络推广、移动互联开发、研究、服务为一体的技术型公司。公司成立十多年以来,已经为上千余家塑料袋各业的企业公司提供互联网服务。现在,服务的上千余家客户与我们一路同行,见证我们的成长;未来,我们一起分享成功的喜悦。
目前常用的流式实时计算引擎分为两类:面向行和面向微批处理,其中面向行的流式实时计算引擎的代表是Apache Storm,典型特点是延迟低,但吞吐率也低。而面向微批处理的流式实时计算引擎代表是Spark Streaming,其典型特点是延迟高,但吞吐率也高。
主流的流式数据线分四个阶段:
1、数据采集:负责从不同数据源上实时采集数据,可选包括Flume以及自定义Kafka Producer
2、数据缓冲:为了平衡数据采集速率与数据处理速率不对等。eg:Kafka
3、实时分析:流式地从数据缓冲区获取数据,并快速完成数据处理。比如:Storm和Spark Streaming
4、结果存储:将计算结果存储到外部系统,比如:大量可实时查询的系统,可存储Hbase中,小量但需要可高并发查询系统,可存储redis。
Storm:
基本概念:
1、Tuple:由一组可序列化的元素构成。
2、Stream:无限个Tuple组成一个Stream
3、Topology:类似与MapReduce的job,由一系列Spout和Blot构成的DAG
4、Spout:Stream的数据源
5、Bolt:消息处理逻辑
基本架构:
1、Nimbus:集群的管理和调度组件
2、Supervisor:计算组件
3、Zookeeper:Nimbus和Supervisor之前的协调组件。
Spark Streaming:
基本概念:核心思想是把流式处理转化为“微批处理”,即以时间为单位切分数据流,每个切片内的数据对应一个RDD,进而采用Spark引擎进行快速计算。正是由于Spark Streaming采用了微批处理方式,因此只能将其作为近实时处理系统,而不是严格意义上的实时流式处理。
Spark Streaming 对流式数据做了进一步抽象,它将流式数据批处理化,每一批数据被抽象成RDD,这样流式数据变成了流式的RDD序列,这便是Dstream,Spark Streaming 在Dstream上定义了一系列操作,主要分两类:transformation和output,其中一个transformation操作能够将一个Dstream变换成另一个Dstream,而output操作可产生一个或一组结果,并将输出到指定外部系统中。
Spark几个组件的抽象及操作对比:
1、Spark Code 数据抽象RDD 数据操作transformation&action
2、Spark SQL 数据抽象:DataFrame、DataSet,操作:transformation&action
3、Spark Streaming:数据抽象:Dstream,操作:transformation&action
到此,相信大家对“Storm基本架构是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图