spark内核核心术语如何解析

本篇内容介绍了“spark内核核心术语如何解析”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站建设、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的鹤庆网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

Application:

Application是创建了SparkContext实例对象的spark用户，包含了Driver程序：

Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc:

Job:

和Spark的action相对应，每一个action例如count、saveAsTextFile等都会对应一个job实例，该job实例包含多任务的并行计算。

Driver Program：

运行main函数并且创建SparkContext实例的程序

Cluster Manager：

集群资源的管理外部服务，在spark上现在有standalone、yarn、mesos等三种集群资源管理器，spark自带的standalone模式能够满足大部分的spark计算环境对集群资源管理的需求，基本上只有在集群中运行多套计算框架的时候才考虑yarn和mesos

Worker Node：

集群中可以运行应用代码的工作节点，相当于Hadoop的slave节点

Executor：

在一个Worker Node上为应用启动的工作进程，在进程中赋值任务的运行，并且负责将数据存放在内存或磁盘上，必须注意的是，每个应用在一个Worker Node上只会有一个Executor，在Executor内部通过多线程的方式并发处理应用的任务。

State：

一个job会被拆分成很多任务，每一组任务被称为state，这个MapReduce的map和reduce任务很像，划分state的依据在于：state开始一般是由于读取外部数据或者shuffle数据、一个state的结束一般是由于发生shuffle（例如reduceByKey操作）或者整个job结束时，例如要把数据放到hdfs等存储系统上

“spark内核核心术语如何解析”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！