从品牌网站建设到网络营销策划,从策略到执行的一站式服务
spark支持的运行模式:本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名与空间、雅安服务器托管、营销软件、网站建设、天等网站维护、网站推广。本地模式
local、local[N]或local[N,maxRetries]。主要用于代码调试和跟踪。不具备容错能力,不适用于生产环境。
本地模式只有Driver,没有Master和Worker。执行任务的Executor与Driver在同一个JVM进程中。
本地集群模式
local-cluster[N,cores,memory]。也主要用于代码调试和测试,是源码学习常用的模式。不具备容错能力,不能用于生产环境。
Driver、Master与Worker运行在同一个JVM进程中。每个Worker可启动多个Executor,每个Executor都是一个JVM进程。
Standalone模式
spark://。具备容错能力并且支持分布式部署运行。
Driver在集群之外,可以是任意的客户端程序。Master部署于单独的进程,甚至在单独的机器上,可以有多个,但只能有一个处于激活状态。Worker部署于单独的进程,推荐在单独的机器上部署。
YARN模式
yarn模式是将任务管理与资源调度功能交给YARN框架进行处理的模式。分为yarn-client和yarn-cluster两种模式。
yarn-client适用于交互、调试,希望立即看到应用的输出;yarn-cluster适用于生产环境。
yarn-cluster模式下,driver运行在AM(ApplicationMaster)中,负责向YARN申请资源并监控作业的运行状况。当用户提交完作业后,就可以关闭client,作业会继续在YARN上运行。
yarn-cluster模式不适合运行交互类型的作业。而在yarn-client模式下,AM(ApplicationMaster)仅仅向YARN请求executor,client会和请求的executor通信来调度工作,client不能离开。
Mesos模式
运行模式类似于YARN,分为client和cluster两种模式。资源调度器分为粗粒度(默认)和细粒度(不推荐)。
忠于技术,热爱分享。欢迎关注公众号:java大数据编程,了解更多技术内容。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图