从品牌网站建设到网络营销策划,从策略到执行的一站式服务
今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
成都创新互联公司专注于罗江网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供罗江营销型网站建设,罗江网站制作、罗江网页设计、罗江网站官网定制、小程序设计服务,打造罗江网络公司原创品牌,更为您提供罗江网站排名全网营销落地服务。
cd software/spark-3.0.1-bin-hadoop2.7
启动 master
./sbin/start-master.sh
访问 http://localhost:8080 得到 spark://MacBook-Pro-2.local:7077
启动 Worker
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MacBook-Pro-2.local:7077
访问 http://localhost:8081 可查看提交的作业
提交作业
./bin/spark-submit --master spark://MacBook-Pro-2.local:7077 --class morning.cat.SparkTest /Users/morningcat/Documents/java-project/spark-demo/out/artifacts/spark_demo_jar/spark-demo.jar
package morning.cat; import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; import org.apache.spark.rdd.RDD; public class SparkTest { public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("SparkTest").setMaster("spark://MacBook-Pro-2.local:7077"); SparkContext sparkContext = new SparkContext(sparkConf); RDDrdd = sparkContext.textFile("/Users/morningcat/Documents/settings.xml", 1); long lineCount = rdd.count(); System.out.println(lineCount); } }
看完上述内容,你们对Spark提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图