从品牌网站建设到网络营销策划,从策略到执行的一站式服务
spark可以用来跑Python程序吗?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!
spark能跑Python么?
spark是可以跑Python程序的。python编写好的算法,或者扩展库的,比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的,大部分算法都有。
Spark 是一个通用引擎,可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。
本次实验是搭有spark环境的linux下跑的,spark版本为1.6.1,相当于在在spark本地执行,spark文件放在/opt/moudles/spark-1.6.1/(代码中会看到)
编写python测试程序
#test.py文件 # -*- coding:utf-8 -*- import os import sys #配置环境变量并导入pyspark os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1' sys.path.append("/opt/moudles/spark-1.6.1/python") sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip") from pyspark import SparkContext, SparkConf appName ="spark_1" #应用程序名称 master= "spark://hadoop01:7077"#hadoop01为主节点hostname,请换成自己的主节点主机名称 conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) data = [1, 2, 3, 4, 5] distData = sc.parallelize(data) res = distData.reduce(lambda a, b: a + b) print("===========================================") print (res) print("===========================================")
执行python程序
执行如下命令
python test.py
执行与结果分别如下图所示:
感谢各位的阅读!看完上述内容,你们对spark可以用来跑Python程序吗大概了解了吗?希望文章内容对大家有所帮助。如果想了解更多相关文章内容,欢迎关注创新互联网站制作公司行业资讯频道。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图