创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
成都创新互联是一家集网站建设,管城企业网站建设,管城品牌网站建设,网站定制,管城网站建设报价,网络营销,网络优化,
管城网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
用python写spark的方法是什么？这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容，让我们一起来看看吧！
为什么要使用Python来写Spark
Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。
Win本地编写代码调试
编辑器：PyCharm
Spark：1.6
Python：2.7
Win环境准备
Python的安装
解压python包，在环境变量里面配上bin的路径
Spark的安装
下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME
要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可
Hadoop安装
安装hadoop环境 。在win下面需要winutils.exe；在环境里面配置HADOOP_HOME 即可。
代码示例
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
sc = SparkContext("local[8]")
rdd = sc.parallelize("hello Pyspark world".split(" "))
counts = rdd \
.flatMap(lambda line: line) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b) \
.foreach(print)
sc.stop问题：
from pyspark import *
找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到（可能需要解压py4j）
%PYTHON%\Lib\site-packages下面去。这样，你的编辑器才能找到。
或者：
配置你的编辑器的环境变量：
PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages
使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。
感谢各位的阅读！看完上述内容，你们对用python写spark的方法是什么大概了解了吗？希望文章内容对大家有所帮助。如果想了解更多相关文章内容，欢迎关注创新互联-成都网站建设公司行业资讯频道。
网站名称：用python写spark的方法是什么-创新互联
分享URL：
http://cdkjz.cn/article/dcjiie.html
