Python培训之怎么用python写spark

　　为什么要使用Python来写Spark

　　Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。

　　Win本地编写代码调试

　　编辑器：PyCharm

　　Spark：1.6

　　Python：2.7

　　Win环境准备

　　Python的安装

　　解压python包，在环境变量里面配上bin的路径

　　Spark的安装

　　下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME

　　要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可

　　Hadoop安装

　　安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可。

　　代码示例

　　# -*- coding: utf-8 -*-

　　from __future__ import print_function

　　from pyspark import *

　　import os

　　print(os.environ['SPARK_HOME'])

　　print(os.environ['HADOOP_HOME'])

　　if __name__ == '__main__':

　　sc = SparkContext("local[8]")

　　rdd = sc.parallelize("hello Pyspark world".split(" "))

　　counts = rdd \

　　.flatMap(lambda line: line) \

　　.map(lambda word: (word, 1)) \

　　.reduceByKey(lambda a, b: a + b) \

　　.foreach(print)

　　sc.stop

　　问题：

　　from pyspark import *

　　找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j)

　　%PYTHON%\Lib\site-packages下面去。这样，你的编辑器才能找到。

　　或者：

　　配置你的编辑器的环境变量：

　　PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

　　使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

　　以上内容为大家介绍了Python培训之怎么用python写spark，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注多测师。https://www.e70w.com/xwzx/