Python培训之怎么用python写spark

发布时间:2022-08-17 09:41:46 人气:183 作者:多测师

  为什么要使用Python来写Spark

  Python写spark我认为唯一的理由就是:你要做数据挖掘,AI相关的工作。因为很多做数挖的他们的基础语言都是python,他们如果重新学scala比较耗时,而且,python他的强大类库是他的优势,很多算法库只有python有。

  Win本地编写代码调试

  编辑器:PyCharm

  Spark:1.6

  Python:2.7

  Win环境准备

  Python的安装

  解压python包,在环境变量里面配上bin的路径

  Spark的安装

  下载spark的bin文件,解压即可,在环境变量配置SPARK_HOME

  要可以通过编辑器来安装,如pycharm,查找pyspark库安装即可

  Hadoop安装

  安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可。

Python培训之怎么用python写spark

  代码示例

  # -*- coding: utf-8 -*-

  from __future__ import print_function

  from pyspark import *

  import os

  print(os.environ['SPARK_HOME'])

  print(os.environ['HADOOP_HOME'])

  if __name__ == '__main__':

  sc = SparkContext("local[8]")

  rdd = sc.parallelize("hello Pyspark world".split(" "))

  counts = rdd \

  .flatMap(lambda line: line) \

  .map(lambda word: (word, 1)) \

  .reduceByKey(lambda a, b: a + b) \

  .foreach(print)

  sc.stop

  问题:

  from pyspark import *

  找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j)

  %PYTHON%\Lib\site-packages下面去。这样,你的编辑器才能找到。

  或者:

  配置你的编辑器的环境变量:

  PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

  使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

  以上内容为大家介绍了Python培训之怎么用python写spark,希望对大家有所帮助,如果想要了解更多Python相关知识,请关注多测师。https://www.e70w.com/xwzx/


返回列表
在线客服
联系方式

热线电话

17727591462

上班时间

周一到周五

二维码
线