老师,您好,在配置pycharm中运行spark程序,对python的版本有要求吗?我用的是3.7,视频中是3.6

来源:3-11 -使用IDE开发pyspark应用程序

weixin_精慕门5061032

2021-01-17

图片描述

写回答

1回答

weixin_精慕门5061032

提问者

2021-01-17

//img.mukewang.com/szimg/6003e2b909f43c9714841047.jpg

执行的是这个代码,是java环境不对吗,我已经配置了Java环境啊

from pyspark import SparkConf, SparkContext


conf = SparkConf().setMaster("local[1]").setAppName("spark1")

sc = SparkContext(conf=conf)


data = [1,2,3,4,5]

disData = sc.parallelize(data)
print(disData.collect())

sc.stop()


0
3
Michael_PK
回复
weixin_精慕门5061032
这个错看起来像是依赖的东西不全呢
2021-01-20
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程