设置环境变量

来源:4-3 -map算子使用详解

Stefan章晓风

2020-08-20

老师,
我是Mac Pycharm按照视频步骤配置的环境变量,会报这个错误:
“Exception: Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.”

提示我python版本不对,我把PYSPARK_PYTHON路径从 {$spark_path}/python 换成我本地的3.6.5版本路径也没解决,最后是通过这样的方式在.py文件中手动定义了以后才成功运行的:

import os
os.environ[“SPARK_HOME”] = “/Users/spark-2.2.0-bin-2.6.0-cdh5.7.0"
os.environ[“PYSPARK_PYTHON”]=”/usr/local/bin/python3.6"

这是为什么啊? Pycharm的锅嘛?

写回答

1回答

Michael_PK

2020-08-20

这个说不准是不是pycharm的锅,你设置完有没有apply让它生效。或者是你机器里有其他环境变量覆盖到这个了

0
0

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程