设置环境变量
来源:4-3 -map算子使用详解
Stefan章晓风
2020-08-20
老师,
我是Mac Pycharm按照视频步骤配置的环境变量,会报这个错误:
“Exception: Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.”
提示我python版本不对,我把PYSPARK_PYTHON路径从 {$spark_path}/python 换成我本地的3.6.5版本路径也没解决,最后是通过这样的方式在.py文件中手动定义了以后才成功运行的:
import os
os.environ[“SPARK_HOME”] = “/Users/spark-2.2.0-bin-2.6.0-cdh5.7.0"
os.environ[“PYSPARK_PYTHON”]=”/usr/local/bin/python3.6"
这是为什么啊? Pycharm的锅嘛?
写回答
1回答
-
Michael_PK
2020-08-20
这个说不准是不是pycharm的锅,你设置完有没有apply让它生效。或者是你机器里有其他环境变量覆盖到这个了
00
相似问题