windows下的pycharm能连到虚拟机的spark吗？
来源：3-11 -使用IDE开发pyspark应用程序
OliverSong
2021-03-09
老师的两个回答把我搞混了：
- “idea开发，本地不需要安装spark，只要把相关的依赖加进来自动就可以使用的。“ - https://coding.imooc.com/learn/questiondetail/102896.html
- “本地和虚拟机没有关系，这2个地方该装的东西都需要装，比如py啥的，不然没办法本地测试”
https://coding.imooc.com/learn/questiondetail/72622.html
所以请问老师
- 想用本地IDE，本地需不需要装一个spark环境？（本地装spark环境，就不需要老师提供的OOTB了吧？）
- 如果不想本地再装一个spark，windows本地的pycharm能连到虚拟机的pyspark环境吗？
尝试1：试图本地pycharm配置远程虚拟机python解析器（即虚拟机中的app/python3/bin/python3），但是虚拟机中python3并没有装spark（因为import pyspark出错），失败。
尝试2：想到能否能直接配置虚拟机中SPARK_HOME/python文件夹中的python解析器，但发现没有，仅有“pyspark”文件，但该文件无法被pycharm识别为解析器，失败。 - 老师的环境有区分本地和虚拟机吗？（好像没有）
写回答
1回答
-
Michael_PK
2021-03-10
开发工具比如pycharm之类的，我们进行本地开发，不需要本地安装一个spark环境的，只要依赖有了，本地都可以全部进行local方式的测试
042021-05-02
相似问题