老师,你用的mac电脑可以直接在上边进行开发测试,我们用的windows电脑,要如何导入spark,进行spark测试呢?

来源:3-11 -使用IDE开发pyspark应用程序

慕圣8049820

2018-08-06

视频中在pycharm中直接导入了pysark的相关程序包,windows要如何导入spark的程序,以便在本地进行测试呢~

写回答

5回答

Michael_PK

2018-08-06

直接搜索下window pycharm整合spark开发看看

0
2
Michael_PK
回复
慕圣8049820
都需要下载的,我只是已经在本地了
2018-08-06
共2条回复

苏先生1

2018-09-24

//img.mukewang.com/szimg/5ba85b1800019dcd11950448.jpg


这是python 使用pip install 安装好的文件路径, 之后的操作和PK哥一样的,在你的程序中配置PYTHON路径和SPARK_HOME 路径 都在pyspark中

0
0

苏先生1

2018-09-24

python 先安装 pypi 然后在下载pysaprk

step1: pip install pypi

step2: pip install pyspark

0
1
苏先生1
如果使用pycharm的话,建议大家使用虚拟环境(virtualenv)安转这些依赖
2018-09-24
共1条回复

慕勒1019045

2018-09-13

碰到同样的问题,是不是可以在linux里面装个pycharm这样操作?

哎,水平太差,到处都是坑~~

0
1
Michael_PK
可以的,直接在Linux上搞,更方便
2018-09-13
共1条回复

Michael_PK

2018-08-06

这个操作方式应该是一样的吧,不管啥系统,只要把那个包导入到开发工具里面

0
7
Michael_PK
回复
qq_山中人_0
本地和虚拟机没有关系,这2个地方该装的东西都需要装,比如py啥的,不然没办法本地测试
2018-11-13
共7条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程