老师您好,关于winutils.exe的问题

来源:3-11 -使用IDE开发pyspark应用程序

weixin_精慕门5061032

2020-07-06

图片描述

图片描述

这段代码可以输出结果,但是上面图片中的错误是提示(少一个winutils.exe这个文件),我应该把这个文件配置到虚拟机上吗?我是在win10中pycharm下运行的。

写回答

1回答

Michael_PK

2020-07-06

1)下载winutils.exe和hadoop.dll,添加到HADOOP_HOME,并添加到PATH中 (注意Hadoop版本):https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

2)放这两个在%HADOOP_HOME%\bin下,同时hadoop.dll也放在C:\Windows\System32目录下


0
3
weixin_精慕门5061032
非常感谢!
2020-07-07
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程