关于windows平台出现Nativeio错误的解决

来源:2-16 local模式下使用spark-submit提交Spark应用程序

哆啦A梦爱学习吖

2020-05-05

如果用windows的小伙伴在本地运行 2-13使用IDEA和Maven开发第一个Spark程序,遇到有关Nativeio 的错误,最简单的办法就是将pom.xml 中的

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>${hadoop.version}</version>
</dependency>

注释掉,再Reimport。
。。。
感觉这门课程没有关于不同平台运行的差异或者环境说明,学习过程中遇到各种环境问题,只能自己慢慢摸索了,群里问吧,要么没人回答,要么答非所问。
另外老师提供的资料下载也是乱七八糟的。
只能说,这个课,不值这个钱…

写回答

2回答

Michael_PK

2020-05-05

你认为值就看,不值就不看就这么简单。

0
0

Michael_PK

2020-05-05

1.群里是给大家交流的地方,有问题提到问答区,问答区是官方要求的老师答疑的地方。
2.你说我提供的东西乱七八糟的,请给出详细说法,我提供的都是上课的东西,我有提供其他的东西吗?
3.你那个注释掉了,后面和hadoop整合的时候版本不对应咋办?
4.上课我的环境就是Mac的,根本不存在你说的native问题,那是你们win机器才存在的

0
0

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

543 学习 · 192 问题

查看课程