root@spark:bin]$ ./spark-submit 提交spark Streaming 任务报错

来源:9-5 -从词频统计案例来了解SparkStreaming

爬行的蜗牛2019

2020-03-08

老师, 你好,
使用spark-submit 提交rdd任务 都正常, 但是提交 spark Streaming 就包如下错误, 可能是什么原因呢,

root@spark:bin]$ ./spark-submit /root/app/spark/spark-2.3.1-bin-2.6.0-cdh5.7.0/examples/src/main/python/wordcount.py localhost 9999
20/03/08 16:41:25 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Usage: wordcount
log4j:WARN No appenders could be found for logger (org.apache.spark.util.ShutdownHookManager).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties

写回答

1回答

Michael_PK

2020-03-08

哪里有报错信息?为什么我没看到?

0
2
Michael_PK
回复
爬行的蜗牛2019
我上课的开发环境其实就是Mac的。Mac注意下要要自己配置好py3的环境并添加到环境变量中
2020-03-08
共2条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程