submit问题

首页课程实战体系课手记专栏慕课教程

submit问题

来源：14-3 -使用Java开发Spark Streaming应用程序

慕婉清3415166

2019-06-28

老师好，帮忙看下这个问题，在测试环境提交任务时，用local模式可以正常执行，用集群模式就报这个错误
TaskSetManager:66 - Lost task 0.0 in stage 0.0 (TID 0, 172.16.1.1, executor 0): java.lang.NoClassDefFoundError: org/apache/kafka/clients/consumer/ConsumerRecord

jar包也确实是存在的

写回答

1回答

Michael_PK

Michael_PK

2019-06-28

集群应该就是这个jar能打进去，你jars的方式传递下试试

0

10

慕婉清3415166

老师好，再麻烦您个问题，sparkstreaming 集群读取kafka重复入库的问题有碰到过吗

2019-08-15

共10条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

老师，spark-submit提交路径问题？

回答 2

我在这节输入时，报错“-bash：spark-submit : command not found”

回答 1

spark-submit执行报错

回答 1

使用spark-submit时报以下错误

回答 1

在windows运行程序报错

回答 1

打开慕课网App查看更多内容