看了一天,能不能本地写一个完整的job,打jar包,提交flink上,写入ES的

来源:9-4 Flink Standalone模式部署及参数详解

yhy1271927580

2019-04-11

老师,能不能写一个这个文档,我急需这个文档示例,我们的数据是从kafka拿到的json数据,如何进行转换呢?麻烦老师写一个示例代码,急救谢谢

写回答

4回答

yhy1271927580

提问者

2019-04-11

yinhuanyideMacBook-Pro:target yinhuanyi$ java -jar flink-quick-1.0-SNAPSHOT.jar

Error: A JNI error has occurred, please check your installation and try again

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction

at java.lang.Class.getDeclaredMethods0(Native Method)

at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)

at java.lang.Class.privateGetMethodRecursive(Class.java:3048)

at java.lang.Class.getMethod0(Class.java:3018)

at java.lang.Class.getMethod(Class.java:1784)

at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)

at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)

Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.functions.FlatMapFunction

at java.net.URLClassLoader.findClass(URLClassLoader.java:382)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 7 more


0
3
yhy1271927580
但是这个flink是安装了的,为什么找不到呢?
2019-04-11
共3条回复

yhy1271927580

提问者

2019-04-11

我打包的时候有问题,刚刚接触这块,希望老师给一个手动打包发布的视频案例

0
1
Michael_PK
打包就是命令: mvn clean package就打出来了
2019-04-11
共1条回复

Michael_PK

2019-04-11

对接到kafka的JSON后,就是解析JSON数据就行了

0
0

Michael_PK

2019-04-11

本地开发完打成一个jar包,然后使用flink命令提交就OK了,演示的是官方的jar,没有区别啊

0
3
慕侠2434193
回复
Michael_PK
嗯嗯,我开始理解错了,我以为是用springboot去连接flink然后完成操作。。。今天用flink把单位的kafka和ES都接上了,单位的kafka和es都要认证连起来还挺麻烦。继续学习课程,谢谢老师!
2020-02-16
共3条回复

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势,多语言系统化讲解,极速入门Flink

969 学习 · 296 问题

查看课程