实时计算

来源:5-12 sqoop 将mysql数据导入到hive

慕慕2853146

2022-04-25

mysql数据同步到hive中用什么工具?后续的ETL已经实时更新到ES中,用什么机制实现?能不能讲讲?

写回答

1回答

好帮手慕小蓝

2025-02-14

  • MySQL 到 Hive:可以使用 Sqoop、NiFi 或 Debezium + Kafka + Hive。

  • ETL 和实时更新到 Elasticsearch:可以使用 Spark、Flink 或 Logstash。

  • 实时更新机制:可以通过 CDC、Kafka + Elasticsearch Sink Connector 或 Flink 实现。


0
0

Spark + ElasticSearch 构建电商用户标签系统

更适合Java开发学的大数据项目 手把手带你了解企业级大数据项目

513 学习 · 157 问题

查看课程