想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案？

2022 年 12 月 8 日
 ARMILKCHEN

想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗？

1928 次点击
所在节点    程序员
3 条回复
darrh00
2022 年 12 月 8 日
flume 配置一下就可以了吧
ARMILKCHEN
2022 年 12 月 9 日
@darrh00 flume 确实可以实现、但如果想复杂一点比如
插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据，我不确定 flume 能不能动态实现这样的效果
azkaban
2022 年 12 月 10 日
flink 写啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/901151

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX