Home Sign Up Sign In
zhxjdwh
V2EX  ›  问与答

一个弱智的问题， hive 数仓的数据同步，如果源数据库里面的数据被修改了，那怎么办

  •   
  •   zhxjdwh · Jan 1, 2020 · 2146 views
    This topic created in 2350 days ago, the information mentioned may be changed or developed.
    如题：hive 数仓的数据同步，如果今天订单导入 hive 了，第二天用户又修改了订单信息，那怎么办？这样 hive 里面的数据就是脏数据了，这样的话，做分析统计 就跟实际的情况 就会有比较大的差异了
    ------
    是不是还要一个数据更新的机制？这个一般是怎么处理的？
  • Hive
  • 数据
  • 订单
  • 修改
    3 replies  •  2020-01-03 08:24:44 +08:00
    laimailai
        1
    laimailai  
       Jan 2, 2020
    我们是每天覆盖
    laimailai
        2
    laimailai  
       Jan 2, 2020
    还有个拉链表方案去看下
    zhxjdwh
        3
    zhxjdwh  
    OP
       Jan 3, 2020 via Android
    @laimailai 谢谢，我了解一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3329 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:06 · PVG 19:06 · LAX 04:06 · JFK 07:06
    ♥ Do have faith in what you're doing.