• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lllnever
V2EX  ›  程序员

通过消费 kafka 中的 mysql binlog 同步数据,有没有好的办法可以进行 join? join 的两个表的变更不一定在一个时间窗口内

  •  
  •   lllnever · Dec 8, 2021 · 1769 views
    This topic created in 1641 days ago, the information mentioned may be changed or developed.
    4 replies    2021-12-08 15:49:36 +08:00
    lllnever
        1
    lllnever  
    OP
       Dec 8, 2021
    初步的想法是在 sink 数据库建立单表,再查询单表进行聚合,但是会建立非常多的单表,而且逻辑也比较复杂
    SbloodyS
        2
    SbloodyS  
       Dec 8, 2021
    flink 双流 join
    lllnever
        3
    lllnever  
    OP
       Dec 8, 2021
    @SbloodyS 之前也大概看过 flink 的 join ,因为时间窗口不能满足需求,常规 join 的话资源消耗可能太大了
    https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/joins.html#%E5%B8%B8%E8%A7%84-join
    SbloodyS
        4
    SbloodyS  
       Dec 8, 2021
    这种需求本身就是成本和性能不可兼顾的,要不堆机器,要不就慢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1232 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 17:46 · PVG 01:46 · LAX 10:46 · JFK 13:46
    ♥ Do have faith in what you're doing.