Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
young1
V2EX  ›  程序员

大数据量优化

  •   
  •   young1 · Nov 7, 2024 · 2279 views
    This topic created in 578 days ago, the information mentioned may be changed or developed.
    各位大佬，我主要干 GIS 领域，然后现在做一些地质类的项目的时候，就碰到了一个问题：
    一个项目做勘察，可能有很多个钻孔，然后每个钻孔会有很多信息，存储不同的表。然后如果遇到做项目归档成果导出类似的需求的时候，就需要根据项目吧所有钻孔信息做整合生成报表。怎么样做才能使效率最高化，还不容易出错。（ JAVA 仔）
  • 优化
  • 大数据量
  • GIS
    7 replies  •  2024-11-08 10:18:17 +08:00
    NikoXu
        1
    NikoXu  
       Nov 7, 2024
    spring data jap 的 entity 支持继承吧 , 可以把公共的字段放在父表里面
    7911364440
        2
    7911364440  
       Nov 7, 2024
    平铺吧，表越多就越复杂，效率也越慢
    spritecn
        3
    spritecn  
       Nov 7, 2024
    不 join 的话,内存够的话,还是很快的吧,不行就提前全推给 ES,再拉出来
    Rat3
        4
    Rat3  
       Nov 7, 2024
    我理解也不是很常调用的业务，每天凌晨跑个定时任务生成下聚合报表，需要的时候直接读这个报表就行了吧
    young1
        5
    young1  
    OP
       Nov 7, 2024
    @Meld 现在也是用的后台任务去执行，但是数据有可能会发生改变，而且客户更期望的是通过接口直接返回 ZIP 结果进行下载那种效果
    Rat3
        6
    Rat3  
       Nov 7, 2024
    @young1 哦，那确实需要实时聚合下，数据量级大概是多大的？看起来数据量不大，只是拆的表比较细？
    sampeng
        7
    sampeng  
       Nov 8, 2024
    导出报表是数据分析的活。数据量看有多大，笛卡尔积如果超过十亿。就应该上 clickhouse 之类的宽表服务
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1096 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 18:42 · PVG 02:42 · LAX 11:42 · JFK 14:42
    ♥ Do have faith in what you're doing.