mingtdlb
V2EX  ›  Local LLM

现在大模型主流都用哪些 nVidia GPU?

  •  
  •   mingtdlb · 3h 47m ago · 1116 views

    不限于参数大小

    15 replies    2026-06-09 12:35:14 +08:00
    zzutmebwd
        1
    zzutmebwd  
       3h 41m ago   ❤️ 1
    没有 nvlink 的最强是 pro6000 ,下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
    zzutmebwd
        2
    zzutmebwd  
       3h 39m ago
    你如果说千亿参数在线 api 的话,h100 h200 b200 等的群集。
    clemente
        3
    clemente  
       3h 36m ago
    b200
    zzutmebwd
        4
    zzutmebwd  
       3h 34m ago
    @zzutmebwd 对了,有个 pro6000d 84g ,合规阉割版,算力是不如 5090 的,但差不太多,如果四万多点能买到的话还是不错的,大显存省事儿很多。
    robyn87leonard
        5
    robyn87leonard  
       3h 33m ago
    l20
    raycool
        6
    raycool  
       3h 19m ago
    H200 B200 这些吧。
    不过我还在用 4090
    v2exgo
        7
    v2exgo  
       2h 43m ago
    b300
    mingtdlb
        8
    mingtdlb  
    OP
       2h 20m ago
    @zzutmebwd #4 4090 48g/4080 32g 都是魔改版?我看官方没有这个版本
    JmHappy
        9
    JmHappy  
       2h 17m ago
    B300 集群,有 FP4 模块的都行
    zzutmebwd
        10
    zzutmebwd  
       2h 12m ago via Android
    @mingtdlb 是的 消费级+大显存基本都是魔改的,所以还是建议 pro6000d
    oldAndy
        11
    oldAndy  
       2h 11m ago
    H100 H200 B200
    xiaomushen
        12
    xiaomushen  
       2h 9m ago
    pro6000 真的爽,本地做一些 bert 训练完全够用
    zzutmebwd
        13
    zzutmebwd  
       2h 5m ago
    @xiaomushen 10 万了哥,现在买不划算了
    xiaomushen
        14
    xiaomushen  
       1h 45m ago
    @zzutmebwd 我 7 万多买的
    zzutmebwd
        15
    zzutmebwd  
       36 mins ago
    8000 刀才是合理价,我 6 万买的都嫌贵。
    @xiaomushen
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4047 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 05:11 · PVG 13:11 · LAX 22:11 · JFK 01:11
    ♥ Do have faith in what you're doing.