现在大模型主流都用哪些 nVidia GPU？

1 天前
 mingtdlb

不限于参数大小

2573 次点击
所在节点    Local LLM
19 条回复
zzutmebwd
1 天前
没有 nvlink 的最强是 pro6000 ，下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
zzutmebwd
1 天前
你如果说千亿参数在线 api 的话，h100 h200 b200 等的群集。
clemente
1 天前
b200
zzutmebwd
1 天前
@zzutmebwd 对了，有个 pro6000d 84g ，合规阉割版，算力是不如 5090 的，但差不太多，如果四万多点能买到的话还是不错的，大显存省事儿很多。
robyn87leonard
1 天前
l20
raycool
1 天前
H200 B200 这些吧。
不过我还在用 4090
v2exgo
23 小时 33 分钟前
b300
mingtdlb
23 小时 10 分钟前
@zzutmebwd #4 4090 48g/4080 32g 都是魔改版？我看官方没有这个版本
JmHappy
23 小时 7 分钟前
B300 集群，有 FP4 模块的都行
zzutmebwd
23 小时 2 分钟前
@mingtdlb 是的 消费级+大显存基本都是魔改的，所以还是建议 pro6000d
oldAndy
23 小时 1 分钟前
H100 H200 B200
xiaomushen
22 小时 59 分钟前
pro6000 真的爽，本地做一些 bert 训练完全够用
zzutmebwd
22 小时 55 分钟前
@xiaomushen 10 万了哥，现在买不划算了
xiaomushen
22 小时 35 分钟前
@zzutmebwd 我 7 万多买的
zzutmebwd
21 小时 26 分钟前
8000 刀才是合理价，我 6 万买的都嫌贵。
@xiaomushen
liuxyon
20 小时 21 分钟前
哪里有合理价格卖
coefu
19 小时 6 分钟前
要是能买到，amd 的 mi 系列，可能会更好点。
xiaomushen
17 小时 36 分钟前
@zzutmebwd 没办法呀，国内对公，只能吃这个价。现在都快 10 万了
nrtEBH
14 小时 9 分钟前
最强当然是 GB200 GB300 组的大集群
从行业内看各种尺寸的都有 还包括魔改显存的 4090 5090

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/1218934

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX