不限于参数大小
 |
1
zzutmebwd 6 days ago  1
没有 nvlink 的最强是 pro6000 ，下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
|
|
2
zzutmebwd 6 days ago
你如果说千亿参数在线 api 的话，h100 h200 b200 等的群集。
|
 |
3
clemente 6 days ago
b200
|
|
4
zzutmebwd 6 days ago
@zzutmebwd 对了，有个 pro6000d 84g ，合规阉割版，算力是不如 5090 的，但差不太多，如果四万多点能买到的话还是不错的，大显存省事儿很多。
|
 |
5
robyn87leonard 6 days ago
l20
|
 |
6
raycool 6 days ago
H200 B200 这些吧。
不过我还在用 4090 |
 |
7
v2exgo 6 days ago
b300
|
 |
9
JmHappy 6 days ago
B300 集群，有 FP4 模块的都行
|
 |
11
oldAndy 6 days ago
H100 H200 B200
|
 |
12
xiaomushen 6 days ago
pro6000 真的爽，本地做一些 bert 训练完全够用
|
|
13
zzutmebwd 6 days ago
@xiaomushen 10 万了哥，现在买不划算了
|
|
14
xiaomushen 6 days ago
@zzutmebwd 我 7 万多买的
|
|
15
zzutmebwd 6 days ago
8000 刀才是合理价，我 6 万买的都嫌贵。
@xiaomushen |
 |
16
liuxyon 6 days ago
哪里有合理价格卖
|
 |
17
coefu 6 days ago
要是能买到，amd 的 mi 系列，可能会更好点。
|
|
18
xiaomushen 6 days ago
@zzutmebwd 没办法呀，国内对公，只能吃这个价。现在都快 10 万了
|
 |
19
nrtEBH 6 days ago
最强当然是 GB200 GB300 组的大集群
从行业内看各种尺寸的都有 还包括魔改显存的 4090 5090 |
|
22
zzutmebwd 11h 14m ago
@mingtdlb 又一个被骗的，这个卡就搜不到真实资料，我是差点买了，后面看了厂家图册直接退了（当时 pro6000d 4 万多点 pro6000 才 6w 我就直接买 pro6000 了），图册直接拿来和 L20 比，颇有拳打南山敬老院的意思，算力削的不像样子，fp16 只有 pro 6000 的 60%，fp4 只有 30%（应该是软件限制），带宽削的不多、显存又大，所以跑 llm 问题不大。比 5090 肯定比不了，5090 实际只比 pro6000 低 10%算力。
但是以现在 5w 出头的价格，pro6000d 性价比就很高了。 |
|
25
zzutmebwd 10h 57m ago
d2VjaGF0OiBobnN5d2Q= base64 联系
|
 |
26
mingtdlb OP |
|
27
zzutmebwd 10h 37m ago
您看一下：
精度 RTX 5090 Pro 6000 D（特供） Pro 6000 Blackwell FP32 104.8 TFLOPS 74 TFLOPS 126 TFLOPS FP16 ~209.5 TFLOPS 148 TFLOPS ~252 TFLOPS FP4 ~1676 TFLOPS 593 TFLOPS ~2015 TFLOPS pro6000d 的算力值是从图册里抄的，目测是软件限制，全网都搜不到。 |
|
28
zzutmebwd 10h 32m ago
相比 pro6000d：
fp32/16：5090 83% pro6000d 59% fp4: 5090 83% pro6000d 29% |
|
29
mingtdlb OP @zzutmebwd #27 这个数据怎么整体偏低呀，RTX5090 FP16 不应该是 400 多 TFLOPS 么，rtx pro 6000 server FP16 500
  |
Select Language