Breakwa2333
V2EX  ›  硬件

NVIDIA CMP 显卡能用来训练 AI 吗?

  •  
  •   Breakwa2333 · Apr 23, 2023 · 3563 views
  •   You need to sign in to view this topic
    This topic created in 1243 days ago, the information mentioned may be changed or developed.
    就是 CMP 显卡很便宜,而且支持 CUDA ,特别是 TURING 架构的 CMP (核心阉割的比较少),但是为什么没有人用来训练 AI ?

    如题
    9 replies    2023-04-24 10:23:30 +08:00
    KagurazakaNyaa
        1
    KagurazakaNyaa  
       Apr 23, 2023
    显存太小了
    murmur
        2
    murmur  
       Apr 23, 2023
    差钱可以买魔改的 2080ti o 22g
    Breakwa2333
        3
    Breakwa2333  
    OP
       Apr 23, 2023
    @XiLingHost 有些 GDDR6 的可以改显存(理论上和 2080TI 这种一样)
    bearqq
        4
    bearqq  
       Apr 23, 2023
    我一般用 3060 12g 训练,用 40hx 跑图
    另外 40hx 跑图半精度速度巨慢。需要改代码,模型用半精度,运算用单精度,速度也是单精度的速度,相当于速度减半
    理论上 40hx 训练是没问题的,8g 也基本够,训练时候计算也不是半精度
    ntdll
        5
    ntdll  
       Apr 23, 2023
    @Breakwa2333 #2 理论上能改显存和实际上有人改显存是两回事。如果你有能力自己动手,那当然还是牛的,不然找不到人帮你改。

    真想玩,我觉得普通人就两个路子

    1 、咬咬牙,直接上 4090 ,相对来说性价比算是不错了。小模型基本都能吃下来
    2 、洋垃圾 P40 ,主打的就是一个便宜+大显存,虽然速度差了点意思,但是大显存可以让你跑更多的模型
    luny
        6
    luny  
       Apr 23, 2023
    动手力强的,可以看看 Tesla P4 这种算力卡,挺便宜,要解决散热问题
    nightwitch
        7
    nightwitch  
       Apr 23, 2023 via Android
    跑训练的基本都是生产力 /科研需求,这两个都对价格不敏感。 而且现在稍微跑个像样的模型基本都是四卡 or 八卡并联着跑,这种需求都是买现成的方案,自己组的话稳定性很难保证
    qianxaingmoli
        8
    qianxaingmoli  
       Apr 23, 2023

    p40 ≈ 3060 24g ,加个 3d 打印的暴力扇,加个温控调速,入门合适的
    kloseWu
        9
    kloseWu  
       Apr 24, 2023
    @qianxaingmoli 我也是 P40 ,请问怎么弄温控调速……另外风扇声音太大了有静音的找么……
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5297 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 01:15 · PVG 09:15 · LAX 18:15 · JFK 21:15
    ♥ Do have faith in what you're doing.