kelleyForGo

部署大模型服务器需要啥样的配置啊

  •  
  •   kelleyForGo · Aug 7, 2025 · 1389 views
    This topic created in 303 days ago, the information mentioned may be changed or developed.

    例如部署 deekseek-VL-32b ,服务器 GPU ,CPU ,内存,SSD 最低配置需要多大的?

    2 replies
    harryge
        1
    harryge  
       Aug 7, 2025
    https://apxml.com/zh/posts/gpu-requirements-deepseek-r1 主要看显存。32b 需要大约 21G 的显存。单机部署可用 NVIDIA RTX 4090 24GB 。磁盘看下 huggingface 上模型大小,模型就 60G 了
    kelleyForGo
        2
    kelleyForGo  
    OP
       Aug 7, 2025
    @harryge 感谢指导,看了上面链接的 DeepSeek 配置要求居然没有 VL 开源模型。有没有其他的推荐呀。需求是要识别图片+推理强的。蒸馏过的 32b 版本。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   875 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 20:18 · PVG 04:18 · LAX 13:18 · JFK 16:18
    ♥ Do have faith in what you're doing.