 |
Gemma4 12B 如何跑在 16G 显存上？ CatCode • 1h 57m ago • Lastly replied by EasonYan | 24 |
 |
mac mini 跑本地模型，需要什么配置？ kakalulin • 4h 35m ago • Lastly replied by gigishy | 16 |
 |
mac 64g 能部署哪个本地大模型 followadc • 8h 34m ago • Lastly replied by followadc | 18 |
 |
消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 zhengfan2016 • 4 days ago • Lastly replied by oldlamp | 18 |
 |
本地大模型最佳 Mac 配置选择 SteveRogers • 4 days ago • Lastly replied by SteveRogers | 26 |
 |
关于 5070ti 模型推理的速度和本地部署思考 tootfsg • May 20 • Lastly replied by tootfsg | 9 |
 |
有没有能够兼容 Win7 的离线模型工具 faketemp • May 19 • Lastly replied by tairan2006 | 12 |
 |
想折腾一个 AI 主机，请行家出手 davidyin • May 14 • Lastly replied by jhytxy | 80 |
 |
锤子找钉子的项目分享：假想企业本地部署后不用人工洗库接入 llm 的中间层。 KaiWuBOSS • May 10 • Lastly replied by yijihu | 2 |
 |
都 2026 年了，为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型？ babymonster • May 12 • Lastly replied by jinsongzhaocn | 130 |
 |
推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上 Hermitist • May 8 • Lastly replied by diudiuu | 18 |
 |
DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？ SzgSw5zGyN1iy • May 8 • Lastly replied by qazwsxkevin | 11 |
 |
gemma4:31b-coding-mtp-bf16
Livid PRO |
|
我自己的电脑是 5070Ti，总感觉跑一些模型算力不够 babymonster • May 15 • Lastly replied by JerningChan | 51 |
 |
有适合本地跑训练 AI 的电脑配置吗？ linxiaojialin • May 6 |
 |
LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM zsj1029 • May 6 • Lastly replied by Orangeee | 7 |
|
能一起给本地部署的开源模型做个适配的 coding agent 吗？我憋了口气 KaiWuBOSS • May 8 • Lastly replied by KaiWuBOSS | 115 |
 |
github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps stefwoo • May 6 • Lastly replied by jiaorong | 10 |
 |
请问各位大神，在隔离环境中，有本地 qwen 大模型，有没什么解决方案，做本地的知识库的方案，类似谷歌那个 notebooklm ，也勉强可以？ ken2025 • May 3 • Lastly replied by jinsongzhaocn | 5 |
|
私有化部署大模型的“终点”是 Mac 还是 Nvidia？ babymonster • May 2 • Lastly replied by bobguo | 29 |
Select Language