发现了这个 ANEMLL 项目， 可以用 ANE 来跑大模型， 项目刚刚上线 github 没多久， 目前只支持 llama 系列模型， 也包括 deepseek 蒸馏过的 llama 3 。
作者也上传了一些模型到 huggingface 。
经过简单测试和对比， 生成速度大概是 mlx/llama.cpp 的 1/3 ，但是只使用 30% 左右的 npu 性能， 功耗只有 2 ～ 3 瓦， 是显卡功耗的 1/10 。
如果以后能够让 npu 火力全开， 说不定速度能追上 mlx 。
https://x.com/anemll/status/1890282119685116051
ANE 终于可以告别电阻器的外号了！
 |
1
EchoWhale Feb 16, 2025 via iPhone
求科普，是不是只能跑蒸馏过？像 70b 之类的是不行吗
|
 |
2
kemchenj Feb 16, 2025
“只使用 30% 的 npu 性能”这里面的 30% 是怎么得出来的？
|
 |
3
beginor OP  1
@kemchenj 看下这个链接里面的视频 https://x.com/anemll/status/1890282119685116051
|
|
4
beginor OP |
 |
5
WuSiYu Feb 17, 2025
有点意思，ANE 的 fp16 理论性能似乎跟 m4 pro 丐板的 GPU 差不多，但可预计会省电许多
@beginor 另外“企业级 NPU”其实早有了，比如华为和寒武纪的卡都属于 NPU （而不是 GPGPU ） |
|
6
kemchenj Feb 18, 2025
@beginor 视频里 NPU 的占用率一直在 35% 或者是 0%，甚至没什么波动，感觉像是只用了特定数据格式的计算单元，例如说 int4 和 int8 ，然后其它数据格式的计算单元就一直闲置，这种情况下可能不太好优化到“火力全开”...
|
|
7
beginor OP 作者回复说是因为 npu 的带宽不够，在等数据，所以 npu 使不出全力。 确实一直没有听苹果提过 npu 的带宽是多少，目前应该还不支持量化吧，直接 f16 运算
|
Select Language