V2EX › fid 的所有回复 › 第 2 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

63 天前

回复了 fid 创建的主题 › 生活 › 手机邮寄被骗，顺丰到付 7k 元手机没了

@gam2046 #23 不是卖手机，是服务

63 天前

回复了 fid 创建的主题 › 生活 › 手机邮寄被骗，顺丰到付 7k 元手机没了

@SodaPopBoy #18 信用极高，好评 85 还是 95 ，还跟我扯家常让我加信任度

63 天前

回复了 fid 创建的主题 › 生活 › 手机邮寄被骗，顺丰到付 7k 元手机没了

我这不是卖手机，解锁服务相当于修手机，大意了

63 天前

回复了 fid 创建的主题 › 生活 › 手机邮寄被骗，顺丰到付 7k 元手机没了

@shakaraka #2 成本过高还是算了，你说的应该是诉讼吧

@lneoi #3
@jsomin #10
问题是服务费就几百，咸鱼能追回来吗

@docx #6 内鬼近万是能解的，谈品阿姨了

@ik #8 难绷的一点就是顺丰能远程付款

@kamikaze472 #12 我全额足额保

@zhangchongjie #17 有渠道吗，想搞一搞

@crazycloudccc #15 当地快递员也报警了，没进度

2024-12-04 17:59:09 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@Les1ie @mythabc @Leon6868 当前配置还有必要优化吗

2024-12-04 17:56:10 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@mythabc 4 卡应该不太够用，可以看看最新 append

2024-12-04 17:43:58 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kennylam777
@lixile
可以查看最新 append

2024-12-04 17:32:41 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@fid #35

@lixile #32
更正，8x4090 单张 78-90%占用

2024-12-04 17:17:41 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kennylam777 #33 目前方案是 8x4090+Qwen2.5-72B-Instruct-AWQ+lmdeploy ，体验良好，占用低

2024-12-04 17:15:51 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@lixile #32 8 卡同时跑大概每张卡占用 20-30%，占用率还是非常低的，使用的是 awq int4 ，使用体验很顺滑

2024-12-03 16:03:45 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@liu731 显卡内存 8x24g ，正文写了的

2024-12-03 13:29:55 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@wantstark #18 我是一台机器多卡，暂时没有分布式条件，可能没有表述清楚

2024-12-03 13:29:07 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@Les1ie #20
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了

2024-12-03 13:24:34 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@woscaizi #19 好的，感谢推荐！

2024-12-03 13:24:19 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@DreamingCTW #17 ollama 多卡不太行吧

2024-12-03 13:24:04 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@oldfans #15
ollama 确实不适合多卡。

目前方案是 LMdeploy ，比 vllm 好

我去用 72B 了哈哈

还是大参数量好，充分利用 gpu

2024-12-03 13:22:18 +08:00

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

@kenvix #14 多谢！这就去上 72B