来自:
https://waytoagi.feishu.cn/wiki/GlhuwGy13iVQwek3n2HcRxU4nVN> Dobby 精灵一一三个提示词接管了一整个家
Sarah 问 Karpathy 有没有在编程之外用 Claw 做过什么有意思的事。他说今年 1 月他经历了一段“Claw 精神错乱期”,建了一个叫 Dobbythe Elf Claw(家养小精灵 Dobby)的家庭自动化 Agent 。
过程是这样的:他告诉 Agent“我家好像有 Sonos 音箱,你能找到它吗”。Agent 就去扫描了局域网上所有的设备,找到了 Sonos 系统一一发现完全没有密码保护。Agent 登录上去,通过搜索找到了 APl 接口,逆向工程了整个控制流程。然后问他要不要试一下。他说“你能在书房放点音乐吗”,音乐就响了。三个提示词。
灯光也是同样的流程。Agent 扫描发现、逆向 API 、创建控制面板。他说一句“睡觉时间”,全屋的灯就灭了。最后 Dobby 可以控制他家的灯光、暖通空调、窗帘、泳池和水疗设备,还接管了安防系统。
安防部分的设计有点意思:他有一个对外的摄像头,系统先做变化检测(有东西动了),然后把画面发给 Qwen 视觉模型做分析,最后通过 WhatsApp 给他发消息一一附上外面的图片和描述,比如“一辆 FedEx 货车刚刚停下来,你可能收到了快递”。
注:Qwen 是阿里云开发的多模态 AI 模型系列,支持图像理解和文本生成。Karpathy 说 Dobby 现在管着整个家,他通过 WhatsApp 跟它交流。以前他需要 6 个不同的 App 来控制这些智能家居设备,现在一个都不需要了。Dobby 用自然语言处理一切。他承认自己还没有把这个范式推到极限一一有些人做了更疯狂的事一一但仅仅是家庭自动化这一个场景,已经”非常有帮助,也非常有启发性”。