据The Verge于2026年10月11日刊发的体验文章,该媒体一名作者开始定期使用本地人工智能,在配备256GB统一内存的M5 Ultra Mac Studio上安装开源代理应用Hermes Agent和Qwen大模型,以检验本地运行AI能否在保留隐私的同时完成实际任务。

该文作者称,自己此前一直犹豫定期使用AI,主要顾虑是把最个人数据交给云服务。随着在本地运行强大模型越来越可行,他决定尝试,并称自己不是AI专家,将把过程记录下来。

文章提到,苹果在推介新款Mac桌面时强调其适合本地AI,而即将上市的RTX Spark Windows机器最高配备128GB内存,面向代理式AI。作者认为,本地AI和代理正受到关注。拥有一个只在自己电脑上运行、只对自己负责、不依赖OpenAI、谷歌、微软或Anthropic的助手,与信任云服务或订阅聊天机器人不同。他表示不会让本地AI写稿、编辑或生成传单,但可能把有用杂活交给它。

在具体测试中,作者在Mac Studio上安装开源Hermes Agent。Hermes是自托管AI代理桌面应用,支持macOS、Windows和Linux,若坚持使用本地LLM则完全免费。由于M5 Ultra Mac Studio有256GB统一内存,可运行几乎所有模型。作者说,模型数量多且各有用途,参数多的模型通常比参数少的能做更多事,本地运行又无需按token付费,因此他先选大模型。通过Hermes的引导界面和模型选择器,他选中Qwen 3.8 Flash Next,参数规模1250亿,大小约105GB。他很快让Hermes和Qwen运行起来,并通过Telegram机器人用手机控制。他还计划在M6 Mac Mini、M5 MacBook Air、搭载AMD Strix Halo处理器的Asus TUF Gaming A14以及最终RTX Spark上测试更小的Qwen模型。

不过,作者称使用AI时总面临同一个问题:面对文本框不知道做什么。他先按YouTube建议让Hermes制作每日晨报,通过cron任务扫描邮件和日历,提示值得立即关注的事项,并给出简短天气报告。这个晨报起初生成失败,后来他发现macOS在早上7点30分任务触发时不能处于睡眠状态。现在晨报准点运行,但作者表示它不太有用,构建它也显然不需要一台1.2万美元的电脑,只是可逐步改进。

更实用的任务出现在Steam游戏库整理上。作者有400多款Steam游戏,最近开始按想玩的类型手动分类,而Steam不会自动分类。他问Hermes能否重新整理Steam库,Hermes通过查看已安装的Steam客户端看到大部分游戏,并很快给出组织选项。作者决定按类型整理,同时保留收藏、合作、派对、与妻子一起玩的游戏等自定义分类。

作者指出,要让本地AI替自己在机器上执行操作,必须授予一定权限。为整理游戏库,他注册了Steam网页API密钥并提供给Hermes。获得权限后,Hermes几分钟内就把游戏分到各类别。由于之后不再需要,他很容易地撤销了该API密钥。

目前,这项测试仍处于早期阶段,作者表示将继续记录本地AI使用过程,并计划在更多设备上试验。