据雷峰网10月28日报道,豆包工作近期升级电脑端操作能力:屏幕点击精度和速度提升,用户可将电脑操作录制为可复用技能,部分任务还能在Mac锁屏后继续执行。

用户在对话中提出操作电脑的需求,经授权后,豆包工作可自动查看电脑屏幕,模拟人工鼠标和键盘操作相关应用。此前该产品已支持跨应用操作和将浏览器操作录制成技能,此次新增电脑操作录制功能。

在对话界面“更多技能”中找到“录制操作生成技能”,按提示完成授权后,用户可像平时一样操作电脑,并通过语音补充要求。例如整理文件时,可说明“只整理这个文件夹,文件按日期命名”,将操作范围和命名规则一并交代。录制期间,豆包工作会记录鼠标点击、输入文字和窗口内容,用户可随时取消;使用时需避免展示账号密码等敏感信息。

录制结束后,豆包工作会将操作流程和讲解整理成个人技能。下次执行同类任务时选用对应技能,再说明此次要处理的对象和要求,即可省去重复解释操作步骤。多步操作、临时条件和处理习惯因此可从一次演示沉淀为可调用的技能,减少同类任务的重复说明。

任务执行方面,用户可进入“设置→工作任务模式设置”,开启“允许豆包在锁屏时工作”。启动该功能并经过授权后,豆包工作可在Mac锁屏时继续执行需要操作电脑的任务。用户离开电脑时,还可通过手机向这台锁屏的Mac下达任务,并在手机上查看返回结果;回到电脑前,解锁后可随时接管。

该功能使用时,Mac需保持开机、联网,豆包客户端持续运行,设备保持唤醒。雷峰网称,随着AI Agent向真实工作场景延伸,Computer Use正成为其操作软件、执行任务的重要能力。豆包工作此次升级,让用户熟悉的操作方法可保存为可复用技能,并支持任务在Mac锁屏后继续执行,减少重复交代和持续守在电脑前的负担。