据雷峰网报道,8月18日,豆包发布产品更新,其“工作任务”模式新增“豆包虚拟桌面”功能,可在Windows电脑上模拟人类操作应用、浏览网页并完成跨软件任务。该功能基于通用的GUI图形用户界面能力,模型在没有MCP、API、插件和CLI的情况下也能看懂界面并完成操作。

通过虚拟桌面,用户可以实时查看豆包的操作过程,需要时也可随时暂停、接管任务。据雷峰网介绍,虚拟桌面不会抢占用户的鼠标、键盘或打断当前工作。使用该功能时,用户需在豆包电脑端选择工作任务模式和本地电脑,并在技能栏选择“操作电脑”,输入相关任务指令后,豆包虚拟桌面即可像人一样查看并操作电脑屏幕、鼠标和键盘。

目前,用户需在豆包官网下载最新的Windows“豆包电脑版”,在工作任务模式中根据系统提示完成授权和初始化,也可使用“操作电脑”技能发起任务,在豆包的指引下完成更新。