9月14日,豆包手机助手消费者版本正式发布。据豆包方面介绍,该版本以豆包App为基础,与手机厂商在系统层面展开合作,首个搭载该版本的努比亚NaviX Ultra手机已开启预约,将于9月16日正式发售。
相比去年底推出的技术预览版,消费者版本更强调稳定性和日常可用性。交互方面,豆包手机助手支持语音、AI键等多种唤醒方式,专属AI键带有指纹鉴权能力,完成本人验证后无需二次解锁即可调用助手执行任务,语音唤醒则针对远场、内噪和嘈杂环境做了优化。屏幕问答能力允许用户不额外截图或切换应用,直接让助手结合当前屏幕内容继续处理任务。官方视频演示中,用户打开相机对准室内环境说出“根据这个装修风格,帮我选一个一米二以内、价格不超过一千元的柜子”,助手可结合画面信息和用户要求,在电商平台找到符合条件的商品推荐。
个人Context与记忆能力是此次升级的另一重点。豆包手机助手为本地数据提供搜索工具,可在用户需要时检索相册、短信、便签等信息,例如回答港澳通行证的到期时间。办公场景下,消费者版本升级了录音体验并接入飞书妙记,用户可直接追问“昨天用户访谈里提到的产品建议”。用户还可以通过语音输入、三指上滑,或同时按住AI键和音量键,手动保存当前屏幕内容,形成可在本地检索的记忆。
任务执行方面,用户说出“帮我叫一辆去公司的车”,助手即可确认常用地址、选择车型并发起下单。技术预览版中已出现的“操作手机”功能此次以Beta版形式开放。豆包方面表示,图形界面智能体仍是快速发展的前沿能力,为此推出屏幕自动化操作声明协议(SAEP),并同步启动为期30天的规则公示。根据该协议,第三方应用可自主声明操作边界,明确允许或拒绝AI助手在本应用内进行屏幕自动化操作;对明确拒绝相关操作的第三方应用,豆包手机助手不会进行自动化操作。
隐私与安全方面,豆包手机助手称在数据收集和处理上遵循“合理必要”与“用户自主控制”原则,并建立Agent防护体系,对可操作范围进行分层、分级管理,用户可前往官网查看完整的隐私安全白皮书。
据爱范儿报道,其拿到消费者版本实测后,长按AI键可唤起助手,双击进入实时视频对话,锁屏状态下也能直接询问天气等通用信息,涉及敏感操作时结合指纹验证。屏幕内容可直接作为模型理解问题的上下文,用户无需退出应用即可识别犬种、总结论文、识别影视剧中的演员与场景。该媒体称,将“把手机调成静音、设下午3点闹钟、查询未来3天天气、每天早7点出门前提示”四项待办一次交给助手,约一分钟完成;一项包含查找邀请函、添加日历、规划行程的复杂任务耗时17分钟。记忆能力可检索录音、联系人、相册、短信、便签和日历,也可保存地址、订单号等信息。用户还可切换到“工作任务”模式处理复杂办公任务,输出Word、Excel或PPT文件,但该模式与“操作手机”等工具暂不能同时使用。
爱范儿在报道中提到,苹果在刚结束的发布会上由新任CEO特努斯将iPhone定位为“智能个人中枢”,豆包手机助手则尝试让手机承担从意图到结果之间的过程,该媒体将这类终端称为“行动终端”。