谷歌当地时间 10 月 1 日开始在 Gemini Live 中推出名为 Guided Vision 的新功能,让盲人和低视力用户通过手机摄像头获得实时语音描述。据 Android Authority 报道,该功能当天面向兼容的 Android 手机推送。
用户启用后可将摄像头画面共享给 Gemini,听到对周围环境的实时描述,并就所看到的内容继续提问。如果 Gemini 需要更好的取景,会以语音提示用户向右平移、向下倾斜或后退。谷歌表示,Guided Vision 可帮助完成阅读细小标签、识别家电控制键、寻找掉落的耳机、在杂乱的橱柜中找出物品、搭配衣物颜色以及描述陌生房间等日常任务,并支持跨多种语言的对话。
启用方式包括 Gemini 的设置、Android 的无障碍菜单,或直接通过 TalkBack;用户也可以在设置中为其创建无障碍快捷方式。该功能适用于运行 Android 9 及以上版本的设备,且需处于支持 Gemini Live 的地区和语言范围。
据 Android Authority 报道,谷歌与无障碍服务机构 Aira 合作开发了这项功能,Aira 旗下 Trusted Tester 网络中有超过 1000 名成员参与测试。Android Authority 此前发现谷歌正在准备 Guided Vision 的独立开关,随后又出现了可直接进入该功能的无障碍快捷方式;谷歌在 9 月预览了完整使用体验,当时称“即将推出”,10 月 1 日的宣布意味着正式上线。
The Verge 在报道中将 Guided Vision 与苹果为 iPhone 和 Vision Pro 加入的 VoiceOver Live Recognition 功能相比较,称两者都面向盲人、低视力用户或需要在特定场景中获得帮助的人群。The Verge 还提到,用户可以就正在观看的对象继续提问,例如让 Gemini 读出它帮忙找到的物品上的有效期;谷歌称,若用户询问的内容不在画面中,Gemini 会给出音频提示帮助对准摄像头。
谷歌提醒,与其它人工智能工具一样,Guided Vision 可能出错,用户不应依赖它进行导航、安全出行指引或障碍物检测,也不能用它替代白手杖或其它行动辅助工具。