据Engadget报道,翻译耳机要实现两种语言之间的实时转换,需依次完成语音识别、机器翻译和文本转语音合成三个步骤,而厂商宣传中95%乃至99%的准确率,在实验室之外的实际环境中往往难以兑现。
以苹果AirPods Pro为例,用户先连接iPhone,在翻译应用中选定语言并开启实时翻译,对方说话后几秒内耳机就会播出译文;也有部分产品要求用户把一只耳机递给对话方。工作流程的第一步是语音识别,耳机通过麦克风拾取说话人的声音,高端产品会用多套方案把人声从环境噪声中分离出来,例如Soundcore Liberty 5 Pro配备八个麦克风、两个骨传导传感器和专用AI模型,另一些产品则依靠双麦克风或波束成形实现类似效果。
第二步是音频处理。音频可能在配对的手机上、云端或两端同时处理,具体方式因品牌而异。据Engadget报道,苹果AirPods Pro在用户下载语言包后全部处理都在iPhone上完成,谷歌Pixel Buds则把翻译放在云端,需要联网。处理过程中,语音识别先把声音转成文字,再把文字译成目标语言,自然语言处理技术负责理解句意与语境,部分翻译耳机还调用ChatGPT等大模型来改善语境判断。
第三步是文本转语音合成。系统用合成音生成译文音频,经手机通过蓝牙传回耳机播放。AirPods Pro、Galaxy Buds Pro等产品可以全程离线完成翻译,另一些则需要稳定的网络连接,对离线能力有需求的用户应在购买前确认。
报道指出,翻译耳机如今的表现比早期产品好得多,但广告中宣称的95%或99%准确率仍属营销话术。许多产品确实能达到99%的准确率,前提是条件近乎完美,而这在厂商实验室之外很少出现。常见的短板是速度与准确度:条件理想时,从拾音到处理再到合成只需几秒,条件不佳时更久,这种延迟会让对话变得拖沓。说话人吐字不清、生僻方言、俚语、同音词、习语和较强背景噪声都可能干扰翻译,语言对越冷门,出错的频率越高。
离线使用还有额外限制。Timekettle目前提供14个离线语言对,前两个免费,其余每个收费10美元,而媒体翻译、通话和高级AI功能仍需联网。不少翻译耳机同时可作为普通耳机用于通话和影音播放,如果购买目的不限于翻译,用户应确认产品是否具备所需的其他功能,以免再单独添置一副耳机。