据MarkTechPost报道,谷歌研究团队宣布推出基于可信执行环境(TEE)的下一代联邦学习系统,并称首次为联邦学习提供可外部验证的中心差分隐私保障。该系统已用于Gboard的英语和日语下一词预测模型,谷歌称其在更强隐私保障下提升了准确率。
谷歌自2017年引入联邦学习,支撑Gboard下一词预测、智能撰写、Google Messages回复建议和Android智能文本选择。早期系统存在信任缺口:设备上传数据用于即时聚合,但外部无法验证数据从未被记录或检查。安全聚合虽增加密码学保护,却不兼容矩阵分解DP-FTRL等先进中心差分隐私算法,且谷歌仍需被信任能正确添加差分隐私噪声。新设计将客户端梯度计算移至服务器,并使服务器逻辑可验证,从而不再需要信任运营方。
据MarkTechPost报道,该系统建立在谷歌此前的机密联邦分析工作之上,由四部分协调。数据上传时,设备本地加密训练样本并预先授权访问策略,策略列明哪些TEE计算可处理数据,且必须出现在公共透明度日志中。密钥管理系统由运行RAFT共识协议的TEE构成,仅向符合策略的工作负载发放密钥。根TEE运行Python训练循环,并将子任务分配给工作TEE,编排使用派生自TensorFlow Federated的Federated Language。只有差分隐私模型权重会被释放。每轮还保存KMS加密的恢复状态,以处理根TEE或工作TEE故障。
隐私保障的可验证性来自访问策略发布至Rekor——Sigstore的公共透明度日志。外部审计者可以追踪设备数据可能流入的每一个服务器工作负载。KMS和数据处理二进制可从开源代码可复现构建,策略直接描述Python训练程序。为保护专有模型架构,TEE支持在运行时侧载序列化逻辑,但所有与隐私相关的逻辑必须硬编码在经过验证的程序中。工作负载运营方只能看到指标和差分隐私模型权重,加密数据在上传后仅能在有限时间内解密。
Gboard采用该系统后,英语和日语下一词预测模型获得更强隐私保障和更高准确率。两个设计选择推动这一结果:所有上传都在服务器训练运行前收集,设备可用性的昼夜波动不再拖慢训练,程序可计算最优参与时间表并调整差分隐私参数;瓶颈转移至服务器,此前的联邦学习模型每个需一至两个月训练,现在可跨机器并行,仅受TEE资源可用性限制。谷歌报告计算时间大幅加快,但没有公布单一加速数字。其隐私—效用曲线来自英语模型在两种系统上以每批6500台设备训练5000轮。