据SiliconANGLE报道,AI云基础设施初创公司Modal Labs Inc. 10月14日宣布完成7.5亿美元D轮融资,投后估值达157.5亿美元。本轮由Accel领投,Kleiner Perkins及六家现有投资方参投。Modal称,其估值达到今年5月上一轮融资后的三倍以上,年化收入同期增长至原来的三倍以上,已超过10亿美元。
Modal的收入中,近三分之一来自名为Sandboxes的云服务。该服务提供针对AI工作负载优化的托管容器,开发者可将其用作模型训练环境,也可用于运行AI代理及其生成的代码。Modal表示,Sandboxes每秒可配置数万个容器,这依赖其自研的基础设施管理系统,即调度器。调度器把容器配置请求并行分配到多台服务器,以加快处理速度。Modal称,在近期一次内部测试中,它运行了100万个并发容器。
运行AI代理的Sandboxes有时会连接第二个容器,或称sidecar,搭载辅助软件。例如,sidecar可运行检测和过滤幻觉的工具。Modal表示,Sandboxes把sidecar与其支持的容器放在同一台物理服务器上运行,以降低延迟。部分代理需要登录外部应用。Modal称,Sandboxes的“Secret Injection”功能允许代理使用应用登录凭据而不查看凭据本身,这种受限访问可保护凭据免受异常代理和网络攻击影响。
除Sandboxes外,Modal还提供针对AI训练工作负载优化的云服务。开发者可用相对简单的脚本启动GPU集群。Modal集群中的芯片使用RDMA交换数据;这是一种网络协议,通过缩短数据包传输路径来加快流量。在推理市场,Modal以Endpoints服务参与竞争,该服务让开发者在托管基础设施上部署AI模型,并通过应用基础设施对外提供。如果企业不想自建模型,可以使用其提供的开源算法库。
Modal的服务运行在其向20多家云提供商租用的硬件上。如果其中一家云出现技术问题,客户工作负载可以继续在其他云上运行。Modal将把新融资的一部分投入产品开发,计划推出聚焦强化学习和后训练的服务。这些环节属于AI开发工作流,旨在提升所训练AI的推理能力、安全性和成本效率。