据SiliconANGLE报道，iMerit Technology Services于10月26日推出iMerit Scholars平台，帮助AI开发者招募和管理专业领域专家，以评估、微调和验证用于高要求企业应用的模型。该公司称，平台旨在管理一个预计将增长至数十万人的全球专家网络。
目前，iMerit社区已有来自118个国家的3万多名经过审核的专业人员，覆盖106种语言，以及医学、数学、农业和自主系统等学科。iMerit表示，此次发布反映出AI开发重点正从构建能力不断增强的基础模型，转向将这些模型适配具体应用，尤其是在医疗、银行和保险等受监管行业。
EXL执行副总裁兼iMerit负责人Radha Basu说：“这就像有了一个产品，然后问‘我们要拿它做什么？’”她表示，随着企业在错误可能带来严重后果的应用中部署AI，专业人类知识正变得越来越重要。
平台提供招募、入职、评估、任务分配和报酬支付等集中工具。它基于iMerit专有的Ango Hub数据标注、工作流自动化和模型微调平台构建，支持多模态训练数据协作、模型评估和反馈流程。支付处理与合规能力通过与Trolley Technologies的集成提供。与常规数据标注服务不同，iMerit强调专家质疑AI模型并找出自动评估可能漏掉的错误的能力。Basu说：“我们称之为‘折磨模型’。质疑模型，质疑模型以确保它正常工作，真正尝试攻破它。”
iMerit采用三层评估流程筛选参与者：初步筛选评估一般AI能力和认知技能；后续评估考察领域特定资质以及与AI模型有效协作的能力；最专业的评估则由其他专家进行同行评审。公司直接管理客户项目，而非仅将客户与独立承包商匹配，职责包括项目管理、质量保证和审计。专家按单个项目获得报酬，但仍属于更广泛的Scholars社区。
Basu表示，维持长期关系很重要，因为专家会在连续的评估和训练周期中积累对模型的知识。公司提供多种定价安排，包括基于专业知识的小时费率、与特定交付成果挂钩的合同，以及与可衡量结果关联的合作。她以识别早期作物歉收的农业模型为例，说明这类工作可以按绩效目标评估。
iMerit称，平台也能应对剧烈波动的需求。Basu回忆，一名客户曾要求在三四天内增加约400名工作人员，以应对紧急需求。iMerit于7月被ExlService Holdings收购，这使公司获得更多医疗和保险领域的专业知识，扩大其支持企业特定AI应用的能力。Basu说，公司尤其希望扩大专业学科和语言的覆盖范围。“我们现在最大的需求是进入新的专业知识领域，扩展到新的语言，并进入同一专业知识领域的新层级。”