通信世界网消息(CWW)中国信息通信研究院公布了可信AI代码大模型评估的首轮评估名单,阿里云通义灵码、华为云盘古、智谱codegeex等国产AI大模型均入选并首批通过。
此次大模型评估以《智能化软件工程技术和应用要求第1部分:代码大模型》标准为依据,围绕通用能力、专用场景能力、应用成熟度,为模型能力提升和企业选型提供规范性参考。
此次验证,依据标准开展,评价指标覆盖6大通用能力场景、7大专用能力场景、3大服务成熟度,多维度验证研发大模型在研发场景能力和人效优化效果方面的场景丰富度,重点考察研发大模型在代码理解、代码生成和补全、研发问答、单元测试用例生成等方面的能力支持度,全方位评估研发大模型在数据合规性、模型成熟度、服务成熟度方面的应用成熟度。
目前,华为云盘古大模型、智谱CodeGeeX代码大模型、阿里云AI编程助手通义灵码、中国电信星辰政务大模型等首批通过评估,并在全部100多个能力评估中表现优秀,获得4+评级。