智源研究院推出FlagEval“天秤”大模型评测体系「天秤使用说明」

6月9日 消息:在今日的2023北京智源大会上，智源研究院宣布推出FlagEval（天秤）大语言模型评测体系。该体系从“能力、任务、指标”三维评测角度出发，结合超过600个维度对大模型进行全面测评。

据悉，天秤大模型的任务维度目前包含22个主观和客观评测数据集，共计超过84433道评测题目。

智源研究院院长黄铁军指出，大模型至少需要具备三个特点。第一，规模要大，需要达到百亿参数级别;第二，涌现性，能够产生预料之外的新能力;第三，通用性，不限于专门问题或者领域。