智源团队推出生长策略 解决大模型训练算力成本过高问题

9月21日 消息:近日，智源研究院联合中科院计算所、南洋理工大学（新加坡）、电子科技大学(成都)、哈尔滨工业大学(深圳)的研究团队共同提出了一种生长策略(growth strategy)，以解决大模型算力成本极高的问题。研究团队基于生长策略逐步构建了一个具有1010亿参数的FLM-101B大模型。实际训练结果显示，只需约10万美元（约70万人民币）的算力成本，就能成功训练出一个效果和GPT-3、GLM-130B可比的千亿大模型。生长策略的核心思想是让模型在训练过程中的参数量可以随着训练进行逐步扩展，从较小的参数规模扩展到更大的参数规模。研究团队利用这种策略成功地训练出了 FLM-101B 大模型，并且通过评测发现，该模型在知识能力和智能水平方面具有竞争力。此外，研究团队还提出了一种基于 IQ 的评测方法，以更全面、客观地评估大模型的智力水平。他们从四个维度对大模型进行了 IQ 测试:符号评测、规则理解、模式挖掘和抗干扰评测。实验结果显示，FLM-101B 在这些评测任务上表现出了非常好的能力。FLM-101B模型地址:https://huggingface.co/CofeAI/FLM-101B