MiniMax 稀宇科技发布万亿 MoE 模型abab 6.5_稀宇新材料科技有限公司

4月17日 消息:MiniMax 在2024年4月17日推出了 abab6.5系列模型，这是一个万亿 MoE（Mixture of Experts）模型。在 MoE 还没有成为行业共识的情况下，MiniMax 投入了大量精力研究 MoE 技术，并在今年1月发布了国内首个基于 MoE 架构的 abab6模型。经过三个月的研发，他们推出了更强大的 abab6.5模型。

abab6.5系列包含两个模型:abab6.5和 abab6.5s。abab6.5拥有万亿参数，支持200k tokens 的上下文长度;而 abab6.5s 采用了相同的训练技术和数据，但更高效，支持200k tokens 的上下文长度，并且可以在1秒内处理近3万字的文本。

在各类核心能力测试中，abab6.5开始接近世界上最领先的大语言模型，如 GPT-4、Claude-3、Gemini-1.5等。

abab6.5和 abab6.5s 将会陆续更新到 MiniMax 旗下的产品中，包括生产力产品海螺 AI 和 MiniMax 开放平台。用户可以通过这些产品来体验这些先进的语言模型。