并畅谈大模型推理技术实践 作业帮受邀出任稀土开发者大会架构专场出品人

6月28日至29日，集行业前瞻性与实践性为一体的稀土开发者大会在京成功举办。凭借对前沿科技的持续探索与深入研究，作业帮应邀参会，不仅重点参与了架构专题的建设，还针对行业热点的大模型技术做了重点分享。

作业帮线上业务中心负责人郑长帅受邀出任架构设计和业务稳定性建设出品人，立足行业，郑长帅深入参与了本场会议架构议题的选材与建设，作业帮业务中台技术负责人熊定云与声网、小红书、海达数据库等技术负责人场景化的还原了头部科技企业在架构技术方面的实践经验。

稳定性是系统架构治理的一个重要环节。每个业务都有各自领域的特点和发展阶段，相应地也会遇到稳定性挑战和治理决策的问题。作业帮的架构呈现多元化差异化、跨平台多角色强协同等特点，容量、功能、数据、容错容灾、高频活动的保障便成为了作业帮架构治理的关键任务点。

在架构专场，熊定云从作业帮架构的整体思考出发，围绕作业帮的架构治理方案的设计思路、方法、效果进行了详细阐述，讲解途中穿插实际案例，深入浅出地还原作业帮架构治理的实践之路。在分享最后，熊定云强调，对系统的稳定性要时刻保持敬畏之心，关注业务或系统中产生的新变量，持续迭代认知、坚持必要投入。

此外，作为最早开始教育垂类大模型研发的企业，作业帮AI Infra架构师乔显杰还在大模型部署与推理专题分享了作业帮大模型推理加速的实践经验。前沿科技的探索离不开底层技术的持续开发，随着大模型的发展，参数量和计算量越来越大，这些年GPU的算力也在不断发展，英伟达每次数据中心产品更新的算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重点。

乔显杰提到，大模型推理优化的重点，是如何充分利用GPU算力资源。因此，避免充分冗余计算、减少非Gemm计算时间、最大化Gemm算力则成为大模型推理优化的关键步骤。乔显杰通过开源框架的选择、量化方式的探索等几个方面详细分享了作业帮大模型的推理实践。

稀土开发者大会是由稀土掘金技术社区主办，本届大会主题为“代码不止，掘金不停”，面向开发者社区的中坚力量，集结近百位国内外技术大咖，旨在帮助开发者拓宽技术视野，传播前沿的技术理念，打造一场业界标杆级的开发者技术盛宴。