百度智能云主打大模型应用落地“效价比” 一口气推出5款新模型

【】3月21日消息，2023年，大模型在全球范围爆发式增长，经过一年的狂飙突进似发展后，业内普遍认为2024年是大模型应用落地元年。让企业客户愿意、能够、有效的应用大模型能力，成为大模型企业思考的重点。

自2023年12月以来百度智能云千帆大模型平台服务8万企业用户，累计帮助用户精调1.3万个大模型，帮助用户开发出16万个大模型应用。在这份成绩的背后，百度智能云对服务企业落地大模型了也有了一套心法。

百度副总裁谢广军在接受媒体采访时表示，2024年AI原生应用会加速落地，企业从探索场景逐步走到落地应用，这个时候会遇到模型性能、效果，以及在成本多方面的挑战。综合考量“大模型的使用效果、性能以及成本”即“效价比”，成为企业落地大模型的核心诉求。

百度副总裁谢广军

针对企业最关心的大模型落地场景、使用成本、应用开发、应用效果四大挑战，百度智能云千帆在大模型ModelBuilder、AI原生应用开发工具组件AppBuilder两个方面给出了最新“解题思路”。

一方面，为满足企业“效价比”核心诉求，百度千帆ModelBuilder大模型服务全面升级，全新发布3个轻量级大模型、2个垂直场景大模型。

另一方面，百度智能云对千帆AppBuilder组件能力全面升级，开放工具组件增至55个，进一步大幅降低AI原生应用开发门槛。

通过这两条腿齐发力，以期加速大模型在企业业务中的应用落地。

上新5款大模型 最高推理调用成本下降53%

谢广军表示，当前业界已逐渐形成一个共识，即模型不见得是参数规模越大越好。在很多实际的场景当中，用小尺寸的专家模型也能够达到通用大模型的效果，小尺寸专家模型的推理成本会更低，更便宜。大模型“效价比”才是企业核心诉求。

基于这样的研究方向，百度智能云推出了三款轻量级大模型。

ERNIE Speed作为三款轻量级大模型中的“大个子”，推理场景下拥有最高128k的上下文长度，在处理知识问答等任务时，能够更好的处理上下文的依赖关系，生成更加连贯和准确的预测或回答。同时，针对特定场景可以将ERNIE Speed作为基座模型进行精调，模型效果可以追平甚至超过旗舰级大参数规模大模型，效价比大幅提升。

ERNIE Lite，其参数量相比ERNIE Speed更小，也更加适合搭载在低算力的AI加速卡上处理推理任务，在兼顾模型效果与推理性能的同时，大幅降低客户落地应用成本。作为ERNIE-Bot-turbo模型的升级版，ERNIE Lite在情感分析、多任务学习、自然推理等场景下的应用效果提升了20%。推理调用成本大幅下降了53%。

ERNIE Tiny，三款轻量级模型中参数量最小的大模型，为客户提供了极致低成本、低延迟的最佳选择。在检索、推荐、意图识别等高并发、低延时等应用场景中，ERNIE Tiny的优异性能呈现了不俗表现。在某对话推荐业务场景中，精调后的ERNIE Tiny在搜索引擎推荐词激发环节，相比ERNIE 3.5，对话轮次增长了3.5%，成本下降了32%。

此外，企业在落地应用中，对大模型在人物扮演、外部工具调用均有更高的效果要求。本次千帆大模型平台ModelBuilder还基于对企业场景的深入洞察，结合百度自身业务最佳实践沉淀，推出了ERNIE Character和ERNIE Functions两款垂直场景大模型，分别适配客户在角色扮演类应用场景（如游戏NPC、客服对话等）和工具调用场景（对话中使用外部工具、调用业务函数等）中的使用需求。

谢广军介绍，在企业实践中，某智能硬件厂商，基于ERNIE Character打造智能助理，应用该模型后在人设一致性、激发并提升用户聊天欲望等方面效果显著提升。某旅游出行类APP，使用ERNIE  Functions打造智能客服助手，在执行订票、查询航班状态等多种function调用上准确性达到85%。

谢广军强调，新发布的三款轻量级模型主要有两个使用场景：一是客户、合作伙伴会结合自己的数据做垂类场景模型。一是百度也会基于这些小的基座模型，去开发一些行业垂类场景模型，比如做教育行业的教辅答题和解题等。

向量数据库VDB 1.0亮相 开放工具组件达55个

千帆AppBuilder作为产业级AI原生应用开发平台，是千帆的重要组成部分。

此次升级后的AppBuilder开放的工具组件多达55个。包括基于百度多年技术积累和自有业务沉淀的大模型组件、AI能力组件，也包括搜索等百度特色的业务组件、和多场景的第三方API工具，另外还提供了 RAG（知识检索问答）、GBI（生成式数据分析）等根据典型应用场景深入调优的高级能力组件。

开发完成后，应用可多渠道分发与集成，AppBuilder支持将应用一键分发到微信客服、微信公众号、Web端/H5及百度灵境矩阵等主流渠道。基于百度灵境矩阵，应用可在百度搜索、百度信息流等主流场景分发与挂载。真正实现应用开发出来后，就直接触达用户，打通从AI原生应用创建到开发再到分发的全流程。

开发AI原生应用离不开云基础设施，值得一提的是，本次发布的基础组件还包括了百度智能云全新推出的向量数据库VDB 1.0。

谢广军表示，大模型火了之后，向量数据库重要性凸显，它可以帮助减轻幻觉、解决数据数据更新等问题，也是加速大模型在场景落地的关键技术。

百度向量数据库VDB1.0既是一项独立存在的产品和服务，是百度智能云的一项基础设施，也是作为一项基础云的组件和能力封装到了千帆AppBuilder里面。

谢广军强调：“当前大模型落地过程中，向量数据库应用成本相对较高，企业在千帆AppBuilder中组件化利用向量数据库的能力，是一个性价比兼具的方案，相比同类开源产品，VDB 1.0性能最高提升10倍，相比付费产品，则更省成本。”

模型路由，让成本再降15%

会上，谢广军还透露了百度智能云的模型路由服务。百度智能云的模型路由是以降本为目的来做MOE。

谢广军表示，模型路由能够帮助客户在使用场景中，根据不同情况选择不同的能力模型。小模型往往比较擅长垂类场景，但在实际使用过程中，这种场景会非常多，十分泛化，模型路由通过分流，让在某一垂类问题上更专业的专家模型来回答，专业的模型解答专业的问题。相比旗舰模型或者更大尺寸的模型，小尺寸模型也能达到同样甚至赶超的效果，提升性能的同时降成本。如果都不能回答，就让大尺寸的模型或者旗舰模型来“兜底”。

据介绍，通过百度智能云的模型路由方案，有企业客户的模型推理成本降低15%。

谢广军称：“当前，ModelRouter已启动邀测，一些手机厂商客户在应用过程中已经感受到成本的下降，保证业务效果不降的情况下，将简单的Query调度到更轻量级的模型上，使得综合成本下降。”（果青）