萤石云开发者服务「ECDC萤石云开发者大会启幕 重磅发布蓝海大模型、HomePlay OS 2024」

【】6月27日，以“AI达百业，视之所向”为主题的2024 ECDC萤石云开发者大会在杭州举办。十一年锤炼，萤石成长为了全球领先的视觉物联网云平台，实现从视频到视觉的跃进，并通过构建多数据中心+就近服务点的方式服务于全球客户。截至2023年底，萤石云平台已拥有超过31万名开发者客户，场景涵盖了零售连锁、畜牧养殖、教育教学等音视频应用普及的千行百业。

专注于音视频场景应用探索的萤石，在本次大会上呈现了智慧物联与视觉云的最新动向，揭晓了垂直大模型在家庭及商业服务中的价值体现，助力开发者解锁更多AI应用场景。同时，全栈开放的萤石云服务也迎来了前沿技术的引领升级，萤石对PaaS平台的新组件和新工具进行了场景化更新，引入大模型能力，持续构筑视觉云平台的行业领先地位。

携手ISV客户，迎接AI新时代

现实世界的每一分每一秒都在发生着海量的信息交换，在庞大的信息数据中，音视频内容具备更全面的通信要素，成为现代社会各类场景使用的重要信息载体。含“信息”量更高的音视频数据，也在更广泛的行业获得了应用。

萤石网络政企业务部总经理薄法强先生首先带来了“携手ISV客户，迎接AI新时代”的主题演讲。音视频应用行业覆盖广，开发潜力大，萤石云整体业绩稳健增长，在智能家居、连锁商贸、智慧工地与透明家装、医疗养老、娱乐竞技等诸多领域均拥有优秀的开发者合作伙伴，共同落地了丰富的视觉应用。2024年，萤石云升级为全球领先的视觉物联网云平台，立足双主业聚”视”向前行。

聚焦音视频领域，同时与千行百业开发者共同深入场景的萤石云业务，正在通过行业需求的不断锤炼，迭代平台开发能力。有音视频技术覆盖的地方，必然催生通过音视频带来管理效率提升亦或是业务方案创新的需求，AI技术正在成为萤石过去沉淀验证的海量基础能力的催化剂，让开发者与行业客户看到了不同行业前行的新路标。

萤石蓝海大模型：自研垂直物联场景的具身智能大模型

萤石在音视频领域持续引领，以云服务为依托，驱动智能家居行业以及以零售连锁为代表的更多行业实现视觉智能应用升级，帮助企业客户进一步降本增效。对于大模型的场景化应用，智慧物联和视觉能力见长的萤石，有了新的解读。

萤石智能算法总经理程战战分享了萤石的AI技术策略，萤石聚焦于空间级的具身智能，萤石的AI是与物理世界交互的具身AI。程博士指出，通用的大模型技术属于互联网大模型，天生缺少与设备的交互，不具备具身记忆，端云协同能力也存在明显短板。为此，萤石自主研发了面向物联网场景的“蓝海大模型”。蓝海寓意为地球上的生命最初诞生在蓝色的海洋中，进而催生出不同智能等级的物种，萤石期待在高度复杂的物联数据海洋中，蓝海大模型能够奔向通用人工智能。 

萤石蓝海大模型是面向物联场景的具身智能大模型，具备开发开放、基础交互及具身代理三大体系化AI能力，覆盖从设备感知到设备执行全链路，接入的设备多种多样，能够感知世界空间信息，处理多模态数据，进行精确识别与理解，最终规划指导设备做出响应。

萤石积累的海量AI能力，除了应用在自身智能家居行业，也将进一步开放给行业开发者，如对于原子算法，萤石提供了29大类，93子类的能力，这些算法是AI开发者“行走江湖”或“居家必备”的基础能力，覆盖从基础的数据治理工具到模型部署等AI工具，可以直接进行调用与使用。

萤石提供的端云协同算法能力，包含了73种基础感知算法，覆盖文本、音频、图像及视频，如人脸识别、人形检测、OCR等，可以被直接调用与使用，供开发者做出对应的AI解决方案。

而对于交互或生成式类算法，萤石也提供了26种能力，覆盖语言交互、图像生成、多模态交互，及多种具身代理服务。萤石深知AI技术应用也可能伴随风险，十分注重AI技术研发与应用过程中的安全防控，这也是萤石的强项，萤石正在依照法律法规要求履行相关算法的安全测评、备案等手续。

萤石HomePlay OS：以AI 为核心的新一代架构

大模型带来了准确率的提升，可以应对更复杂的任务，但也让企业面临新的挑战，如AI应用开发变得复杂，运行大模型带来的巨大的成本支出。

为此，萤石云系统架构负责人明旭提出了以AI为核心的新一代架构—萤石HomePlay OS，一个围绕人、家、商业，以提升用户的生活及工作体验为目的，通过提供智能代理及以视觉为主的AI能力，让开发者可以快速、灵活、低成本的方式开发自身智能场景或应用的平台。

HomePlay OS—“Home”意指围绕人、家、商业，“Play”则代表提升用户的生活及工作体验，通过提供智能代理的方式释放人的生产力，将人从相对繁琐、没有乐趣的事务中解放出来。“OS” 表示萤石并不希望所有业务都由自身完成，而是将这些能力开放给开发者，建立与开发者共同完成的使命。

萤石HomePlay OS 具备AI核心、代理封装、云边协同、隐私保护、全面开放等五大特性。展开来说，基于HomePlay OS不仅可以有效实现以AI为核心的感知、计算和执行，还能将大模型与服务、工具紧密融合实现代理封装，解决开发者大模型应用门槛的问题。另外，HomePlay OS基于有效的端云协同，可灵活分配端和云的算力实现成本最优化，该架构还保持了计算资源、模型、模型组合、代理等多层的全栈开放性。注重数据安全与隐私保护一直都是萤石的主张，在HomePlay OS架构的演进过程中，萤石采用了用户控制下的端到端内容加密，尽可能采用边缘计算或近场去隐私化的计算方式。

通过HomePlay OS的创新实践，萤石正积极探索大模型时代下企业如何更好地定位自身在AI战略中的角色。一方面，萤石敏锐地洞察到大模型给企业带来的新挑战，另一方面，又提出了切实可行的架构解决方案，致力于让开发者更加高效、低成本地开发AI应用，并保障用户隐私安全。这既体现了萤石对行业发展趋势的前瞻性思考，也凸显了其作为行业技术引领者的责任担当。

萤石开放平台：视觉云推动AI场景化应用跃升

作为一个全面开放的物联平台，萤石开放平台不仅为设备制造商提供南向的云接入能力，还为行业开发者提供基于云的音视频和AI能力，以辅助开发者打造个性化的行业解决方案。截至目前，萤石开放平台已累计发布了超过1000个开放接口，涵盖接入、直播、通话、存储、AI、信令和用户连接7个类别，31组原子能力，以及20多款aPaaS低代码组件，为海量开发者提供了有力的技术支撑。

萤石开放平台是萤石与开发者携手深入行业的前沿阵地，每时每刻，开发者都在萤石云上调用能力，并据此不断完善适用于各行各业的解决方案。萤石开放平台产品负责人邵佩先生表示，2024年萤石开放平台依旧持续往开放化、智能化、场景化方向发展。

以当下火热的自助消费场景为例，萤石云服务能力及大模型技术，将为行业智能化变革带来新的思路。如自助台球室，正在追求低人工投入成本，全智能化控制，24小时不间断营业的运营策略，要实现这样的物联系统，需要具备三个关键能力：远程化的巡检能力，能够及时响应的连线服务能力，以及低成本的运维能力。

为满足这些需求，萤石推出了更优的开发者集成方案，包括智能视觉巡检组件、智能视频客服组件，以及远程排障专家工具，帮助企业快速升级智能化能力，保障项目尽快上线。

新组件的应用，为开发者呈现了完善的音视频开发服务。其中，结合萤石蓝海大模型升级的智能视觉巡检组件适用于自助门店、收银防飞单、餐饮规范治理和无人服务防纠纷等各种行业的远程巡检场景。智能视频客服组件主要用于提供远程视频连线服务，提供了数字分身复刻能力，融合萤石蓝海大模型，可以实现全天候的音视频连线服务，帮助开发者打造专属的个性化智能服务，目前已在零售、银行、医院、景区等自助化场景中广泛落地，帮助众多企业提升了服务的半径和深度。

这些能力都能适配专有化模式，可以协助我们的开发者为需要私有化部署的中大型企业客户提供服务支撑。后续，萤石也将携手开发者，将全新能力应用于更多场景，助力多行业创新。

视觉应用行业落地，AI价值长线释放

音视频应用深刻改变着行业管理效率与模式创新，使用方式各有特色，呈现效果百花齐放。本次开发者大会，以连锁经营为代表的两家位合作伙伴带来了行业落地应用的全新方案。

KO台球是自助台球开创者，已在全国布局300多个城市，超过5000家门店，覆盖用户超800万人，KO台球轻装上阵，利用视觉能力，让监控、运营、营销等重人力环节高效释放，持续为业务扩张提供动力。北京新守心城科技有限公司（KO台球）副总经理兼CMO许海波先生表示，基于萤石云服务能力，创新打造了视频内容生产和用户直播功能，通过自动获取精彩瞬间、低延时直播等方式，进一步放大台球在短视频时代的社交属性。双方在AI 应用上合作精进，已上线AI短视频剪辑、AI视觉追踪算法清台、AI电子裁判及AI数据化运营等丰富的运营、管理方案。

酷店掌是专注于连锁门店的数字化运营服务商，合作终端店铺超150,000家，对传统门店智能化升级具备丰富的实践经验。会议现场，杭州酷店掌科技有限公司客户总监习轩昂先生分享了基于萤石云物联底座的数字化门店运营变革方案，新一代门店管理已全面启用数字华、可视化和AI 智能化，涵盖线上线下巡店、人员管理、运营管理、业务培训、经营分析等维度，不断优化门店降本增效。2024年，酷店掌还进一步引入了萤石物联专有云服务，构建专属的视频AIoT平台，为自身业务不断上涨的智能设备管理持续保驾护航。

通过萤石蓝海大模型、HomePlay OS的全新发布，以及云开放业务的能力升级，在共同面对的已知场景和未知领域，萤石相信，视觉服务将迈入新的价值释放阶段，新一轮方案构思也已快步走来，新服务必将带来新的增长点。（Suky）