头显终端体验感知技术的发展及趋势

2023年6月6日，苹果于WWDC大会发布了全新产品Apple Vision Pro头显终端。Vision Pro从硬件规到操作系统，重新定义了头显终端的体验感知技术能力，为头显终端市场带来新的竞争格局，同时也将为用户带来更加丰富和有趣的交互体验。2022年11月1日，工业和信息化部等五部门联合印发的《虚拟现实与行业应用融合发展行动计划（2022—2026 年）》中提出虚拟现实（含增强现实、混合现实）是新一代信息技术的重要前沿方向，是数字经济的重大前瞻领域，将深刻改变人类的生产生活方式，产业发展战略窗口期已然形成。

01头显终端体验感知核心指标

头显终端包括VR虚拟现实（Virtual Reality）、AR增强现实（Argument Reality）及XR混合现实（VR与AR的合称），这些终端设备能够为用户提供与虚拟或现实世界之间的交互体验。

图1 头显终端体验感知核心指标

围绕头显终端用户体验感知，本文归纳头显终端体验感知核心指标（图1），涉及软件、硬件及网络三个层面。硬件层面的主要目标是不断提升头显终端的沉浸感、降低眩晕感，也是硬件厂商重点解决的技术环节。沉浸感重点关注头显终端的交互感知技术；眩晕感重点关注近眼显示和光学镜片技术。网络层面重点是通过解决头显终端信息的传输、存储及云边端算力来保障体验感知。软件层面重点是构建内容生态，实现多应用场景全面覆盖。

02头显终端硬件体验感知的发展

头显终端行业从2012年开始经历了热潮期、冷静期，伴随2020年Meta发布的Quest2大幅带动整体销量，行业步入复苏期，到今年苹果公司发布Vision Pro带来新一轮热潮。我们选取了Quest2、ViVe Focus3、Pico4及Vision Pro 4款产品（图2），围绕头显终端体验感知核心指标，分析技术和体验的发展。

图2 头显终端代表性产品从硬件看，首先要降低头显终端用户眩晕感。

主要的硬件涉及近眼显示及光学镜片。通过分析各技术指标参数变化（图3），可以看到头显终端硬件技术的持续创新及趋势变化。

图3 头显终端眩晕感相关技术及指标参数

在近眼显示方面，高分辨率和内外屏同步是发展方向。主流设备的内屏技术方案以成本较低的LCD为主，虽然LCD结合超速驱动技术和铁电液晶材料，较大幅度提高了屏幕刷新率，但硅基OLED（又称 Micro OLED）采用CMOS基板，能实现LCD难以达到的像素密度（3000 以上 PPI），显著提高显示效果，有助于头显终端实现更清晰的体验，降低眩晕感。Micro OLED 因其高分辨率或将成为下一代显示方案。此外，Vision Pro的通过配置外屏，实现Eyesight反向透视功能。外屏可以结合内侧摄像头、传感器捕捉到的表情向外界显示用户的眼部表情，实现虚实融合的效果。

在光学镜片方面，更大视场角、更小畸变和无极自动瞳距调节是发展趋势。主要涉及透视、视场角FOV（Field of View）、瞳距调节和屈光调节等技术。透视类型Pancake逐步替代菲涅尔成为主流技术方案，Pancake可降低图像畸变，提高成像的对比度、清晰度、细腻度，大幅削弱颗粒感，同时Pancake可以支持屈光调节，为近视用户的使用提供了技术可行性。视场角FOV的提升，可以减少用户的视觉压抑感，实现更加宽广和舒适视觉体验。瞳距调节是解决晕眩感和视野模糊问题的关键技术，头显终端是双目独立成像，良好3D效果的呈现需要通过调整镜片之间的距离来匹配佩戴者的瞳距大小，保持光学中心的一致，其技术发展方向是手动到自动、分段到无极，实现用户无感操作，达到透镜距离准确匹配瞳距。

从硬件看，其次要不断提升头显终端沉浸感体验。主要的硬件技术涉及头部追踪、眼动追踪、面部识别及手柄/手势交互（图4）。

图4 头显终端沉浸感相关技术及指标参数

不断探索多模态交互功能，以实现虚拟环境与真实环境自然交互的体验统一是头显终端交互感知的未来趋势。Vision Pro在交互感知方面融入的创新技术超出了此前市场的相关产品，完全摆脱了手柄以及其他物理控制器，实现以眼动交互、面部识别及接近自然的裸手手势交互，重新定义了头显终端在3D空间的交互形态。

从网络看，“云-边-端”协同的移动算力网络将进一步推动头显终端体验升级。网络对音频、视频等各类传感器信息的多模态数据进行传输与处理，传输过程对速率、时延、可靠性等网络性能指标，以及存储能力的算力要求都提出严格的要求。未来具备“云-边-端”协同的移动算力网络，能够根据业务的多模态数据类型、算网资源需求将业务分离成不同数据流或算力任务，通过移动算力网络的多级协作，最大程度利用分布式算力资源，解决端侧算力受限等问题，满足头显终端沉浸化业务体验要求。

从软件看，构建丰富的内容生态是头显终端拓展消费级市场的发展路径。短期内，头显终端以游戏、影视为内容发展主线，未来逐步向社交、健身等多场景拓展，加速消费级内容生态的繁荣。长期来看，头显终端与医疗、教育、安全应急、文旅等场景结合，有望向B端G端市场渗透，打造技术、产品、服务和应用共同繁荣的产业发展格局。头显终端与各行各业的融合必将带来新模式、新业态，推动文化经济新消费。

03总结及展望头显终端硬件的持续创新，有望向更大尺寸、更高分辨率、更大视场角、更小畸变的产品迈进，真正实现无眩晕感，达到沉浸式自然交互，实现虚拟与现实世界的无缝融合。同时，人工智能大模型技术的不断成熟和应用落地，或将对人机交互、应用体验带来全新变革，进一步激活全产业链，有望推动头显终端行业进入高速增长。