大模型为自动驾驶落地开启“加速键”_自动驾驶仿真模型

通信世界网消息（CWW）9月21日，华为在“华为全联接大会2023”上发布盘古汽车大模型，可模拟矿区环境扬尘、上下长坡、大曲率转弯等场景并加以自动标注，将自动驾驶学习训练周期从两周以上缩短至两天内。据IDC咨询预测，自动驾驶开发解决方案市场未来五年复合增速将高达90%，占整体解决方案市场比例约70%。随着自动驾驶的全面加速，AI算法更新和高质量的数据将是推动自动驾驶向高阶进行演进的“引擎”和“燃料”。大模型因其高效的数据处理能力和模型的通用能力，实现自动驾驶快速端到端感知一体。我们认为大模型赋能自动驾驶将是推动市场新活力的关键。

数据、算法、仿真是自动驾驶实现的三大关键

图1自动驾驶流程

自动驾驶是通过视觉摄像头、激光雷达、超声传感等多模态传感器进行环境感知，AI算法进行规划决策，以持续地执行全部驾驶任务的一种驾驶功能。感知和执行模块主要由汽车电子零部件/硬件设施完成，而决策模块则由算法、操作系统、芯片等组成。通过摄像头、雷达等汽车零部件收集环境数据，并由数据平台进行数据处理和标注，用于模型训练及仿真训练测试，完成对自动驾驶算法的迭代优化实现模型的更新，具体流程如图1所示。

大模型可全面（数据、算法、仿真、资源优化）赋能自动驾驶，为自动驾驶系统提供高效、准确的决策能力。一是通过数据自动标注能力降低数据成本。二是通过图片生成能力助力生成特定驾驶场景，提升仿真环境精度，提升训练效率。三是通过大模型“蒸馏”关键信息赋能车端小模型，加强其感知能力。四是大模型将丰富人车交互体验，赋能智能座舱新生态。五是提升车端感知设备感知性能，满足车辆实现更好的规划和决策。

大模型赋能“智驾”和“智舱”的关键分析

1.大模型具有高效的自动标注、数据生成能力，降低汽车数据研发周期和成本

大模型具有自动标注的能力，标注效率从一年降低到几个小时，研发周期大幅缩短，降低研发成本。如毫末智行DriveGPT雪湖·海若，完成基于4000万公里驾驶数据的训练，参数规模达1200亿。可对各类场景实现自动标注，较人工标注单帧图像整体标注成本降低约10倍。

2.大模型提升仿真环境精度，降低长尾问题收集难度，提升训练效率

大模型以文生图、以图生图的数据生成能力可以实现定制化场景的仿真画面，解决长尾场景数据收集困难的问题。如华为盘古大模型以“场景生成大模型、预标注大模型、场景理解大模型、多模态检索大模型”技术能力，提升自动驾驶平台数据处理效率，进一步解决车企和自动驾驶公司场景数据难题。

3.大模型通过“蒸馏”赋能车端小模型，实现自动驾驶终端感知决策能力的提升

云端大模型作为车端模型的“教师”，可通过“蒸馏”提取大模型的关键信息，用于车端模型训练，实现车端模型的高性能感知决策。如百度基于文心大模型重点研发自动驾驶感知算法，通过大模型到小模型的“蒸馏”，助力小模型远距离3D视觉感知能力的提升。毫末智行的Drive GPT大模型通过引入RLHF技术优化了认知决策模型，提升了车辆对周边环境障碍物预测、决策规控与逻辑等相关能力，如图2，改善了困难场景（Hard Case）驾驶策略可解释性。

图2 RLHF使Hard Case通过率提升48%

4.大模型提供的前后文理解能力，丰富人车交互体验，赋能智能座舱新生态

大模型赋能车载系统可实现智能交互，极大地丰富人与汽车之间的交互体验。如车载ChatGPT语音助手具有前后文理解能力，可以处理完整的对话并能进行追问，形成较为良好的语音交互体验。商汤科技也推出了“日日新SenseNova大模型”体系，可以提供智能化多模态的人车交互体验。

5.大模型具有算力资源灵活配置的能力，可提升车端各类型感知平台资源利用效率，更好的提升自动驾驶系统感知性能

大模型可针对不同自动驾驶感知平台方案灵活进行算力资源配置，进而实现辅助驾驶领域算力、芯片、传感器选择多样性，满足用户在不同的感知硬件平台方案下有相同的客户体验。如近期小马智行发布的一套多任务大模型BEV算法架构的“伸缩网络”，可基于车端不同的算力感知平台灵活调整网络大小以及对应的资源消耗率，使各有限算力的感知平台可识别更多的静态元素类型与更多的动态障碍物细分类，满足车端不同感知设备方案下的感知性能，进而实现更好的规划和决策。

大模型赋能自动驾驶的展望

自动驾驶涉及场景复杂，长尾效应（自动驾驶小概率路况）明显，现有通过增加模型训练里程提升场景覆盖能力的模式很难满足多样化场景要求，而大模型因其数据生成、多模态感知等能力，将助力自动驾驶场景覆盖更全面、感知性能提升。一是大模型的数据生成及标注能力在自动驾驶领域的应用，将为自动驾驶场景仿真模拟提供多样化场景数据，提升自动驾驶系统对长尾场景的覆盖能力。二是大模型的多模态感知、复杂任务规划、协同控制及泛化能力，助力自动驾驶提升感知及推理精度、补齐模型“记忆”等能力，有望全面推动自动驾驶的普及，未来市场空间可期。

大模型赋能自动驾驶落地需要数据、算力等基础能力的加持，以共建共营等合作方式打造超大规模智算中心，同步依托云平台定制化构建面向自动驾驶的智算服务平台，提供数据集、模型等全生命周期托管及相关工具集，将加速大模型赋能自动驾驶的应用落地。