高级辅助驾驶技术迅猛发展，多传感器融合的复杂性、极端场景验证的高成本、数据标注的低效性，以及实时决策的可靠性成为行业开发效率的核心瓶颈。如何在有限资源下兼顾算法优化、安全合规与场景覆盖？传统实车测试也难以满足大规模验证需求…NVIDIA推出了汽车行业的端到端解决方案--DRIVE AGX™M 平台，实现高级别智能和安全性的软硬件开发工具和AV 基础设施。
一、什么是NVIDIA Halos
NVIDIA Halos——自动驾驶汽车全栈式综合安全系统
物理 AI 正在为自动驾驶和机器人开发技术的交叉领域释放新的可能性，尤其是加速了自动驾驶汽车的开发。正确的技术与框架对确保自动驾驶汽车驾驶员、乘客和行人的安全至关重要。
因此，NVIDIA 推出了 NVIDIA Halos 综合安全系统，将 NVIDIA 的汽车硬件、软件安全解决方案与其自动驾驶汽车安全领域前沿的 AI 研究相结合。
Halos 涵盖芯片、软件、工具和服务，有助于确保自动驾驶汽车从云端到车端的安全开发，聚焦基于 AI 的端到端自动驾驶汽车堆栈。
NVIDIA 行业安全副总裁 Riccardo Mariani 表示：“随着 Halos 的推出，我们帮助合作伙伴和开发者能够选择他们所需的先进技术打造其独特产品，从而推动实现打造安全可靠的自动驾驶汽车的共同使命。Halos 补充了现有安全实践，并有望加快标准化和监管合规进程。”
Halos 的核心
Halos 是涵盖三个不同层面但互补的整体安全系统：
在技术层面，它包括平台、算法和生态系统安全。在开发层面，它包括设计时、部署时和验证时的防护措施。在计算层面，它包括 AI 训练到部署，使用三个计算平台方案：NVIDIA DGX 用于 AI 训练、在 NVIDIA OVX 上运行用于仿真的 NVIDIA Omniverse 和 NVIDIA Cosmos 以及用于部署的 NVIDIA DRIVE AGX。
NVIDIA 首席自动驾驶研究员 Marco Pavone 表示：“在企业希望利用生成式 AI 开发功能日益强大的端到端自动驾驶汽车系统时，Halos 的整套安全方法尤为重要，这种方法排除了传统设计组合和验证。”
AI 系统检测实验室
Halos 的切入点是 NVIDIA AI 系统检测实验室，汽车制造商和开发商可通过该实验室验证其产品与 NVIDIA 技术集成的安全性。
在年初 CES 上推出的 AI 系统检测实验室是首个获得美国国家标准学会国家认可委员会 (ANAB) 认证的全球计划，它将功能安全、网络安全、AI 安全和合规整合到一个统一安全框架中。
AI 系统检测实验室的初创成员包括 Ficosa、OMNIVISION、onsemi 和大陆集团。
Ficosa ADAS 系统工程和产品经理 Cristian Casorran Hontiyuelo 表示：“加入 AI 系统检测实验室，意味着在具有创新性和完整性的前沿自动驾驶系统上开展工作。”
OMNIVISION 汽车产品营销负责人 Paul Wu 表示：“汽车不仅是交通工具，同时也是我们的娱乐和信息中心。汽车性能必须不断提升才能保障我们的安全。我们很高兴加入 NVIDIA 全新 AI 系统检测实验室，这是我们对践行产品最高安全级别承诺的体现。”
onsemi 汽车传感部总经理 Geoff Ballew 表示：“我们很高兴与 NVIDIA 合作，并参与 NVIDIA AI 系统检测实验室的启动工作。这一计划将以创新的方式改善道路安全。我们期待着它将带来的进步。”
大陆集团零部件业务负责人 Nobert Hammerschmidt 表示：“很高兴可以参与NVIDIA 新启动的 NVIDIA DRIVE AI 系统检测实验室的相关工作，我们将进一步深化两家公司之间的持续合作。”
Halos 的关键要素
Halos 基于三个重点领域：平台安全、算法安全和生态系统安全。
平台安全
Halos 采用经过安全评估的系统级芯片（SoC），内置数百种安全机制。
它还包括 NVIDIA DriveOS 软件（这是一个经过安全认证的操作系统，可从 CPU 扩展到 GPU）、一个经过安全评估的基础平台，可为所有类型的应用提供安全系统所需的基础计算机，以及 DRIVE AGX Hyperion 硬件平台，可在电子控制单元架构中连接系统级芯片（SoC）、DriveOS 和传感器。
算法安全
Halos 包括用于安全数据加载和加速库，以及用于安全数据创建、管理和重建的应用编程接口，以便在训练前过滤掉不良行为和偏差等。
它还提供丰富的训练、仿真和验证环境，利用 NVIDIA Omniverse Blueprint 进行自动驾驶汽车仿真，结合 NVIDIA Cosmos 世界基础模型进行自动驾驶汽车训练、测试和验证。此外，它还拥有一个多元化的自动驾驶汽车堆栈，将模块化组件与端到端 AI 模型相结合，以确保安全的采用前沿 AI 模型。
生态系统安全
Halos 包含多元且无偏见的安全数据集，以及安全部署流水线，它包括分级流水线和自动安全评估，和用于持续安全改进的数据飞轮，引领自动驾驶汽车安全标准和规范。
安全跟踪记录
Halos 汇集了 NVIDIA 在安全技术方面的广泛研究、开发、部署、合作与协作成果，包括：
- 在汽车安全领域投入了相当于 15,000 多名工程师的年工作产出
- 为国际标准委员会贡献超 10,000 小时
- 申请了 1000 多项自动驾驶汽车安全专利
- 发表了 240 多篇自动驾驶汽车安全研究论文
- 30 多项安全和网络安全证书
此外，Halos 还与 NVIDIA 汽车产品近期获得的重要安全认证和评估相吻合，包括：
- NVIDIA DriveOS 6.0 操作系统符合 ISO 26262 汽车安全完整性等级（ASIL）D 级标准。
- TÜV SÜD 授予 NVIDIA 汽车系统级芯片、平台和软件工程流程 ISO 21434 网络安全流程认证。
- TÜV Rheinland 对 NVIDIA DRIVE 自动驾驶汽车平台进行了独立的联合国欧洲经济委员会（UNECE）安全法规评估，该评估涉及复杂电子系统的安全要求。
二、核心技术（部分）
1、用于自主系统的实时检测基础模型
与斯坦福大学合作，利用生成式AI来增强自动驾驶系统应对突发异常的能力，共同开发了一个算法，可以实时使用大语言模型来提高自动驾驶的安全性，算法在2024年 Robotics: Science and Systems Conference获得最佳论文奖。在多个阶段使用LLM，首先用于实时检测异常情况，然后在检测到异常情况后，LLM会谨慎的推理出最安全的行动规划。
如何应对语义异常是自动驾驶系统面临的一个挑战，即如何处理物体和事件的异常组合可能导致的系统故障，传统系统往往难以应对这种特殊情况，我们的合作提出了一个算法框架，利用LLM的上下文理解能力，去实时识别这种特殊情况，并安全有效的应对他们
2、利用生成式AI增强自动驾驶仿真
MapLLM是为自动驾驶开发的一个大语言模型，用户的输入生成高精地图格式的驾驶场景。
LCTGen是一个可以理解交通场景文本描述的Transformer语言模型
场景编辑器扩展在开发期间可以接触到的真实ODD的范围
3、端到端自动驾驶：鸟瞰图（BEV）
基于BEV特征的神经网络规划器，端到端自动驾驶指的是系统接收来自摄像头雷达和激光雷达的原始传感器数据，并直接输出车辆控制指令的整体方案，
NVIDIA简化方式，语音识别和响应生成被集成到一个连贯的端到端学习过程中。
4、 LLM道路规则指南让驾驶更简单
多模态神经网络将文本、图像、视频和音频等不同类型数据集成到一个模型中， 通过不同模态数据，来提高性能和捕获更丰富的信息。
Riva是一种人工智能语音SDK，支持实时语音识别，LLaDA可以使用Riva与您用不同语言交流。
三、安全自动驾驶的四大支柱
支柱 1：AI 设计与实施平台
NVIDIA DRIVE 是全球首个可扩展 AI 平台，实现从 AI 辅 助驾驶到自动驾驶出租车的自动驾驶领域全覆盖。该平台 由硬件、软件和固件组成，它们协同工作，实现自动驾驶系 统和自动驾驶汽车的批量生产。
NVIDIA DRIVE 硬件：
1、 Hyperion NVIDIA DRIVE AGX Hyperion™ 是用于设计自动驾驶汽车的 端到端模块化参考架构。它将基于 DRIVE AI 的计算和完整的 传感器套件（包括外部和内部摄像头、超声波传感器、雷达和 激光雷达）相结合，加速开发、测试和验证。
2、NVIDIA DRIVE AGX Orin™ SoC（片上系统）可提供高达 254 TOPS（每秒万亿次运算）的性能，是智能车辆的中央 计算机。它是理想的解决方案，为自动驾驶功能、置信视 图、数字集群以及 AI 驾驶舱提供动力支持。借助可扩展的 DRIVE AGX Orin 产品系列，开发者只需在整个车队中构 建、扩展和利用一次开发投资，便可从 L2+ 级系统一路升 级至 L5 级全自动驾驶汽车系统。
3、DRIVE AGX Thor™ SoC 是我们的下一代集中式车载 计算机，将功能丰富的驾驶舱功能与高度自动化及自动 驾驶功能整合在一个安全可靠的系统上。这款自动驾 驶处理器采用了我们最新的 CPU 和 GPU 技术，包括 NVIDIA Blackwell GPU 架构，用于转换器和生成式 AI 功 能。DRIVE AGX Thor 支持 8 位浮点数 (FP8)，可提供前所 未有的 1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16 TFLOPS 性能，同时降低整体系统成本。
4、NVIDIA Blackwell 平台开启计算新时代，将使各地的组 织能够在万亿参数的大语言模型上构建并运行实时生 成式 AI，且成本和能耗降低至上一代产品的二十五分之 一。Blackwell GPU 架构拥有加速计算的变革性技术，包 括全球最强大的芯片。
支柱 2：面向深度学习的开发基础设施
除了车载超级计算硬件，NVIDIA 还设计和开发超级计算 机，用于解决安全自动驾驶汽车开发和部署过程中面临的 关键挑战。一辆测试车每年可产生数百万亿字节（PB）级 别 的数据。捕捉、管理和处理整个车队的海量数据需要全新的 计算架构和基础设施。
1、NVIDIA AI 训练和仿真
NVIDIA DGX 系统：这些是专为训练深度神经网络而构 建的专用 AI 超级计算机，可以在大型数据集上训练自动 驾驶所需的高度复杂的模型。DGX 系统能够训练出足以 应对复杂驾驶场景的强大 AI 模型。通过对在多样化和广 泛的数据集上进行训练，模型可以更好地适应各种真实 世界的条件，从而提高安全性。
NVIDIA Omniverse Cloud Sensor RTX™：这套用于开发 自动驾驶技术的云端工具提供了高保真的仿真环境，具 有逼真的物理和传感器模型，极大地提高了测试的准确 性。Omniverse 允许真实世界部署之前在虚拟环境中进 行广泛的测试。这有助于在受控环境中识别和缓解潜在 的安全问题，降低实际操作中的风险。
支柱 3：用于自动驾驶汽车开发的物理精准传感器仿真
基于 OpenUSD 构建的 NVIDIA Omniverse Cloud Sensor RTX 旨在让开发者通过高保真传感器仿真、物理 特性和逼真的行为来增强自动驾驶汽车仿真工作流。借 助这些 API，您可以与构建车辆动力学和交通仿真工具的 庞大合作伙伴生态系统建立连接。您还可以引入通用场景 描述 (USD) 内容，以扩展至新地区，应对新的运行设计域 （ODD）。
NVIDIA Omniverse Cloud Sensor RTX 微服务为广泛部 署在自动驾驶车辆上基于物理效果的传感器（如摄像头、激 光雷达、雷达和超声波传感器）及其神经网络渲染提供支 持。渲染出的合成数据和真值标签可用于训练感知模型，以 及在闭环测试中验证自动驾驶软件堆栈。
神经重建引擎是用于自动驾驶汽车仿真平台的全新 AI 工 具集，其利用多个 AI 网络将记录的传感器数据转化为面 向仿真的可用世界模型。新的工作流利用 AI 自动提取仿 真所需的关键组件，包括环境、3D 素材和场景。然后将这 些片段重构为既拥有数据记录的真实感，又具有完全的主 动性、可根据需要进行操纵的仿真场景。手动实现这种细节丰富和多样性的场景，不仅成本高、耗时长，而且也不具此外，
fVDB还有⼀个全新的开源深度学习框架，可⽤于 ⽣成⼤规模场景，利⽤现实世界的 3D 数据训练⾃动驾驶 汽⻋。它基于 OpenVDB 构建 AI 操作⼯具，以创建现实世界环境的⾼保真虚拟表征。这些丰富的 3D 数据集已为 AI 做好准备，可⽤于⾼效的模型训练和推理。很快，fVDB 功能将作为 NVIDIA NIM 推理微服务提供，使开发者能够 将 fVDB 核⼼框架整合到通⽤场景描述 (OpenUSD) ⼯作流 中。fVDB NIM 推理微服务在 NVIDIA Omniverse 中⽣成 基于 OpenUSD 的⼏何图形备扩展性。
支柱 4：卓越的全方位安全和网络安全计划
安全性
1、功能安全 (ISO 26262)
2、预期功能安全 - SOTIF (ISO 21448)
网络安全
遵循适用于硬件和软件安全功能实施的国际和国 内标准（包括加密原则）
参与了 SAE J3101 标准的制定，确保在硬件和系统软件层面实现必要的网络安全基础模组。我们审查平台代码 的安全一致性，使用静态和动态代码分析技术进行早期检测，并执行渗透测试和其他攻击性安全技术进行验证。
参与了 SAE 8477，以确保我们的安全测试方法 能够与时俱进。
在系统设计和危害分析流程中采用了严格的安全开发生命周期，包括安全要求的端到端可追溯性、覆盖整个 自动驾驶系统的威胁模型。这包括硬件、软件、制造和 IT 基础设施，确保安全设计和编码指南到位。DRIVE AGX 平台还具备多层防御能力，可提供应对持续攻击的弹性。
