【弹性计算】异构计算云服务和 AI 加速器（三）：GPU 虚拟化技术

1.什么是 GPU 虚拟化

GPU 虚拟化 是一种技术，允许将一块物理 GPU 的资源分割成多个虚拟 GPU，供多个用户或应用程序同时使用。简单来说，它让多个任务或用户共享同一块 GPU 的性能，而不需要每人独占一块 GPU。

🚀 举个例子：
假设你有一台强大的 GPU，通常只能一个人用。通过 GPU 虚拟化，这块 GPU 可以被分成多个 “虚拟 GPU”，就像把一块大蛋糕切成几块小蛋糕，每个人都能分到一部分资源。这样，多个用户或应用程序可以同时使用 GPU 进行计算，比如玩游戏、渲染图像或训练 AI 模型。

2.GPU 虚拟化模式

当前可以商用的 GPU 虚拟化模式可以分为 GPU 直通模式、GPU SR-IOV 模式 和 GPU 半虚拟化模式。后两种模式属于 GPU 分片虚拟化模式。

2.1 GPU 直通模式

GPU 直通模式（GPU Passthrough）是一种技术，允许虚拟机（VM）直接访问物理 GPU，而不是通过虚拟化层共享 GPU 资源。简单来说，就是把一块物理 GPU “直接分配” 给某个虚拟机使用，就像把一台独立的 GPU 插到了虚拟机里一样。

🚀 举个例子：
假设你有一台服务器，里面装了一块高性能 GPU。通常情况下，这台服务器可以运行多个虚拟机，但这些虚拟机只能共享 GPU 的资源。而在 GPU 直通模式下，你可以把这块 GPU “独占” 给其中一个虚拟机使用，其他虚拟机无法访问它。这就好比你把家里的电视遥控器直接交给某个人，其他人暂时不能换台。

GPU 直通模式是对物理机性能损耗最小的方案，被各云服务提供商广泛采用。GPU 直通模式如下图所示。它没有对 GPU 功能性做任何限制，兼容性也最好。在 GPU 直通模式下，物理机的 GPU 驱动可以直接安装到虚拟机内使用。该模式的缺点也很明显，首先直通模式不支持热迁移，在宿主服务器上无法对设备进行操作，其次它缺少设备的监控数据。

2.2 GPU SR-IOV 模式

GPU SR-IOV 模式（Single Root I/O Virtualization，单根 I/O 虚拟化）是一种高级的 GPU 虚拟化技术，它允许一块物理 GPU 被分割成多个独立的 “虚拟 GPU”，每个虚拟 GPU 可以直接分配给不同的虚拟机（VM）使用。简单来说，它让一块物理 GPU 可以同时为多个虚拟机提供接近原生的性能。

🚀 举个例子：
想象你有一块强大的 GPU，就像一辆大巴士。SR-IOV 技术可以把这辆巴士分成多个独立的 “小车厢”，每个车厢都有自己的引擎和座位，可以独立运行。这样，多个虚拟机可以同时使用这些 “小车厢”，每个虚拟机都觉得自己拥有一块独立的 GPU，性能几乎和直接使用物理 GPU 一样。

当前只有 AMD 的两款 GPU 产品支持 SR-IOV 模式：S7150 和 MI25。S7150 针对 图形渲染 的场景，MI25 则针对 机器学习 领域。阿里云 GPU 云服务器的 GA1 系列采用的就是 S7150，GA1 规格族中的小规格实例采用的是 SR-IVO 方案。将一个物理 GPU 做 SR-IOV 分片虚拟化处理。下图所示的 GPU SR-IVO 模式是一个物理 GPU 通过 SR-IOV 的驱动虚拟出多个虚拟机 GPU。SR-IOV 标准是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。

🚀 SR-IOV 技术在硬件层面实现了虚拟化。物理 GPU 被分成多个 “虚拟功能”（VF，Virtual Function），每个 VF 都可以独立分配给一个虚拟机使用。虚拟机直接与 VF 交互，而不需要通过虚拟化层，从而减少了性能开销。

下图是 GPU SR-IOV 技术架构图，在虚拟化软件栈中加入了 GIM 模块 来驱动 GPU 硬件。GIM 模块调用 PCI 子系统接口初始化 SR-IOV 虚拟功能，并对硬件资源进行管理分配。VFIO 模块可通过标准的 PCI 设备接口直接使用虚拟功能。虚拟机实例中图形驱动程序将发送请求给 GIM 模块，由其将虚拟功能使能并调度到硬件资源上运行。GIM 的运行对虚拟化环境而言完全透明，与直通技术没有差别。由于 GPU SR-IOV 使用标准的直通接口把虚拟 GPU 资源分配给虚拟机，所以虚拟机控制系统对其操作的接口与直通技术没有差别。

SR-IOV 技术有如下两种功能。

• 物理功能（Physical Function，PF）：宿主机上的物理主设备，宿主机上的 GPU 驱动安装在 PF 上。PF 的驱动是管理者。它是一个完备的设备驱动，与一般 GPU 驱动的区别在于它管理了所有 VF 设备的生命和调度周期，比如下图所示的 07:00.0 就是 S7150 的 PF 设备。
• 虚拟功能（Virtual Function，VF）：也是一个 PCI 设备，如下图中的 07:02.0 和 07:02.1。下图中的一个 PF（S7150）划分出了 4 个 VF，理论上运行在 1 个 VF 上面的虚拟机 GPU 的图形渲染性能是 PF 的 1/4。

在 GPU SR-IOV 方案中，把一个物理 GPU 设备（PF）拆分成多个小份虚拟机 GPU（VF），这些 VF 依然是符合 PCI 规范的 PCIe 设备。GPU SR-IOV 方案在虚拟比 1:1 的情况下性能上大概有 5% 的损失。

VF 分时复用 GPU 硬件资源，GIM 模块负责时间片调度，支持 Round-Robin 和 QoS 两种调度策略。VF 的调度是 GPU SR-IOV 中的重点，涉及如何服务虚拟机，以及如何确保 GPU 资源的公平分片等。

GPU SR-IOV 也是一个 分时复用 的策略。GPU 分时复用与 CPU 在进程间的分时复用是一样的概念。一个简单的调度就是把一个 GPU 的时间按照特定时间段分片，每个 VF 拿到特定的时间片。在这些时间片段中，VFn 独自享有 GPU 硬件的全部资源。

目前所有的 GPU 虚拟化方案都采用了 分时复用 的策略。但不同的 GPU 虚拟化方案在时间片的不同切片中会采用不同的方案。有些方案会在一个 GPU Context 的当前 batch buffer / cmd buffer 执行结束之后启动调度，并把 GPU 交由下一个时间片的所有者。有些方案则会严格要求在特定时间片结束的时候切换，强行打断当前 GPU 的工作，并交给下一个时间片的所有者。这种方案确保 GPU 资源被平均分摊到不同 VF。AMD 的 GPU SR-IOV 采用的是后一种方案。AMD 的 GPU 硬件设计保证了在任何 GPU Batch Buffer 的执行过程中可以被安全抢占，保障每个 GPU VF 具有同等的性能，理论上每个 GPU VF 的性能都是 GPU PF 的 1/N，N 是设定的虚拟比。

GPU SR-IOV 特性如下所述。

• 1️⃣ GPU 的显存是根据设定的虚拟比，由 GPU SR-IOV 驱动静态划分的，不可以动态修改。
• 2️⃣ 虚拟比最大为 16:1（一个 GPU 最多虚拟出 16 个 vGPU），并且可以灵活配置，支持的虚拟比有 16:1、8:1、4:1、2:1 和 1:1。
• 3️⃣ 每个 vGPU（VF）时间片都由 GPU SR-IOV 驱动（GIM）调度，每个 VF 时间片严格按照虚拟比来分配。不同 GPU VF 之间不会争抢资源。

2.3 GRID vGPU 简介

GRID vGPU 是 NVIDIA 的一项虚拟化技术，可以把一块 GPU 卡分片并分配给虚拟机使用，从虚拟机的角度来看，和 SR-IOV 一样，每个分片 vGPU 在物理上都是隔离的。

🚀 举个例子：
假设你有一块强大的 NVIDIA GPU，通常只能一个人用。通过 GRID vGPU 技术，这块 GPU 可以被分成多个 “虚拟 GPU”，每个虚拟 GPU 可以分配给不同的用户或虚拟机。比如，10 个用户可以通过远程桌面同时使用这块 GPU 来运行图形密集型应用（如 3D 设计、视频编辑或游戏），每个人都会觉得自己在用一块独立的 GPU。

GPU 分片虚拟化基于 VFIO Mediated Passthrough Framework 的 GPU 虚拟化方案。该方案由 NVIDIA 提出，并联合 Intel 一起提交到了 Linux Kernel 4.10 代码库，该方案的 Kernel 部分代码简称 mdev 模块，GRID vGPU 方案 如下图所示。

阿里云的 vgn5i 规格族实例基于 NVIDIA Tesla T4 显卡的 vGPU 方案，是国内首个公共云上的轻量级 GPU 规格族，提供比单个物理 GPU 更细粒度的服务，从而让用户可以更低成本、更高弹性地开展业务。

GRID vGPU 的优势

在 GPU 虚拟分片的场景下，一个物理 GPU 可以直通给多个虚拟机使用，如下图所示。和直通方案相比，具有如下优势。

• 1️⃣ 可以更加灵活地选择 GPU 实例规格，降低成本。
• 2️⃣ 将一块物理 GPU 同时共享给多个用户使用，避免不必要的资源浪费。
• 3️⃣ 基于硬件虚拟化技术，可以完美地实现高性能 GPU 在硬件安全隔离下为多用户所共享。
• 4️⃣ GPU 虚拟化损耗可忽略，严格保证每用户分配到的 GPU 能力互相无干扰。
• 5️⃣ 支持热迁移，当宿主机发生异常时可以通过热迁移技术迁移 GPU 云服务器实例，保障用户业务不中断。

🚀 GRID vGPU 和 GPU 直通模式、SR-IOV 的区别：

• GPU 直通模式：一块物理 GPU 完全分配给一个虚拟机使用，不共享。
• SR-IOV：一块物理 GPU 被分成多个虚拟功能（VF），每个 VF 可以独立分配给虚拟机使用。
• GRID vGPU：专门为图形和计算任务设计的虚拟化技术，支持更灵活的资源配置和管理，适合图形密集型应用。

3.GPU 热升级和热迁移技术

3.1 GPU 热升级技术

虚拟化热升级技术已经在之前介绍过，GPU 设备是通过 VFIO 框架将设备移交到服务器内部的，在热升级的过程中，通过直通设备移交技术，实现 GPU 服务器的 QEMU 和 KVM 的热升级。直通设备的热升级面对的最大问题是中断丢失。在热升级的过程中先中断 CPU 的调度再中断设备，直接中断会造成数据丢失。热升级之后服务器的设备可能处于不可用的状态。在热升级过程恢复阶段，我们对有中断丢失的设备，根据中断类型不同重新给虚拟机注入一个虚拟中断。

3.2 vGPU 的热迁移技术

在 GPU 虚拟化的场景下，Host 上有物理 GPU 的驱动模块，可以操作和管理 vGPU 的物理资源，这里可以类比 KVM 对硬件资源的管理。此时 QEMU 可以通过驱动模块获取 vGPU 的所有数据来实现热迁移的功能。

vGPU 支持热迁移硬件和软件上的关键点。

• 1️⃣ 寄存器支持保存和还原。
• 2️⃣ GPU 的显存（Framebuffer）硬件支持脏页跟踪 Dirty Track 功能。
• 3️⃣ Framebuffer 的保存和还原要足够快。

vGPU 显存（Framebuffer）在热迁移流程中的处理方式和 System Mem 是一样的，首先需要打开 GPU 的脏页跟踪功能，再在迭代拷贝阶段记录脏页。

在 vGPU 运行时，寄存器保留一些中间状态和上下文，在目的主机恢复 vGPU 调度之前，如果要保证 vGPU 可以正常工作，能接着执行源端暂停的任务，那么需要在目的主机把 GPU 的相关寄存器和上下文恢复。

GPU SR-IOV 和 GRID vGPU 两种 GPU 分片模式都是支持热迁移的，阿里云和 AMD 联合设计了基于 SR-IOV 分片 GPU 的热迁移架构，并在 2018 年 KVM Forum 上做了分享和演示。下图是 vGPU 热迁移 QEMU 对 GPU SR-IOV 处理的时序图。

QEMU 在源主机通过 GIM API 修改 vGPU 状态、拷贝寄存器和 Framebuffer 的数据，在目的主机恢复初始化 VF（vGPU）并恢复寄存器和 Framebuffer 的数据。

如下图所示，VM1 在 Host1 上使用 VF0，迁移到 Host2 上使用 VF1。当前 SR-IOV GPU 的驱动 GIM 把物理 GPU 的 Framebuffer 平均划分给 VF，这种方案简化了迁移过程中 GPU pagetable 的映射。

从 Host1 的 VF0 迁移到 Host2 的 VF1。blk1 的物理 GPU 的 Framebuffer 中的地址发生了变化，相对于 VF0 和 VF1 的基地址的偏移并没有发生变化。

目的主机 GIM 对 VF1 建立 GPU pagetable 的表项，Guest OS 内的 GPU Driver 对 Framebuffer 的访问会被映射到 VF1 的指定的地址空间内。

在 VM 内部，迁移前后 Guest OS 看到的设备并没有发生变化。Guest OS 记录的 GPU 的设备上下文信息被保存 / 恢复之后，Guest OS 内的 GPU Driver 看到硬件设备的状态没有发生改变，任务得以继续执行。

对于不支持脏页跟踪的 GPU 设备，我们设计了一套软件支持 GPU FrameBuffer Dirty 的方案，在迁移此类 GPU 设备时，可以将 Service Downtime 优化到原来的二十分之一。对于中断丢失问题，热迁移采用的解决方案和热升级类似，重新给虚拟机注入中断。