一、显存计算方法
InternLM系列模型的显存使用主要2部分构成：
- 模型权重
- kv cache
以InternLM2.5-7b-chat为例，它的权重类型是bfloat16，即一个参数占用2字节的浮点数。
具体信息可以查看模型目录下的config.json文件。
因此，对于该7B（70亿）参数的模型，每个参数使用16位浮点数（2字节）表示，
另外，lmdeploy默认设置cache-max-entry-count为0.8，即kv cache占用剩余显存的80%。
则在24G的显存情况下，我们可知：
- 模型权重占用约为：70×10^9 parameters×2 Bytes/parameter=14GB
- kv cache占用约我：（24 - 14）* 0.8 = 8G
合计约23G，因为还要其他处理需要占用一部分显存，大约1G，所以最终23G左右的显存占比。
执行例
conda activate lmdeploy
lmdeploy serve api_server \/root/models/internlm2_5-7b-chat \--model-format hf \--quant-policy 0 \--server-name 0.0.0.0 \--server-port 23333 \--tp 1
命令解释：
lmdeploy serve api_server：这个命令用于启动API服务器。/root/models/internlm2_5-7b-chat：这是模型的路径。--model-format hf：这个参数指定了模型的格式。hf代表“Hugging Face”格式。--quant-policy 0：这个参数指定了量化策略。--server-name 0.0.0.0：IP地址，它表示所有网络接口。--server-port 23333：服务器的端口号--tp 1：这个参数表示并行数量（GPU数量）。
nvidia-smi/studio-smi的结果确认，studio-smi实际为vgpu-smi
注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。针对于此，实验室提供了studio-smi 命令工具，能够观测到虚拟化后的显存使用情况。
显存使用确认
vgpu-smi
Fri Aug 16 17:09:16 2024
+------------------------------------------------------------------------------+
| VGPU-SMI 1.7.13 Driver Version: 535.54.03 CUDA Version: 12.2 |
+-------------------------------------------+----------------------------------+
| GPU Name Bus-Id | Memory-Usage GPU-Util |
|===========================================+==================================|
| 0 NVIDIA A100-SXM... 00000000:19:00.0 | 23132MiB / 24566MiB 0% / 30% |
+-------------------------------------------+----------------------------------+
二、模型量化
随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。LMDeploy 提供了权重量化和 k/v cache两种策略。LMDeploy为此提供了两个参数：
- –cache-max-entry-count：指定了KV缓存占比（去除模型权重之后的显存占比）
- –quant_policy：指定量化策略（4：kv int4量化 8： kv int8 量化）
1. 设置最大kv cache缓存大小
kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，kv cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，kv cache全部存储于显存，以加快访存速度。模型在运行时，占用的显存可大致分为三部分：
- 模型参数本身占用的显存
- kv cache占用的显存
- 以及中间运算结果占用的显存
LMDeploy的kv cache管理器可以通过设置--cache-max-entry-count参数，控制kv缓存占用剩余显存的最大比例。默认的比例为0.8。
显存占用确认
lmdeploy serve api_server \/root/models/internlm2_5-7b-chat \--model-format hf \--cache-max-entry-count 0.4\--server-name 0.0.0.0 \--server-port 23333 \--tp 1
在该命令行下：
- 模型权重占用约为：70×10^9 parameters×2Bytes=14GB
- kv cache占用约我：（24 - 14）* 0.4 = 4G
总计：14G + 4G + 1G(其他占比）= 19G左右
~# vgpu-smi
Fri Aug 16 17:25:37 2024
+------------------------------------------------------------------------------+
| VGPU-SMI 1.7.13 Driver Version: 535.54.03 CUDA Version: 12.2 |
+-------------------------------------------+----------------------------------+
| GPU Name Bus-Id | Memory-Usage GPU-Util |
|===========================================+==================================|
| 0 NVIDIA A100-SXM... 00000000:19:00.0 | 19420MiB / 24566MiB 0% / 30% |
+-------------------------------------------+----------------------------------+
2. 设置在线 kv cache int4/int8 量化
自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。此外，通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 和cache-max-entry-count参数。目前，LMDeploy 规定 qant_policy=4 表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。
命令行量化后的显存占用
lmdeploy serve api_server \/root/models/internlm2_5-7b-chat \--model-format hf \--quant-policy 4 \--cache-max-entry-count 0.4\--server-name 0.0.0.0 \--server-port 23333 \--tp 1
在该命令行下：
- 模型权重占用约为：70×10^9 parameters×2Bytes=14GB
- kv cache占用约我：（24 - 14）* 0.4 = 4G
总计：14G + 4G + 1G(其他占比）= 19G左右
# vgpu-smi
Fri Aug 16 17:22:20 2024
+------------------------------------------------------------------------------+
| VGPU-SMI 1.7.13 Driver Version: 535.54.03 CUDA Version: 12.2 |
+-------------------------------------------+----------------------------------+
| GPU Name Bus-Id | Memory-Usage GPU-Util |
|===========================================+==================================|
| 0 NVIDIA A100-SXM... 00000000:19:00.0 | 19420MiB / 24566MiB 0% / 30% |
+-------------------------------------------+----------------------------------+
可以发现，增加了–quant-policy 4选项后，显存占用依然是19G内存，那究竟有什么区别呢？是没有生效吗？
原因是：相比使用BF16精度的kv cache，int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值，而BF16需要16位。这意味着int4的Cache可以存储的元素数量是BF16的四倍。也就是说，虽然使用的显存相同，但是cache可以容纳的kv数却多了4倍。
也就是说，这个量化指的是cache中保存的数据量化，而不是模型权重的量化。模型权重的量化，请看下一节。
3. W4A16 模型量化和部署
准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。
那么标题中的W4A16又是什么意思呢？
- W4：这通常表示权重量化为4位整数（int4）。这意味着模型中的权重参数将从它们原始的浮点表示（例如FP32、BF16或FP16，Internlm2.5精度为BF16）转换为4位的整数表示。这样做可以显著减少模型的大小。
- A16：这表示激活（或输入/输出）仍然保持在16位浮点数（例如FP16或BF16）。激活是在神经网络中传播的数据，通常在每层运算之后产生。
因此，W4A16的量化配置意味着：
- 权重被量化为4位整数。
- 激活保持为16位浮点数。
让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作。(本步骤耗时较长，请耐心等待)
lmdeploy lite auto_awq \/root/models/internlm2_5-7b-chat \--calib-dataset 'ptb' \--calib-samples 128 \--calib-seqlen 2048 \--w-bits 4 \--w-group-size 128 \--batch-size 1 \--search-scale False \--trust_remote_code True \--work-dir /root/models/internlm2_5-7b-chat-w4a16-4bity
命令解释：
lmdeploy lite auto_awq:lite这是LMDeploy的命令，用于启动量化过程，而auto_awq代表自动权重量化（auto-weight-quantization）。/root/models/internlm2_5-7b-chat: 模型文件的路径。--calib-dataset 'ptb': 指定校准数据集，使用的是ptb（Penn Treebank，常用语言模型数据集）。--calib-samples 128: 这指定了用于校准的样本数量—128个样本--calib-seqlen 2048: 这指定了校准过程中使用的序列长度—1024--w-bits 4: 这表示权重（weights）的位数将被量化为4位。--work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 存储量化后的模型和中间结果
推理完成，便可以直接在你设置的目标文件夹看到对应的模型文件。推理后的模型和原本的模型区别在哪里呢？主要是模型文件大小以及占据显存大小。
推理过程很慢，在A100*30%+24G内存的条件下，大概用了14H的时间。
模型大小对比
# du /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b ./internlm2_5-7b-chat-w4a16-4bit/ -hs
15G /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b
4.9G ./internlm2_5-7b-chat-w4a16-4bit/
占用显存对比
以下命令行为例（默认kv cache占比为0.8）：
lmdeploy chat /root/models/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq
显存计算为：
- 模型权重占用约为：70×10^9 parameters×0.5Bytes=3.5GB （因为权重量化为4bit了）
- kv cache占用约我：（24 - 3.5）* 0.8 = 16.4G
总计：3.5G + 16.4G + 1G(其他占比）= 20.9G左右
验证
(agent_camp3) root@intern-studio-50211982:~# vgpu-smi
Sat Aug 17 21:31:35 2024
+------------------------------------------------------------------------------+
| VGPU-SMI 1.7.13 Driver Version: 535.54.03 CUDA Version: 12.2 |
+-------------------------------------------+----------------------------------+
| GPU Name Bus-Id | Memory-Usage GPU-Util |
|===========================================+==================================|
| 0 NVIDIA A100-SXM... 00000000:48:00.0 | 20998MiB / 24566MiB 0% / 30% |
+-------------------------------------------+----------------------------------+
4. W4A16 量化+ KV cache+KV cache 量化
同时启用量化后的模型、设定kv cache占用和kv cache int4量化。
输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。
lmdeploy serve api_server \/root/models/internlm2_5-7b-chat-w4a16-4bit/ \--model-format awq \--quant-policy 4 \--cache-max-entry-count 0.4\--server-name 0.0.0.0 \--server-port 23333 \--tp 1
显存计算为：
- 模型权重占用约为：70×10^9 parameters×0.5Bytes=3.5GB （因为权重量化为4bit了）
- kv cache占用约我：（24 - 3.5）* 0.4 = 8.2G
总计：3.5G + 8.2G + 1G(其他占比）=12.7G左右
vgpu-smi
Sat Aug 17 21:36:32 2024
+------------------------------------------------------------------------------+
| VGPU-SMI 1.7.13 Driver Version: 535.54.03 CUDA Version: 12.2 |
+-------------------------------------------+----------------------------------+
| GPU Name Bus-Id | Memory-Usage GPU-Util |
|===========================================+==================================|
| 0 NVIDIA A100-SXM... 00000000:48:00.0 | 13574MiB / 24566MiB 0% / 30% |
+-------------------------------------------+----------------------------------+
