GPU加速-系统CUDA12.5-Windows10

误区注意

• 查看当前系统可支持的最高版本cuda：nvidia-smi
  
  • 说明：
    • 此处显示的12.7只是驱动对应的最高版本，不一定是 / 也不一定需要是 当前Python使用的版本。
    • 但我们所安装的CUDA版本需要 小于等于它（即≤12.7）
    • 因此即使我此处显示的是12.7，我依然可以使用12.5的cuda，并不需要卸载再重新安装。
• 可以在CUDA文件夹下查看，电脑是否安装了多个版本CUDA（多版本CUDA，可能是 “ pytorch找不到匹配，从而发生错误 ” 的原因之一）
  • 可以通过找NVIDIA GPU Computing Toolkit文件夹，找到CUDA安装路径，从而查看电脑里安装了几个CUDA（再次注意，上面的12.7并不属于其中一个。安装了几个版本CUDA只看这个文件夹里有几个即可）
  • 比如我的电脑只有一个12.5版本的CUDA

---

安装CUDA Toolkit（即CUDA）

• 之前从没安装过CUDA的，可以参考如下过程。
  • 该部分内容是整合如下两篇博文的，因为我之前已经安装了，但没有一步步记录。
  • 本来是想直接附这俩博文链接，但单看它俩是有缺漏的，所以我把它们结合整理一下，看着比较方便。
• 1、先根据这篇文章完成基础的CUDA安装，但要注意如下提示。
  • 参考博文1：基础CUDA安装（缺少安装后的一些工作）
  • 提示①：3.2中的安装路径可以不默认C盘，以免占据太大空间（但你要记住安装路径，后续添加系统环境变量时要用）
  • 提示②：3.5中取消勾选Visual Studio是由于若系统未安装VS，勾选后会出错。但如果已安装VS，则可以勾选。
  • 提示③：在4中，若命令窗口输入nvcc -V没有显示不必担心，可能是因为该博文缺少了添加环境变量的步骤，此时点开下面第二个博文链接。
• 2、接着跟着博文2的步骤2~5完成cuDNN和pytorch-gpu的安装（其中涉及CUDA Toolkit的安装在博文1中已安装，可跳过）
  • 参考博文2：安装后续讲得比较清楚完整
  • 提示①：在3中的虚拟环境Python可安装3.8版，不是一定3.11
  • 提示②：虽然我安装的是CUDA12.5，没有直接匹配的pytorch12.5，但可以安装pytorch12.4
  • 提示③：pytorch-gpu若文件太大（一般都几个G），可以直接在官网或者网络的其他渠道下载到whl文件后 → 进入虚拟环境 → 直接pip install （whl文件名），能比较快一点。比如：
    • 我安装时嫌2G多太慢，就直接点开*.whl链接，用另一个有线网电脑几分钟下载后（或者也可以找其他渠道下载到同名文件），总之把whl文件放在本地
    • （记得切换到虚拟环境下后），再直接pip安装即可。
      
    • 如上安装了torch后，还要安装俩小的，直接再输入命令即可：
      

---

使用加速

• 根据博文2的步骤5中torch.cuda.is_available()结果显示True后，即可开始训练了。
• 开另个窗口输入nvidia-smi后：
  • CUDA 版本（驱动支持）： 12.7（但我的 PyTorch 是 cu124 版本，CUDA可向下兼容）
  • 可以查看当前的内存使用：1970MiB / 6144MiB → 表示当前 Python 程序大约使用了 2GB 显存
    
  • 也可显示正在使用GPU的进程，与其指向的虚拟环境