网络训练越来越慢

1.一个原因是保存和打印操作、文件IO操作太多会明显影响训练时间，但这不是主要影响越来越慢的原因。

2.查看cuda利用率：

如果训练速度降下来了，看看cuda利用率一直在100%左右水平。

然后打开cmd：查看nvidia——smi：

看看memory-usage是不是爆满，那此时就要考虑调小batchsize，dim数以及网络深度了。

造成此现象的一个可能原因：

 

显卡内存即为显存，主要使用的就是专用gpu内存。