在pytorch中以下对象可以持久化到硬盘，并能通过相应的方法加载到内存：Tensor、Variable、nn.Module、Optimizer
本质上上述信息最终都是保存成Tensor，Tensor的保存和加载是使用torch.save和torch.load完成的。在save、load时可以指定使用的pickle模块，在load时还可将GPU tensor映射到CPU或其它GPU上。
torch.save、torch.load
import torch# 1.变量的保存与加载
a = torch.Tensor(3,4)
print(a.get_device()) # -1，代表CPU
if torch.cuda.is_available():a = a.cuda() # 把a转换为GPU0上的tensortorch.save(a, 'a.pth')# 加载为ｂ，存储于GPU0上，因为保存时tensor就在GPU0上b = torch.load('a.pth')print(b.get_device()) # 0# 加载为d，存储于GPU0上c = torch.load('a.pth', map_location={'cuda:0':'cuda:0'})print(c.get_device()) # 0# 加载为c，存储于CPU上d = torch.load('a.pth', map_location=lambda storage, loc: storage)print(d.get_device()) # -1，代表CPU# 加载为d，存储于CPU上e = torch.load('a.pth', map_location={'cuda:0':'cpu'})print(e.get_device()) # -1，代表CPU# 2.模型的保存与加载
from torchvision.models import resnet18
model = resnet18()
torch.save(model.state_dict(), 'resnet18.pth')
model.load_state_dict(torch.load('resnet18.pth'))# 3.优化器的保存与加载
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
torch.save(optimizer.state_dict(), 'optimizer.pth')
optimizer.load_state_dict(torch.load('optimizer.pth'))# 4.保存模型和优化器的所有参数
all_data = dict(optimizer=optimizer.state_dict(), model=model.state_dict(), info=u'模型和优化器的所有参数')
torch.save(all_data, 'all.pth')
all_data = torch.load('all.pth')
print(all_data.keys())
