图像读取和展示
pytorch本身并不提供图像的读取和展示功能,利用pytorch执行计算机视觉任务的时候,通常是利用opencv等工具先进行图像处理,然后将结果转化成tensor类型传递给pytorch,在pytorch执行之后,也可以将tensor类型的数据转换为numpy等类型用于matplotlib进行可视化展示
图像格式转换
此处介绍一下常用的图像类型numpy数组(opencv读取)以及Image类型(PIL读取)二者与tensor类型的相互转换
我们先找一张示例图
使用opencv读取的图片类型为numpy格式,在虚拟环境中安装opencv的命令为:
pip install opencv-python
接下来读取示例图片并实现其类型的转换
# tensor 和 numpy数组的相互转换
import cv2# opencv读取示例图片
im_cv = cv2.imread('test.jpg')
print("-" * 30)
print(type(im_cv)) # 输出<class 'numpy.ndarray'>
# 因为opencv读取进来的图像按照BGR顺序存储,我们先将其改成RGB模式
im_cv = cv2.cvtColor(im_cv, cv2.COLOR_BGR2RGB)
# 利用torchvision中的transformer模块中的ToTensor类将numpy数组转换成tensor类型
import torchvision
my_totensor = torchvision.transforms.ToTensor()
im_tensor = my_totensor(im_cv)
print(type(im_tensor)) # 输出<class 'torch.Tensor'>
# 为了使用matplotlib,将tensor转换成为numpy数组
import matplotlib.pyplot as plt
im_numpy = im_tensor.numpy()
# 调整维度顺序
im_numpy = np.transpose(im_numpy, (1, 2, 0))
plt.imshow(im_numpy)
plt.axis('off') # 关闭坐标轴
plt.show()
在计算机视觉中,除了opencv读取的numpy格式之外,使用PIL读取的Image类型也十分常用,其也可以和tensor类型进行转换
# tensor 和 Image数组的相互转换
from PIL import Image
im_pil = Image.open('test.jpg')
print("-" * 30)
print("PIL读取的图片类型为:",type(im_pil)) # 输出<class 'PIL.JpegImagePlugin.JpegImageFile'>
import torchvision
my_totensor = torchvision.transforms.ToTensor()
im_tensor = my_totensor(im_pil)
print(type(im_tensor)) # 输出<class 'torch.Tensor'>
# 将tensor转换成Image并可视化
my_toPIL = torchvision.transforms.ToPILImage()
im_pil = my_toPIL(im_tensor)
Image._show(im_pil)
tensorboard可视化
TensorBoard 是一个强大的可视化工具,它不仅可以用于普通图像tensor类型的展示,还可以用于监控在神经网络训练过程中的准确率、查看模型的计算图、显示图像和音频数据、分析嵌入向量(embeddings)等等参数,
tensorboard的可视化需要通过日志文件进行写入和读取,首先利用tensorboard.SummaryWriter工具类将图像数据写入到日志中,然后启动tensorboard服务指定对应的日志文件进行可视化展示
展示函数作图
【示例】在根目录下创建一个logs目录,在其中存放日志信息,然后创建一个log1作为本次实验的日志,写一个函数y=2x,将其图像可视化传递到log1日志中
from torch.utils.tensorboard import SummaryWriter# 创建SummaryWriter对象并指定对应的日志目录
mySummaryWriter = SummaryWriter("logs/log1")
for i in range(100):# 函数作图使用add_scalar方法mySummaryWriter.add_scalar("y=2x",2*i,i)
mySummaryWriter.close()
在终端命令行中启动TensorBoard服务:port指定端口
tensorboard --logdir=path/to/log_directory [--port=6006]
然后点击默认的端口链接,进入前端页面
在左上角选择SCALARS, 即可看到我们刚刚画的样例图
展示图像
在tensorboard中展示图像信息,使用tensor类型和numpy数组类型都可
from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import torchvisionwriter = SummaryWriter("logs/log1")
img = Image.open("test.jpg")
myTotensor = torchvision.transforms.ToTensor()
img_tensor = myTotensor(img)writer.add_image("img_test",img_tensor)
writer.close()
启动tensorboard服务:
tensorboard --logdir=logs/log1
如果多次执行代码且没有修改不同的图片描述信息(tag),则会出现混乱的画面,这种情况可以把logs文件删除,然后重新运行代码即可。