神经网络 - 非线性激活
使用到的pytorch网站:
- Padding Layers（对输入图像进行填充的各种方式）
几乎用不到，nn.ZeroPad2d（在输入tensor数据类型周围用0填充）
nn.ConstantPad2d（用常数填充）
在 Conv2d 中可以实现，故不常用 - Non-linear Activations (weighted sum, nonlinearity)
- Non-linear Activations (other)
1.最常见的非线性激活：RELU
ReLU — PyTorch 1.10 documentation
输入：(N,*) N 为 batch_size，*不限制可以是任意
代码举例：RELU
import torch
from torch import nn
from torch.nn import ReLUinput = torch.tensor([[1,-0.5],[-1,3]])
input = torch.reshape(input,(-1,1,2,2)) #input必须要指定batch_size，-1表示batch_size自己算，1表示是1维的
print(input.shape) #torch.Size([1, 1, 2, 2])# 搭建神经网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.relu1 = ReLU() #inplace默认为Falsedef forward(self,input):output = self.relu1(input)return output# 创建网络
tudui = Tudui()
output = tudui(input)
print(output)
运行结果：
2.Sigmoid
Sigmoid — PyTorch 1.10 documentation
输入：(N,*) N 为 batch_size，*不限制
代码举例：Sigmoid（数据集CIFAR10）
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("../data",train=False,download=True,transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset,batch_size=64)# 搭建神经网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.sigmoid1 = Sigmoid() #inplace默认为Falsedef forward(self,input):output = self.sigmoid1(input)return output# 创建网络
tudui = Tudui()writer = SummaryWriter("../logs_sigmoid")
step = 0
for data in dataloader:imgs,targets = datawriter.add_images("input",imgs,global_step=step)output = tudui(imgs)writer.add_images("output",output,step)step = step + 1writer.close()
运行后在 terminal 里输入：
tensorboard --logdir=logs_sigmoid
打开网址：
关于inplace
tensorboard --logdir=logs_sigmoid
打开网址：[外链图片转存中...(img-9qQDN4dS-1724861715512)]### 关于inplace
