【pytorch22】激活函数与GPU加速

2024/10/24 13:30:17 来源：https://blog.csdn.net/qq_45291280/article/details/140288959 浏览: 次关键词：【pytorch22】激活函数与GPU加速

在这里插入图片描述

ReLu还是还是可能出现梯度弥散，因为x<0的时候，梯度还是可能小于0

在这里插入图片描述
leaky relu，在x<0的时候，梯度就不会为0，梯度不会不动

Relu函数在x=0处是不连续的

一种更加光滑的曲线是SELU，是两个函数的concat
在这里插入图片描述
softplus，把ReLu的尖点x=0做了一个平滑处理，使得导数不连续的地方导数连续

目前用的最多的是Relu、sigmoid，tan h(RNN)以及Leaky Relu

在这里插入图片描述
loss层也是需要计算的，可以把loss层也搬到GPU上去

本网仅为发布的内容提供存储空间，不对发表、转载的内容提供任何形式的保证。凡本网注明“来源：XXX网络”的作品，均转载自其它媒体，著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处。

我们尊重并感谢每一位作者，均已注明文章来源和作者。如因作品内容、版权或其它问题，请及时与我们联系，联系邮箱：809451989@qq.com，投稿邮箱：809451989@qq.com

热文排行