【深度学习】向量化

2024/10/26 0:22:42 来源：https://blog.csdn.net/weixin_62403234/article/details/141905180 浏览: 次关键词：【深度学习】向量化

1. 什么是向量化

向量化通常是消除代码中显示for循环语句的技巧，在深度学习实际应用中，可能会遇到大量的训练数据，因为深度学习算法往往在这种情况下表现更好，所以代码的运行速度非常重要，否则如果它运行在一个大的数据集上面，代码可能花费很长时间去运行。

什么是向量化？在logistic回归中，需要计算 $z=w^{T}x+b$ ，w、x均为列向量。如果为非向量化实现：

z=0
for i in range(n_x):z+=w[i]*x[i]z+=b

如果为向量化实现，会直接计算 $w^{T}x$ ，后面直接加上b：

z=np.dot(w,x)+b

经过时间计算对比发现，非向量化的版本花费了300倍向量版本的时间：

可扩展深度学习实现实在GPU上做的，GPU也叫做图像处理单元。而GPU和CPU都有并行化的指令，有时候叫做SIMD指令，意思是单指令流多数据流，意思是如果使用了这样的内置函数np.function或者其他能去掉for循环的函数，这样python的numpy能充分利用并行化更快地计算。GPU相比较于CPU更擅长SIMD计算。

2. 向量化的更多例子

例1：

当编写神经网络时，尽可能的避免for循环。若我们想要计算 $u=Av$ ，即 $u_{i}=\sum_{i} \sum_{j}A_{ij}v_{j}$ ：

# 非向量化
for i in range (5)for j in range (5)u[i]+=A[i][j]*v[j]# 向量化
u=np.dot(A,v)

例2：

假设已经有一个向量 $v$ ， $v=[v_{1},v_{2},...,v_{n}]^{T}$ ，求 $u=[e^{v_{1}} , e^{v_{2}}, ..., e^{v_{n}}]^{T}$ ，非向量化计算方法：

u=np.zeros((n,1))
for i in range (n):u[i]=math.exp(v[i])

向量化计算方法：

import numpy as np
u=np.exp(v)np.log(v)
np.abs(v)
np.maximux(v,0)

例3：

m个样本的梯度下降算法

3. 向量化 logistic 回归（Vectorizing Logistic Regression）

假设有m个样本，为了实现前向传播，需要计算出m个训练样本的预测结果。在下面的例子中，当加上一个常数b的时候，会将其自动拓展成一个1xm的向量，在python中也称为 “Broadcasting”。

$X=[x^{(1)},x^{(2)},...,x^{m}]$

$Z=[z^{(1)},z^{(2)},...,z^{m}]=w^{T}X+[b,b,b,...,b]_{1\cdot m}$

$A=[a^{(1)},...,a^{(m)}]=\sigma(z)$

Z=np.dot(w.T,X)+b

4. 向量化 logistic 回归的梯度输出

Z=np.dot(w.T,x)+b
A=σ(Z)
dZ=A-Y
dw=np.dot(X,dZ.T)/m
db=np.sum(dZ)/m
w:=w-a*dw
b:=w-a*dw

【深度学习】向量化

1. 什么是向量化

2. 向量化的更多例子

例1：

例2：

例3：

3. 向量化 logistic 回归（Vectorizing Logistic Regression）

4. 向量化 logistic 回归的梯度输出

相关资讯

热文排行

最新新闻

推荐新闻

热搜词