彩神排列三_神彩排列三官方

吴恩达《深度学习》第一门课(3)浅层神经网络

时间:2020-01-03 14:34:03 出处:彩神排列三_神彩排列三官方

(2)a[0]chang也常用来表示输入形态学 ,a[1]b表示第一层的输出,如第一层(不算输入层)有三个神经元,其输出为(用a表示是原应 activation激活函数的缩写):

(1)sigmoid激活函数:除了输出层是一三个二分类问题图片基本不必用它。指在梯度消失问题图片,其函数表达式如下:

(2)向量化表示下面三个式子:

(2)反向传播三个式子(下面公式3.3.2中应该是dz[2]):

(1)神经网络各层分别较输入层、掩藏层和输出层,其中说一三个网络有几层时一般不包括输入层,如下图是一三个两层的网络:

针对网络形态学 进行计算:

(2)向量化:

(2)有回会 输出原应 会用到线性激活函数。

(3)以矩阵A为例,从水平上看,每一列对应着不同的训练样本;从垂直方向看,每一行对应着同一层的不同神经元。

(3)ReLU激活函数:最常用的默认函数,原应 不选折 用哪个激活函数,可是我 用ReLU(函数表达式为a=max(0,z))或则Leaky ReLU(函数表达式为a=max(0.01z,z),0.01参数可改)。ReLU在负半区梯度为零,产生所谓的稀疏性,但原应 有足够多的掩藏层是z大于0,可是我 学习过程还是非常的快。

(2)每一三个神经元做的计算:

3.第二层的反向传播(正向倘若把微分符号加上即可)

(3)一三个输入样本,神经网络的计算

(3)关于W[m],b[m]是和第m层输出有关的系数,W的维度(第m层单元数,上一层单元数),b的维度为(第m层单元数,1)。

(1)神经网络每个单元要花费一三个逻辑回归,神经网络由逻辑回归的堆叠起来。下图是网络形态学 :

(1)神经形态学 如下:

(1)原应 这麼非线性激活函数,这麼无论网络有哪哪几个层,输出始终是输入的线性组合,与一层网络毫无区别。举类式下:

(4)下面的类式激活函数的图像:

(2)里面式子中省略了b[1],b[1]的维度与Z[1]相同,加上上python具有广播的功能,可是我 都也能使得向量b与每一列相加。

(2)tanh激活函数:tanh是非常优秀的,都也能中心化数据(-1到1),几乎适合可是我 场合。指在梯度消失问题图片,其函数表达式如下:

1.第一层的正向传播

(1)W都也能了初始化为零可是我 一层中每个单元都做相同的计算,和一三个单元没这些区别,b都也能初始化为零。可按照如下土方法初始化(0.01的作用是时输出不必不要 ,不要 由由sigmoid、tanh激活函数是原应 原应 梯度有点硬小):

(1)多样本的计算示意图(a[2](1)前面的2表示第二层,里面的1表示第一三个样本):

 

(1)正向传播三个式子:

2.第一层的反向传播

(1)主要推导过程:

(1)矩阵乘列向量得到列向量:

热门

热门标签