一文认识神经网络工作原理
发布时间：2021-08-12 17:56:41 所属栏目：大数据 来源：互联网
导读：深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术，可以帮无人车识别停车标志、区分行人与路灯柱。它是手机、平板、电视和免提扬声器等设备实现语音控制的关键。深
|
深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术，可以帮无人车识别停车标志、区分行人与路灯柱。它是手机、平板、电视和免提扬声器等设备实现语音控制的关键。深度学习近期以其前所未有的成果获得了广泛关注。
在深度学习中，计算机模型直接从图像、文本或声音中学习直接如何执行分类任务。深度学习模型可以达到最高的准确度，有时甚至超过了人类的水平。我们通常使用大量标记的数据和包含许多层的神经网络体系结构来训练模型。
一文了解神经网络工作原理
资源
深度学习的模型可应用到各种复杂任务中：
1. 人工神经网络（ANN）进行回归和分类
2. 用于计算机视觉的卷积神经网络（CNN）
3. 递归神经网络（RNN）用于时间序列分析
4. 自组织地图以进行特征提取
5. 推荐系统的深玻尔兹曼机
6. 推荐系统的自动编码器
在本文中，我们将尽可能的介绍人工神经网络（ANN）的所有相关内容。
“人工神经网络（ANN）是一种信息处理范例，它受到生物神经系统（大脑）信息处理方式的启发。由大量高度互连的处理元件（神经元）组成，这些元件协同工作以解决特定问题。”
主要内容：
1. 神经元
2. 激活功能
3. 激活功能的类型
4. 神经网络如何工作
5. 神经网络如何学习（反向传播）
6. 梯度下降
7. 随机梯度下降
8. 随机梯度下降训练神经网络
神经元
神经元（也称为神经细胞）是大脑和神经系统的基本单元，通过树突接收来自外部世界的刺激信息，对该信息进行处理后，通过轴突输出给其他细胞。
一文了解神经网络工作原理
生物神经元
细胞体（Soma）：神经元细胞的主要部分，包含细胞核，进行必要的生化反应。
树突：神经元周围类似头发的管状结构。主要负责接受输入信号。
轴突：这是一种细长的管状结构，类似于传输线。
突触：神经元以复杂的空间排列相互连接。轴突末端再次分支，是一种高度复杂、高度专一的结构，我们称之为突触。两个神经元之间的联系就发生在这些突触处。
树突接收其他神经元信息输入。细胞体处理这些传入信息，得到相应的输出结果，该结果通过轴突和突触发送到其他神经元。
一文了解神经网络工作原理
电信号流过神经元。
下图代表了受生物神经元启发的ANN一般模型。它也被称为感知器。
单层神经网络一般称为感知器，给定输入它将计算得到输出。
一文了解神经网络工作原理
感知器
在上图中，x0, x1, x2, x3...x(n)代表该网络的输入（独立变量），每一个输入在经过所谓的树突时都要乘以相应的权重。该权重表示为w0, w1, w2, w3….w(n)，它显示特定节点的强度。b是偏差值。偏差值可以向上或向下移动激活函数。
最简单的情况，将这些乘积相加并输入传递函数（激活函数）得到结果，然后将该结果作为输出发送。
激活函数
激活函数对于ANN学习和理解真正复杂的东西很重要。它们的主要目的是将ANN中节点的输入信号转换为输出信号，此输出信号将作为下一层的输入。
激活函数通过计算加权总和偏差值来决定是否激活该神经元。目的是引入非线性。
如果我们不应用激活函数，那么输出信号将仅仅是线性函数（一阶多项式）。线性函数很容易求解，功耗也相对较小，但是它们的复杂性受到一定的限制。因此没有激活函数，我们的模型就无法进行学习，也无法对复杂的数据进行建模，例如图像，视频，音频，语音等。
为什么我们需要非线性函数？
非线性函数是一种具有曲率的函数。现在我们需要神经网络能够进行学习，能够表示将输入映射到输出的任意复杂函数。因此神经网络也被认为是 “通用函数逼近器”。
激活函数的类型：
1. 阈值激活函数—（二进制阶跃函数）
二进制阶跃函数是基于阈值的激活函数。如果输入值高于某个阈值，则神经元被激活并将完全相同的信号发送到下一层；低于某个阈值则不被激活。
一文了解神经网络工作原理
二进制函数
此函数的问题是创建一个二进制分类器（1或0），但是如果我们要连接多个这样的神经元以引入更多类，如Class1、Class2、Class3等。在这种情况下，所有神经元都将给出1 ，我们将无法进行判断。
2. Sigmoid激活函数-（逻辑函数）
Sigmoid函数是一种数学函数，具有特征性的“ S”形曲线或S型曲线，范围在0到1之间，因此它用于需要预测概率为输出。
一文了解神经网络工作原理
Sigmoid曲线
Sigmoid函数是可微的，这意味着我们可以求解任意2个点的曲线斜率。Sigmoid激活函数的缺点是，如果提供较大的负输入，则可能导致神经网络在训练时卡住。
3. 双曲正切函数—（tanh）
类似于Sigmoid，但性能更好。它本质上是非线性的，因此我们可以对各层进行叠加。该函数的范围是（-1,1）。
一文了解神经网络工作原理
双曲正切函数
此功能的主要优点是，负输入映射为负输出，而只有零值输入会被映射为接近零输出。因此，在训练过程中卡顿的可能性较小。
4. 整流线性单元-（ReLu）
ReLu是CNN和ANN中最常用的激活函数，范围从零到无穷大。[0，∞]
一文了解神经网络工作原理
ReLu
如果x为正，则给出输出为“ x”；如果x为负，否则输出为0。ReLu看起来是线性函数的问题，但本质上是非线性的，并且ReLu的组合也是非线性的。实际上，它是一个很好的近似器，可以通过组合Relu来近似大部分函数。
它一般应用于神经网络的隐藏层。对于输出层而言，分类问题通常使用softmax函数，回归问题使用线性函数。
这里存在的一个问题是，某些梯度在训练过程中可能会消失。这会导致权重更新，任何数据点都无法激活该神经元。ReLu基本导致了神经元的死亡。
为了解决这一问题，引入了Leaky ReLu。Leaky ReLu引入了一个小斜率来保证不出现上述问题。Leaky ReLu范围从-∞到+∞。
一文了解神经网络工作原理
ReLu vs Leaky ReLu
Leaky增加了ReLu函数的输出范围。通常，a = 0.01。当a不为0.01时，则称为随机ReLu。
神经网络如何工作？
让我们以房地产价格为例，首先，我们将不同的因素汇总到一行数据中： Area, Bedrooms, Distance to city and Age.
一文了解神经网络工作原理
输入值通过加权的突触直接到达输出层。四个输入值均会被分析并输入到激活函数中，产生输出结果。
这很简单，但是通过在输入和输出层之间添加一个隐藏层可以扩大神经网络的功能并提高其准确性。
一文了解神经网络工作原理
具有隐藏层的神经网络（仅显示非0值）
现在在上图中，所有4个变量都通过突触连接到神经元。但是，并非所有的突触都被加权。权值包括0值和非0值。在这里，非零值表示重要性，0值表示输入被丢弃。
让我们以第一个神经元的Area和Distance to City为非零的示例为例，这意味着它们对第一个神经元重要。另外两个变量，Bedrooms而Age权值为0，因此不通过第一神经元。
您可能想知道为什么第一个神经元只考虑四个变量中的两个。距离城市越远房子变得越便宜，这在房地产市场上很普遍。因此，这个神经元所做的事情可能是寻找离市区较近的房屋。
神经元很多，每个神经元用这些变量的不同组合进行相似的计算。一旦满足标准，神经元就会使用激活函数进行计算。
下一个神经元加权的突触可能是Distance to the city和Bedrooms。因此神经元以非常灵活的方式工作，全面的搜索以查找特定的事物。
神经网络如何学习？
让我们先来做一个类比。神经网络的学习与我们正常的学习方式密切相关，我们首先完成一定的工作，并得到教练的纠正，下一次以更好的方式来完成这个工作。类似地，神经网络需要培训者，来描述该网络对输入做出的反应。用实际值和预测值之间的差异，计算一个误差值（也称为成本函数），并将其发送回系统。
成本函数：实际值与输出值之间平方差的一半。
对于网络的每一层，都会分析成本函数，并用其调整下一个输入的阈值和权重。我们的目标是使成本函数最小化。成本函数越低，实际值就越接近于预测值。这样随着网络的不断学习，每次运行的误差都减小。
我们通过整个神经网络反馈结果数据。将输入变量连接到神经元的加权突触是我们唯一可以控制的事情，因此只要实际值和预测值之间存在差异，我们就需要调整权重。一旦稍微调整它们并再次运行神经网络，便会产生一个新的成本函数，我们希望它可以比上一个小。重复此过程，直到将成本函数降低到尽可能小的水平为止。
一文了解神经网络工作原理
上述过程称为反向传播，并通过网络连续进行，直到将误差值保持在最小值为止。
一文了解神经网络工作原理
反向传播
调整权重的方法有两种：
1.蛮力方法
2.批梯度下降 （编辑：宿州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
