神经网络的来源

~        神经网络技术起源于上世纪五、六十年代，当时叫 感知机 （perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。

      多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。这就是现在所说的神经网络NN。

      神经网络的层数直接决定了它对现实的刻画能力 ——利用每层更少的神经元拟合更加复杂的函数。但问题出现了——随着神经网络层数的加深， 优化函数越来越容易陷入局部最优解 ，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加， “梯度消失”现象更加严重 。（具体来说，我们常常使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。）

      2006年，Hition提出了深度学习的概念，引发了深度学习的热潮。具体是利用预训练的方式缓解了局部最优解的问题，将隐藏层增加到了7层，实现了真正意义上的“深度”。

DNN形成

        为了克服梯度消失，ReLU、maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式。结构跟多层感知机一样，如下图所示：

       我们看到 全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，从而导致参数数量膨胀 。假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点，光这一层就有10^12个权重需要训练，这不仅容易过拟合，而且极容易陷入局部最优。

CNN形成

       由于图像中存在固有的局部模式（如人脸中的眼睛、鼻子、嘴巴等），所以将图像处理和神将网络结合引出卷积神经网络CNN。CNN是通过卷积核将上下层进行链接，同一个卷积核在所有图像中是共享的，图像通过卷积操作后仍然保留原先的位置关系。

        通过一个例子简单说明卷积神经网络的结构。假设我们需要识别一幅彩色图像，这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像），假设卷积核大小为100*100，共使用100个卷积核w1到w100(从直觉来看，每个卷积核应该学习到不同的结构特征)。

       用w1在ARGB图像上进行卷积操作，可以得到隐含层的第一幅图像;这幅隐含层图像左上角第一个像素是四幅输入图像左上角100*100区域内像素的加权求和，以此类推。

同理，算上其他卷积核，隐含层对应100幅“图像”。每幅图像对是对原始图像中不同特征的响应。按照这样的结构继续传递下去。CNN中还有max-pooling等操作进一步提高鲁棒性。

      注意到最后一层实际上是一个全连接层，在这个例子里，我们注意到输入层到隐藏层的参数瞬间降低到了100*100*100=10^6个！这使得我们能够用已有的训练数据得到良好的模型。题主所说的适用于图像识别，正是由于CNN模型限制参数了个数并挖掘了局部结构的这个特点。顺着同样的思路，利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中。

RNN形成

      DNN无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了大家所说的另一种神经网络结构——循环神经网络RNN。

      在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间段直接作用到自身，即第i层神经元在m时刻的输入，除了(i-1)层神经元在该时刻的输出外，还包括其自身在(m-1)时刻的输出！表示成图就是这样的：

为方便分析，按照时间段展开如下图所示：

（t+1）时刻网络的最终结果O（t+1）是该时刻输入和所有历史共同作用的结果！这就达到了对时间序列建模的目的。RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度!正如我们上面所说，“梯度消失”现象又要出现了，只不过这次发生在时间轴上。

       所以RNN存在无法解决长时依赖的问题。为解决上述问题，提出了LSTM（长短时记忆单元），通过cell门开关实现时间上的记忆功能，并防止梯度消失，LSTM单元结构如下图所示：

       除了DNN、CNN、RNN、ResNet（深度残差）、LSTM之外，还有很多其他结构的神经网络。如因为在序列信号分析中，如果我能预知未来，对识别一定也是有所帮助的。因此就有了双向RNN、双向LSTM，同时利用历史和未来的信息。

       事实上，不论是哪种网络，他们在实际应用中常常都混合着使用，比如CNN和RNN在上层输出之前往往会接上全连接层，很难说某个网络到底属于哪个类别。不难想象随着深度学习热度的延续，更灵活的组合方式、更多的网络结构将被发展出来。

参考链接：https://www.leiphone.com/news/201702/ZwcjmiJ45aW27ULB.html

---

海拉尔区17198523971： 人工神经网络(自适应非线性动态系统) - 搜狗百科？
骆聪罗霖： 记忆是人类心智活动的一种,属于心理学或脑部科学的范畴.记忆代表着一个人对过去活动、感受、经验的印象累积,有相当多种分类,主要以环境、时间和知觉来分.记忆是如何形成的呢?要了解记忆的形成,就必须注意神经细胞,因为记忆...

海拉尔区17198523971： 神经网络算法是什么? - ？
骆聪罗霖： Introduction --------------------------------------------------------------------------------神经网络是新技术领域中的一个时尚词汇.很多人听过这个词,但很少人真正明白它是什么.本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语...

海拉尔区17198523971： 神经网络激励函数的作用是什么?有没有形象的解释 - ？
骆聪罗霖： 为什么要神经网络,你先查一下!1)来源于这个名词的解释,是大脑神经网络的结构.2)如果不用激励函数网络收敛速度是很慢的.3)特征是二值化的,激励函数有类似的作用!

海拉尔区17198523971： 神经网络的发展历史有哪些? ？
骆聪罗霖： 但是,由于指令存储式计算机技术的发展非常迅速,迫使他放弃了神经网络研究的新途径,继续投身于指令存储式计算机技术的研究,并在此领域作出了巨大贡献

海拉尔区17198523971： 电力系统中说的一次二次是指什么意思 - ？
骆聪罗霖： 是指一次设备和二次设备. 一次设备是直接用于生产和使用电能,比控制回路(二次设备)电压高的电气设备,主要组成有:发电机(电动机)、变压器、断路器、隔离开关、自动开关、接触器、刀开关、母线、输电线路、电力电缆、电抗器等...

海拉尔区17198523971： 请教web和internet的异同? - ？
骆聪罗霖： web和internet的异同(区别): 1、属性不同: web是网页,web属于分布式图形信息系统和和建立在Internet上的一种网络服务; Internet是网络,属于信息资源和资源共享的一种集合. 2、组成不同: web是万维网,由文档及超级链接将...

海拉尔区17198523971： 数据挖掘技术主要包括哪些 - ？
骆聪罗霖： 数据挖掘技术主要有决策树 、神经网络 、回归 、关联规则 、聚类 、贝叶斯分类6中. 1、决策树技术. 决策树是一种非常成熟的、普遍采用的数据挖掘技术.在决策树里,所分析的数据样本先是集成为一个树根,然后经过层层分枝,最终形成...