人工神经网络基础_ANN课程笔记 2、深度神经网络

第二章深度神经网络

一、概述

1、基本概念

深度学习（Deep Learning）是一种没有人为参与的特征选取方法，又被称为是无监督的特征学习（Unsupervised Feature Learning）。

深度学习思想的神经网络利用隐含层从低到高依次学习数据的从底层到高层、从简单到复杂、从具体到抽象的特征，而这一特性决定了深度学习模型可以学习到目标的自适应特征，具有很强的鲁棒性。

深度学习的另外一个思想是贪婪算法(greedy algorithm)的思想，其在训练的时候打破了几十年传统神经网络训练方法的“桎梏”，采用逐层训练(greedy layer-wise)的贪婪思想，并经过最后的微调(fine-tuning)，这一训练算法的成功也使得深度学习获得了巨大成功。

传统的模式识别方法：

机器学习过程

从最初的传感器得到原始的数据，到经过预处理，都是为了第三步和第四步的特征提取和特征选择，而这个耗时耗力的工作一般要靠人工完成。

这种靠人工的，需要大量的专业知识的启发式的特征提取方法注定要限制机器学习的发展，而深度学习的非监督学习阶段的“盲学习”的特性能够解决该问题，即：深度学习在特征提取和选择时是完全自主的，不需要任何的人工干预。

2、神经网络发展受限之处

?多隐含层的网络容易收敛到参数空间的局部最优解，即偏导数为0 的点，尤其在目标识别中，由于图像的信噪比很低，神经网络很容易陷入局部极小点；?训练算法与网络的初始参数有很大关系，比较容易过拟合；

?训练速度慢；

?在误差反向传播的训练算法中，层数越深，误差越小，甚至接近于0，造成训练失败。

?误差反向传播算法必须要用到带标签的数据（有导师学习、监督学习），获取带标签的数据十分困难。

3、深度学习的学习算法

深度学习的基本模型从形式上来看和神经网络一致，基本的结构单元都是神经元，由神经元组成网络层，整个网络由输入层，隐含层和输出层组成。

在深度学习理论中，一个网络的学习算法每运行一次，只调整一层网络的参数。在依次对所有层进行这种贪婪(greedy)算法训练之后，再对网络进行一次整体调优(fine-tune)，其中第一步称之为预训练(pre-training)。这是整个深度学习理论中的训练算法思想。

在这种训练方式下，即先经过贪婪训练，再整体调优，高维度参数空间中的局部极小点对于最终的训练结果造成的影响可以忽略。

将深度学习的训练思想与误差反向传播算法相对比，将算法第一步的贪婪算法看作是对网络参数的初始化，第二步的整体调优实际中一般用的就是误差反向传播算法，因此深度学习训练算法第一步可以看作是对BP 神经网络进行一个参数空间上比较“合理”的即比较容易达到最优解的初始化，而这种初始化的方式要比误差反向传播算法的初始化方法(随机初始化)要“高明”的多，因为其更有理

论依据，更有说服力。

4、深度学习区别于传统的机器学习的几个方面：

?强调了ANN模型结构的深度，与通常的浅层学习相比，深度学习使用更多隐含层，能够学习到从输入到输出更加复杂的非线性关系；

?突出特征学习的重要性。通过逐层特征变换，将数据在原始空间的特征表示变换到一个新特征空间，学习输入数据的有效特征表示，使分类或预测变得容易而且精确度得到提高；

?深度学习来源于人工神经网络的发展，但是训练的方式与传统的人工神经网络不同，采用逐层训练的方法，然后再对网络参数进行微调；

?深度学习模型需要大量数据来学习特征，而浅层学习不需要，使用浅层模型手工设计的特征数据量相对较少。