神经网络大作业

【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《神经网络大作业》，欢迎阅读！





神经网络大作业







题 目 神经网络模型的对比与分析

学 院

学 号

学生姓名










神经网络的网络拓扑结构大体有前向型、反馈型、自组织竞争型和随机型网络等拓扑结构（出发点不同网络结构的分法也不一样）。前向型的人工神经网络有学习、分类等功能，反馈型的人工神经网络有联想记忆、优化计算等功能，自组织竞争型的人工神经网络有聚类、搜索、自组织、自学习等功能。截至目前，我们主要学习了四种网络模型，即：感知机、有监督的Hebb网络、ADLINE (Widrow-Hoff)模型和反向传播模型(BP)都隶属于前向网络。

下面，我就各个网络模型的学习规则以及异同谈一些体会。 1.感知机学习规则：

1943年，Warren McCulloch和Walter Pitts最早提出了一种人工神经元模型，把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值，则该神经元的输出值为0；如果加权和大于阈值，则该神经元的输出值为1。但由于没有找到训练这一网络的方法，因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代，Frank Rosenblatt等研究人员提出了一种感知机的神经网络，引入了用于训练神经网络解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的权值上。但是，感知机网络却存在一定的局限性，其只能解决模式识别中的线性可分问题。正是由于这种局限性，一度导致神经网络的研究工作陷入低潮。 我们知道，对于1－3维输入单层神经元的模式识别问题，可以通过图解法解决。其基本程序为：1、画出判定边界，该判定边界实现了区域划分的目的；2、求解权值矩阵，权值矩阵求解的关键是判定边界总是和权值矩阵相正交，对于同一模式识别问题，判定边界的不同会造成权值矩阵的不同。这一不同，在与当前模式精确匹配时不会产生错误的输出，而在其他模式的判别中可能引起较大的误差（下面将举例说明）。3、求解偏值，偏值b的求解，可以在求解权值矩阵的基础上，将判定边界上任意一点的坐标带入方程WT*P＋b＝0得到,如果我们划定的判定边界通过坐标原点，那么此时的b值可以设定为0。 当3个以上输入神经元网络的判定边界无法用图形方法进行判定时，我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来，那么这个学习规则可写为WNEW＝WOLD＋epT；BNEW＝BOLD＋e，其中e＝t－a。在学习过程的开始，权值和偏值我们可以任意设定，在输入第一个模式后，将期望输出与感知机的实际输出相减，得到输出误差e。通过e的正负调节权值矩阵和偏值，从而最终实现模式之间的正确分类。




2.有监督的Hebb学习规则：

Hebb学习规则是最早的神经网络学习规则之一，由Donald Hebb在1949年作为大脑的一种神经元突触调整的可能机制而提出，从此Hebb规则就一直用于人工神经网络的训练。与感知机所不同的是，Hebb学习规则的权值更新公式变为WNEW＝WOLD＋tqpqT，矩阵形式为W＝TPT。在输入样本为标准正交向量时，该样本只与权值矩阵内对应相等的模式发生作用，而与其他模式的不发生作用，此时网络的输出等于其相应的目标输出。当输入不是标准正交向量时，网络的输出可能偏离目标输出，与目标输出不能十分匹配。解决这一问题的方法，就是运用仿逆规则，即把样本矩阵进行变换。仿逆规则为W＝TP＋，P＋＝（PTP）-1PT。通过仿逆规则，如果由于输入样本的非标准正交化引起的输出误差，可以通过仿逆规则达到精确的结果。

3. ADLINE（Widrow-Hoff）学习规则：

1960年，Widrow和他的研究生Marcian Hoof引入了ADALINE网络和一个称为LMS算法的学习规则。ADALINE网络和感知机一样，只能解决线性可分问题。但是，虽然其网络与感知机十分相似，但与感知机不同之处在于，其一，ADALINE网络神经元中有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知机那样只能取0或1；其二，他采用的是W-H学习规则，也即最小均方差规则对权值进行训练，LMS算法比感知机学习规则要强大很多，感知机规则能保证将训练模式收敛到一个可以正确分类的解上，有时训练模式常接近网络的判定边界，得到的网络对噪声较为敏感。而LMS算法使均方误差最小，从而使网络的判定边界尽量远离训练模式。

4.多层前向网络（BP）规则：

1974年，Paul Werboss第一次描述了训练多层神经网络的一个算法，但并没有引起人们的关注。直到20世纪80年代中期，1986年，Rumelhart，Geoffrey Hinton和Ronald Williams合著的《Learning representations by back-propagating errors》第一次系统简洁地阐述反向传播算法在神经网络模型上的应用。反向传播算法，把纠错的运算量下降到只和神经元数目本身成正比。反向传播算法，通过在神经网络里增加一个所谓隐层，同时也解决了感知机无法解决异或门的难题。反向传播算法才重新被发现并广泛宣扬。它实际上是一个多层网络的LMS算法，是最速下降法的近似。LMS算法和反向传播算法的区别在于它们对导数的计算方法上。对于单层的线性网络，误差是网络权值的显示函数，其相对于权值的导数较容易求得。在具有非线性传输函数的多层网络中，网






络权值和误差的关系更为复杂。为了计算导数，需要用到微积分中的隐函数导数求解法。

本文来源：https://www.wddqxz.cn/bd871cc45df7ba0d4a7302768e9951e79b896911.html