神经网络大作业

2022-05-24 08:50:36   文档大全网     [ 字体: ] [ 阅读: ]

#文档大全网# 导语】以下是®文档大全网的小编为您整理的《神经网络大作业》,欢迎阅读!
神经网络,作业












神经网络模型的对比与分析





学生姓名










神经网络网络拓扑结构大体有前向型、反馈型、自组织竞争型和随机型网络等拓扑结构(出发点不同网络结构的分法也不一样)。前向型的人工神经网络学习、分类等功能,反馈型的人工神经网络有联想记忆、优化计算等功能,自组织竞争型的人工神网络有聚类、搜索、自组织、自学习等功能。截至目前,我们主要学习了四种网络型,即:感知机、有监督的Hebb网络ADLINE (Widrow-Hoff)模型和反向传播模型(BP)都隶属于前向网络

下面,我就各个网络模型的学习规则以及异同谈一些体会。 1.感知机学习规则:

1943年,Warren McCullochWalter Pitts最早提出了一种人工神经元模型,把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值,则该神经元的输出值为0;如果加权和大于阈值,则该神经元的输出值为1。但由于没有找到训练这一网络的方法,因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代,Frank Rosenblatt研究人员提出了一种感知机的神经网络,引入了用于训练神经网络解决模式识别问题的学习规则,并证明了只要求解问题的权值存在,那么学习规则通常会收敛到正确的权值上。但是,感知机网络却存在一定的局限性,其只能解决模式识别中的线性可分问题。正是由于这种局限性,一度导致神经网络研究作陷入低潮。 我们知道,对于13维输入单层神经元的模式识别问题,可以通过图解法解决。其基本程序为:1、画出判定边界,该判定边界实现了区域划分的目的;2求解权值矩阵,权值矩阵求解的关键是判定边界总是和权值矩阵相正交,对于同一模式识别问题,判定边界的不同会造成权值矩阵的不同。这一不同,在与当前模式精确匹配时不会产生错误的输出,而在其他模式的判别中可能引起较大的误差(下面将举例说明)3、求解偏值,偏值b的求解,可以在求解权值矩阵的基础上,将判定边界上任意一点的坐标带入方程WT*Pb0得到,如果我们划定的判定边界通过坐标原点,那么此时的b值可以设定为0 3个以上输入神经元网络的判定边界无法用图形方法进行判定时,我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来,那么这个学习规则可写为WNEWWOLDepTBNEWBOLDe,其中eta。在学习过程的开始,权值和偏值我们可以任意设定,在输入第一个模式后,将期望输出与感知机的实际输出相减,得到输出误差e。通过e的正负调节权值矩阵和偏值,从而最终实现模式之间的正确分类。




2.有监督的Hebb学习规则:

Hebb学习规则是最早的神经网络学习规则之一,由Donald Hebb1949年作为大脑的一种神经元突触调整的可能机制而提出,从此Hebb规则就一直用于人工神经网络的训练。与感知机所不同的是,Hebb学习规则的权值更新公式变为WNEWWOLDtqpqT,矩阵形式为WTPT。在输入样本为标准正交向量时,该样本只与权值矩阵内对应相等的模式发生作用,而与其他模式的不发生作用,此时网络的输出等于其相应的目标输出。当输入不是标准正交向量时,网络的输出可能偏离目标输出,与目标输出不能十分匹配。解决这一问题的方法,就是运用仿逆规则,即把样本矩阵进行变换。仿逆规则为WTP+,P+=(PTP-1PT。通过仿逆规则,如果由于输入样本的非标准正交化引起的输出误差,可以通过仿逆规则达到精确的结果。

3. ADLINEWidrow-Hoff学习规则:

1960年,Widrow和他的研究Marcian Hoof引入了ADALINE网络和一个称为LMS算法的学习规则。ADALINE网络和感知机一样,只能解决线性可分问题。但是,虽然其网络与感知机十分相似,但与感知机不同之处在于,其一,ADALINE网络神经元中有一个线性激活函数,这允许输出可以是任意值,而不仅仅只是像感知机那样只能01;其二,他采用的是W-H学习规则,也即最小均方差规则对权值进行训练,LMS算法比感知机学习规则要强大很多,感知机规则能保证将训练模式收敛到一个可以正确分类的解上,有时训练模式常接近网络的判定边界,得到的网络对噪声较为敏感。而LMS算法使均方误差最小,从而使网络的判定边界尽量远离训练模式。

4.多层前向网络BP)规则:

1974年,Paul Werboss第一次描述了训练多层神经网络的一个算法,但并没有引起人们的关注。直到20世纪80年代中期,1986年,RumelhartGeoffrey HintonRonald Williams合著的《Learning representations by back-propagating errors》第一次系统简洁地阐述反向传播算法在神经网络模型上的应用。反向传播算法,把纠错的运算量下降到只和神经元数目本身成正比。反向传播算法,通过在神经网络里增加一个所谓隐层,同时也解决了感知机无法解决异或门的难题。反向传播算法才重新被发现并广泛宣扬。它实际上是一个多层网络LMS算法,是最速下降法的近似。LMS算法和反向传播算法的区别在于它们对导数的计算方法上。对于单层的线性网络,误差是网络权值的显示函数,其相对于权值的导数较容易求得。在具有非线性传输函数的多层网络中,网






络权值和误差的关系更为复杂。为了计算导数,需要用到微积分中的隐函数导数求解法。








本文来源:https://www.wddqxz.cn/bd871cc45df7ba0d4a7302768e9951e79b896911.html

相关推荐