不可行起始牛顿法

2023-02-09 20:24:21 文档大全网 [ 字体：小中大 ] [ 阅读： ]

【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《不可行起始牛顿法》，欢迎阅读！
起始,可行,牛顿法
不可行起始牛顿法

牛顿法（Newton's Method）是一种求解非线性方程组的有效近似求解方法，主要是解决实变函数的极值问题。主要应用于最小值问题的数值优化，常见的如梯度下降法，拟牛顿法、Levenberg-Marquardt方法等，它们都是求解非线性方程组的中立算法。

一、牛顿法的原理

牛顿法原理是寻找函数y = f(x)在某点x0处的泰勒展开式，即：

y = f(x0)+f’(x0)*(x-x0)+O(x–x0)2

其中，O(x–x0)2是泰勒展开式中其它未知项，值为x-x0时即为零 [1] 。将其带入方程：

f(x)=f(x0)+f’(x0)*(x-x0)

即可求出x1=x0-f(x0)/f’(x0)，则x1为x0的泰勒逼近值，这就是牛顿法的精髓。二、牛顿法的工作方式

牛顿法的工作方式是求解一个连续的函数的极值，这个函数就是梯度下降法中提到的最小值函数，在这里我们以最小二乘法拟合曲线来描述牛顿法的工作方式：

三、牛顿法的优缺点

牛顿法具有准确性高、效率高的优点，是当前求解方程的首选技术； 1. 优点

(1)准确性高：牛顿法的关键是自适应的搜索步长，搜索步长可以很好的控制，牛顿法求解函数最小值时，可以更快地收敛到函数最低点，较梯度下降法更准确； (2)效率高：由于牛顿法是自适应搜索步长的，比如梯度下降法每次迭代还需要更改步长；而牛顿法采用自适应搜索步长，使得牛顿法的收敛速度远远大于梯度下降法，更快的收敛到最优值；

2. 缺点

(1)需要计算函数的海森矩阵（Hessian matrix），而海森矩阵的计算很耗费时间； (2)牛顿法不适合于使用在有噪声数据上，梯度下降法可以比较好的处理噪声，而牛顿法在有噪声数据上，收敛速度会变慢；

(3)当函数是非凸函数时，牛顿法无法收敛到局部最优解，容易陷入局部最优解。

四、牛顿法的应用

牛顿法在人工智能和机器学习中有大量的应用，主要用于求解最多的是非凸优化中的局部最优解。另外，由于它的优点，在梯度下降法减缓收敛步长难以迭代时，也可以使用牛顿法加快迭代速度及提高准确性，比如支持向量机（Support Vector Machines），K近邻（K Nearest Neighbor），神经网络（Neural Network）等。还可以用于多维函数求根、多维最小值问题、图像处理等场景下，更多应用可以自己去探索。