最速下降法python实现

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了最速下降法python实现，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2100字，纯文字阅读大概需要4分钟。

内容图文

代码参数说明

其中d为下降方向，这里取grad（梯度）的负数方向，其中armijo搜索旨在寻找合适的步长

代码

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.ticker import LinearLocator, FormatStrFormatter
from mpl_toolkits.mplot3d import Axes3D


def sdm(fun, gfun, x0, rho, sigma, epsilon):
    '''
        最速下降法
    :param fun:             目标函数
    :param gfun:            梯度函数
    :param x0:              初始点
    :param rho:             armijo搜索参数
    :param sigma:           同上
    :param epsilon:         终止调节参数
    :return:
    '''
    max_iter_k = 5000
    max_m = 20
    k = 0
    while k < max_iter_k:
        grad = gfun(x0)
        d = -grad
        if np.linalg.norm(d) < epsilon:
            break

        m = 0
        mk = 0
        while m < max_m:        # armijo 搜索
            print('f(x + rho^m * d) = {}'.format(fun(x0 + pow(rho, m) * d)))
            print('f(x) + sigma * rho^m * g * d = {}'.format(fun(x0) + sigma * pow(rho, m) * np.dot(grad.T, d)))
            if fun(x0 + pow(rho, m) * d) < fun(x0) + sigma * pow(rho, m) * np.dot(grad.T, d):
                mk = m
                break
            m += 1

        x0 = x0 + pow(rho, mk) * d
        k += 1

    print('iterations : {}'.format(k))
    return x0, fun(x0)


def obj(x):
    '''
        目标函数 课本p31
    :param x:
    :return:
    '''
    y = x[1]
    x = x[0]
    return 100 * pow(x * x - y, 2) + pow(x - 1, 2)


def obj_g(x):
    y = x[1]
    x = x[0]
    arr = [400 * x * (x * x - y) + 2 * (x - 1), -200 * (x * x - y)]
    return np.array(arr).T


def test_f(x):
    '''
            测试二元函数
    :param x:
    :return:
    '''
    y = x[1]
    x = x[0]
    return (x - 1)**2 + (y - 2)**2


def test_f_g(x):
    y = x[1]
    x = x[0]
    arr = [2 * (x - 1), 2 * (y - 2)]
    return np.array(arr).T


if __name__ == '__main__':
    X = np.linspace(-3, 3, 100)
    Y = np.linspace(-3, 3, 100)
    X, Y = np.meshgrid(X, Y)

    # Z = (X - 1)**2 + (Y - 2)**2
    Z = 100 * (X**2 - Y)**2 + (X - 1)**2

    fig = plt.figure()
    ax = Axes3D(fig)
    surf = ax.plot_surface(X, Y, Z, cmap=plt.cm.winter)

    ax.set_xlabel("x-label", color='r')
    ax.set_ylabel("y-label", color='g')
    ax.set_zlabel("z-label", color='b')

    plt.savefig('graph_for_function/obj_f.png')
    plt.show()

    x0 = np.array([0.0, 0.0]).T
    # print(sdm(test_f, test_f_g, x0, 0.5, 0.4, 1e-5))
    print(sdm(obj, obj_g, x0, 0.5, 0.4, 1e-5))

代码以及函数的图像文件可见github地址：https://github.com/finepix/py_workspace/tree/master/optimization_algorithm/chapter3/steepest descent

内容总结

以上是互联网集市为您收集整理的最速下降法python实现全部内容，希望文章能够帮你解决最速下降法python实现所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端