翻译：陈丹
校对：车前子
本文约字，建议阅读15分钟
本文是一个教授如何优化神经网络模型的基础教程，提供了具体的实战代码供读者学习和实践。标签：神经网络优化
深度学习的神经网络是采用随机梯度下降优化算法对训练数据进行拟合。利用误差反向传播算法对模型的权值进行更新。优化和权值更新算法的组合是经过仔细挑选的，是目前已知的最有效的拟合神经网络的方法。然而，也可以使用交替优化算法将神经网络模型拟合到训练数据集。这是一个有用的练习，可以了解更多关于神经网络的是如何运转的，以及应用机器学习时优化的中心性。具有非常规模型结构和不可微分传递函数的神经网络，也可能需要它。在本教程中，您将了解如何手动优化神经网络模型的权重。完成本教程后，您将知道：如何从头开始开发神经网络模型的正向推理通路。
如何优化二值分类感知器模型的权值。
如何利用随机爬山算法优化多层感知器模型的权值。
我们开始吧。图源土地管理局，权利归其所有教程概述本教程分为三个部分：它们是：优化神经网络
优化感知器模型
优化多层感知器
优化神经网络深度学习或神经网络是一种灵活的机器学习。它们是受大脑结构和功能的启发而来的，由节点和层次组成的模型。神经网络模型的工作原理是将给定的输入向量传播到一个或多个层，以产生可用于分类或回归预测建模的数值输出。通过反复将模型暴露在输入和输出示例中，并调整权重以使模型输出相对于期望输出的误差最小来训练模型。这就是所谓的随机梯度下降优化算法。模型的权值是使用微积分中的一个特定规则来调整的，即将误差按比例分配给网络中的每个权重。这被称为反向传播算法。利用反向传播进行权值更新的随机梯度下降优化算法是训练神经网络模型的最佳方法。然而，这并不是训练神经网络的唯一方法。可以使用任意的优化算法来训练神经网络模型。也就是说，我们可以定义一个神经网络模型结构，并使用给定的优化算法为模型找到一组权重，从而使预测误差最小或分类精度达到最大。交替优化算法通常来说比反向传播的随机梯度下降算法效率更低。然而，在某些特定情况下，它可能更有效，例如非标准网络体系结构或不可微分的传递函数。在训练机器学习的算法中，特别是神经网络中，展示优化的中心性是一个有趣的练习。接下来，让我们探索如何使用随机爬山算法训练一个称为感知器模型的简单单节点神经网络。优化感知器模型感知器算法（