深度学习常见的是对于梯度的优化，优化器最后其实就是各种对于梯度下降算法的优化。提供了很多优化器的支持。

这个类是实现梯度下降算法的优化器。

实现了算法的优化器，该算法不需要手动调优学习速率，抗噪声能力强，可以选择不同的模型结构。是对的扩展。只累加固定大小的项，并且也不直接存储这些项，仅仅是计算对应的平均值。

实现了算法的优化器，会累加之前所有的梯度平方。它用于处理大的稀疏矩阵，可以自动变更学习速率，只是需要设定一个全局的学习速率，但这并非是实际学习速率，实际的速率是与以往参数的模之和的开方成反比的。这样使得每个参数都有一个自己的学习率。

实现了算法的优化器，如果梯度长时间保持一个方向，则增大参数更新幅度；反之，如果频繁发生符号翻转，则说明这是要减小参数更新幅度。可以把这一过程理解成从山顶放下一个球，会滑的越来越快。

实现了算法的优化器，它与类似，只是使用了不同的滑动均值。

实现了算法的优化器，它综合了和方法，对每个参数保留一个学习率与一个根据过去梯度信息求得的指数衰减均值。

对于稀疏数据，使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值。通常训练时间更长，容易陷入鞍点，但是在好的初始化和学习率调度方案的情况下，结果更可靠。
如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。、和是比较相近的算法，在相似的情况下表现差不多。

执行结果：

---

这里使用的优化器解决最优化问题。定义目标函数：

执行结果：

求最小时的值，使用梯度下降优化器可以解决问题：

执行结果：

实际上是与的和，即拆分成计算梯度和应用梯度两个步骤：

执行结果：