117笔记问答在SOME模型中，常用的优化算法包括：
-
随机梯度下降（Stochastic Gradient Descent, SGD）：SGD 是一种常用的优化算法，它在每次迭代中使用随机样本来计算梯度并更新模型参数，从而减小损失函数值。
-
Adam：Adam 是一种结合了动量和自适应学习率的优化算法，它通过计算梯度的一阶矩估计和二阶矩估计来动态调整学习率，提高收敛速度和稳定性。
-
RMSProp：RMSProp 是一种自适应学习率的优化算法，它通过计算梯度的指数加权移动均值来调整学习率，从而使得不同参数的学习率适应性更强。
-
Adagrad：Adagrad 是一种自适应学习率的优化算法，它通过计算参数的历史梯度平方和来调整学习率，使得稀疏梯度的参数可以更快地更新。
-
Adadelta：Adadelta 是一种自适应学习率的优化算法，它通过计算参数的历史梯度平方的指数加权移动均值来调整学习率，从而更好地克服 Adagrad 存在的学习率递减问题。
-
Adamax：Adamax 是一种基于 Adam 的变种优化算法，它通过计算梯度的 $L_\infty$ 范数来调整学习率，从而在一些情况下更加稳定。
-
Nadam：Nadam 是一种结合了 Nesterov 动量和 Adam 的优化算法，它通过在计算梯度时使用 Nesterov 动量来加速收敛，同时利用 Adam 的自适应学习率来提高稳定性。