优化理论和算法

简单介绍

优化理论和算法——AI 数学的核心支柱之一。机器学习/深度学习的训练本质是最小化损失函数的优化问题，本板块覆盖从经典凸优化到深度学习的非凸优化的完整知识链，是学习 AI 数学继微积分、线性代数、概率论之后的关键一环。

学习价值 - 理解 SGD/Adam 等优化器"为什么有效"，是读懂深度学习论文的必备基础 - 收敛性分析（强凸/光滑）为自研 AI 求解器、AI/ROM 代理模型的训练调优提供理论依据 - 与现有「凸优化」子目录衔接：凸优化打基础，本板块延伸到深度学习非凸场景

推荐电子书

国外经典（3-5本）：

• 《Convex Optimization》（Stephen Boyd & Lieven Vandenberghe，2004）——凸优化公认经典，机器学习优化的理论基础。

• 《Numerical Optimization》（Jorge Nocedal & Stephen J. Wright，第2版，2006）——数值优化算法的标准参考书。

• 《Nonlinear Programming》（Dimitri P. Bertsekas，第3版，2016）——非线性规划领域的权威著作，理论深邃。

国内经典（2本）：

• 《最优化理论与方法》（袁亚湘、孙文瑜，1997）——国内最优化领域权威教材，理论与算法并重。

• 《最优化理论与算法》（陈宝林，第2版，2005）——清华大学经典教材，算法讲解透彻、示例丰富。