凸优化

简单介绍

凸优化研究目标函数与约束均为凸的优化问题,此类问题有全局最优解且能高效求解。它是机器学习理论的核心支柱——支持向量机、逻辑回归、正则化方法等都可归结为凸优化问题,也是深入理解深度学习优化器的基础。

推荐电子书

国外经典(3-5本):

  • 《Convex Optimization》(Stephen Boyd & Lieven Vandenberghe,2004)——凸优化公认的"圣经",附配套公开课,自学首选。

  • 《Numerical Optimization》(Jorge Nocedal & Stephen J. Wright,第2版,2006)——数值优化算法的标准参考书,工程实用。

  • 《Convex Analysis》(R. Tyrrell Rockafellar,1970)——凸分析理论的奠基之作,进阶必备。

国内经典(2本):

  • 《非线性优化理论与方法》(王宜举、修乃华)——国内优化领域广泛采用的教材,理论与算法并重。

  • 《最优化理论与方法》(袁亚湘、孙文瑜,1997)——中国科学院院士袁亚湘等撰写,国内最优化权威教材。