最优化理论基础、线搜索技术、最速下降法和牛顿法、共轭梯度法、拟牛顿法（BFGS、DFP、Broyden族算法）、信赖域方法、非线性最小二乘问题（Gauss-Newton、Levenberg-Marquardt）、最优性条件（等式约束问题、不等式约束问题、一般约束问题、鞍点和对偶问题）、罚函数法（外罚函数、内点法、乘子法）、可行方向法（Zoutendijk可行方向法、梯度投影法、简约梯度法）、二次规划（等式约束凸二次规划、一般凸二次规划）序列二次规划（牛顿-拉格朗日法、SQP方法）