凸优化[Convex Optimization]pdf

凸优化[Convex Optimization] 内容简介

《信息技术和电气工程学科国际知名教材中译本系列：凸优化》从理论、应用和算法三个方面系统地介绍凸优化内容。

凸优化在数学规划领域具有非常重要的地位。从应用角度看，现有算法和常规计算能力已足以可靠地求解大规模凸优化问题，一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。从理论角度看，用凸优化模型对一般性非线性优化模型进行局部逼近，始终是研究非线性规划问题的主要途径，因此，通过学习凸优化理论，可以直接或间接地掌握数学规划领域几乎所有重要的理论结果。由于上述原因，对于涉足优化领域的人员，无论是理论研究还是实际应用，都应该对凸优化理论和方法有一定程度的了解。

本书内容非常丰富。理论部分由4章构成，不仅涵盖了凸优化的所有基本概念和主要结果，还详细介绍了几类基本的凸优化问题以及将特殊的优化问题表述为凸优化问题的变换方法，这些内容对灵活运用凸优化知识解决实际问题非常有用。应用部分由3章构成，分别介绍凸优化在解决逼近与拟合、统计估计和几何关系分析这三类实际问题中的应用。算法部分也由3章构成，依次介绍求解无约束凸优化模型、等式约束凸优化模型以及包含不等式约束的凸优化模型的经典数值方法，以及如何利用凸优化理论分析这些方法的收敛性质。通过阅读本书，能够对凸优化理论和方法建立完整的认识。

本书对每章内容都配备了大量习题，因此也非常适合用作教科书。实际上，该书多年来已在美国多所大学用于课堂教学，近两年也在清华大学自动化系用作相关研究生课程的主要教材。

凸优化[Convex Optimization] 目录

1 引言

1.1 数学优化

1.2 最小二乘和线性规划

1.3 凸优化

1.4 非线性优化

1.5 本书主要内容

1.6 符号

参考文献

I 理论

2 凸集

2.1 仿射集合和凸集

2.2 重要的例子

2.3 保凸运算

2.4 广义不等式

2.5 分离与支撑超平面

2.6 对偶锥与广义不等式

参考文献

习题

3 凸函数

3.1 基本性质和例子

3.2 保凸运算

3.3 共轭函数

3.4 拟凸函数

3.5 对数-凹函数和对数-凸函数

3.6 关于广义不等式的凸性

参考文献

习题

4 凸优化问题

4.1 优化问题

4.2 凸优化

4.3 线性规划问题

4.4 二次优化问题

4.5 几何规划

4.6 广义不等式约束

4.7 向量优化

参考文献

习题

5 对偶

5.1 Lagrange对偶函数

5.2 Lagrange对偶问题

5.3 几何解释

5.4 鞍点解释

5.5 最优性条件

5.6 扰动及灵敏度分析

5.7 例子

5.8 择一定理

5.9 广义不等式

参考文献

习题

Ⅱ 应用

应用

6 逼近与拟合

6.1 范数逼近

6.2 最小范数问题

6.3 正则化逼近

6.4 鲁棒逼近

6.5 函数拟合与插值

参考文献

习题

7 统计估计

7.1 参数分布估计

7.2 非参数分布估计

7.3 最优检测器设计及假设检验

7.4 Chebyshev界和Cherno.界

7.5 实验设计

参考文献

习题

8 几何问题

8.1 向集合投影

8.2 集合间的距离

8.3 Euclid距离和角度问题

8.4 极值体积椭球

8.5 中心

8.6 分类

8.7 布局与定位

8.8 平面布置

参考文献

习题

Ⅲ 算法

9 无约束优化

9.1 无约束优化问题

9.2 下降方法

9.3 梯度下降方法

9.4 最速下降方法

9.5 Newton方法

9.6 自和谐

9.7 实现

参考文献

习题

10 等式约束优化

10.1 等式约束优化问题

10.2 等式约束的Newton方法

10.3 不可行初始点的Newton方法

10.4 实现

参考文献

习题

11 内点法

11.1 不等式约束的极小化问题

11.2 对数障碍函数和中心路径

11.3 障碍方法

11.4 可行性和阶段1方法

11.5 自和谐条件下的复杂性分析

11.6 广义不等式问题

11.7 原对偶内点法

11.8 实现

参考文献

习题

附录

A 有关的数学知识

A.1 范数

A.2 分析

A.3 函数

A.4 导数

A.5 线性代数

参考文献

B 双二次函数的问题

B.1 单约束二次优化

B.2 S-程序

B.3 双对称矩阵的数值场

B.4 强对偶结果的证明

参考文献

C 有关的数值线性代数知识

C.1 矩阵结构与算法复杂性

C.2 求解已经因式分解的矩阵的线性方程组

C.3 LU，Cholesky和LDLT 因式分解

C.4 分块消元和Schur补

C.5 求解不确定线性方程组

650参考文献

参考文献

符号

索引

凸优化[Convex Optimization] 精彩文摘

另一个例子是电子设计中的器件尺寸问题，即在电子电路中设计每个器件的长度和宽度。此时优化变量表示器件的长度和宽度。约束条件表征了多种工程上需要满足的要求，如生产过程对器件尺寸的要求，电路在特定速度稳定运行对时间的要求，或者是电路的总面积的限制。器件尺寸设计问题中一个比较常见的目标函数是电路的总功耗。因此，优化问题（1 . 1）此时变为设计合适的电路器件尺寸，使之满足设计要求（制造要求、时间要求以及面积要求）并且最为节能。

在数据拟合中，人们需要在一族候选模型中选择最符合观测数据与先验知识的模型。此时，变量为模型中的参数，约束可以是先验知识以及参数限制（比如说非负性）。目标函数可能是与真实模型的偏差或者是观测数据与估计模型的预测值之间的偏差，也有可能是参数值的似然度和置信度的统计估计。优化问题（1 . 1）此时即为寻找合适的模型参数值，使之符合先验知识，且与真实模型之间的偏差或者预测值与观测值之间的偏差最小（或者在统计意义上更加相似）。