Chapter 1. Convex Optimization ——Introduction

最小二乘问题具有很多统计意义，例如，给定包含高斯噪声的线性测量值时，向量X的最大思然估计等价于最小二乘问题的解

判断一个优化问题是否是最小二乘问题：
1、检验目标函数是否是二次函数
2、检验此二次函数是否半正定

χ(Mg)=2−2g,

加权最小二乘法:

∑ki=1wi(αTi−bi)2

正则化最小二乘法:

∑ki=1(αTi−bi)2+ρ∑ni=1x2i

线性规划问题，目标函数和所有的约束函数均为线性函数

minimize cTx s.t.aTix≤bi

大部分局部优化方法仅仅要求目标函数和约束函数可微，因此将实际问题建模为非线性优化问题是相当直接的。建模完成以后，局部优化中的技巧体现在问题的求解上（在寻找一个局部最优点的意义上）。而凸优化的情况完全相反，技巧和难点体现在描述问题的环节，一旦问题被建模为凸优化问题，求解过程相对来说就非常简单。

"...in fact, the great watershed in optimization isn't between linearity and nonlinearity, but convexity and nonconvexity." by R. Tyrrell Rockafellar, in SIAM Review, 1993

参考文献:

Optimization Problem Types - Convex Optimization
Advanced Tutorial - Gradients, Linearity, and Sparsity