SVM.md

SVM

应该先从超平面开始讲起

超平面

$n$ 维空间超平面用方程 ${w}^{T} {x}+{b}=0$ 来表示

其中 $w, x, b$ 均为向量

我们以二维空间超平面（直线）来举例说明，

这是方程 $x_1-x_2 + 1 =0$的图像，我们用标准形式来表示就是：

$[1 -1]\left[x_1 \ x_2\right] + 1 = 0$

而$w$代表什么呢，在几何中它是法向量，

所以得到了空间中任意一点x(x_i, y_i) $$ \frac{\left|w^{T} x+b\right|}{|w|} $$

点在超平面上方，下方，上

还会用 y(value)来判断对不对

SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。