机器学习课程 2-1-统计学习102-linear SVM with soft margin

•1. SVM stories

•2. Bi-classification

•LSVM-hard margin, Approximation LSVM, LSVM-soft margin

•Kernel-based LSVM, nonlinear SVM

•3. Multi-classification

•OVO, OVA, Twin SVM

•4. Prediction

•SVR

LSVM = linear SVM

LSSVM = linear soft SVM

从hard margin到soft margin, 如果直接看LSVM和LSSVM的话，很容易就理解成，在LSVM的目标函数上加个惩罚项，在约束条件上稍微调整下，从1变成1-\xi. 这样理解其实也对，没什么问题。但是实际上中间经过了一个approximate LSVM的过渡，这个能够加深我们对整个变化过程理解。

学LSVM的时候要去看它的dual, DLSVM

那么学LSSVM的时候也要去看它的dual, DLSSVM

巧妙的地方在于DLSSVM只是比DLSVM变化了一点点，原来是N个nonnegative variables, 而现在是N个bounded variables . 而且这个bounded的bound是有实际意义的，就是参数C，一个点的重要性不能超过C这个违约程度。

参数C是用来平衡两方面的，这是个超参数。

既要允许有violation, 又想“张”的越开越好。

C越大说明violation的部分越重要，那么generalization就没有那么重要了。

C越小，表示越不在乎violation.

不同的C会得到不同的解，这是在直觉上分析C，不是数学上分析。学machine learning并不是在学数学，有很多东西需要动手练习，才能逐渐了解具体是在做什么。而且得到的永远是engineering solution, 并不是mathematical solution.