svm



svm
12年前很火,现在遇到对手神经网络
二分类问题
里面的min,是求离决策边界最近的雷是哪个i
外面的max,是求哪组wb能使“雷”到边界距离越大越好
y与y(x)同正负,为正负1,y*y(x)恒大于0

可放缩使y*y(x)>=1,则min那项最小就为1

二分之一,求解方便

阿尔法i
KKT对偶性质
先求min极小值,偏导=0,得到两个条件
阿尔法等于0的向量,就不是支持向量,对结果没影响,阿尔法不等于0的向量为边界点(支持向量),构成决策边界

核变换,理论上说是低维映射到高维,实际上根本没做,只是在低维上求解
低维上先映射到高维,再求內积,就等于先内积再映射(把值映射就行了)

高斯核函数,相当于做了无限维的变换
不加核函数,线性变换
加核函数,非线性变换,低维不可分转化为高维可分
相当于高维的运算转化为低维的运算
gama,模型的复杂程度,越大越复杂,映射的维度越大,决策边界越精确,分类越准确,泛化能力越低,越小反之

神经元个数越多,通常网络模型效果越好
黑箱操作,并不知道网络内部各个参数的关系及其表达出的内容,只能从整体逻辑上指出神经网络做了什么事,而不能从内部指出各个参数W1做了什么事。

;