训练支持向量机的Huber近似算法

摘要：

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维二次规划问题.该文利用Lagrangian对偶方法,给出此高维二次规划的无约束对偶问题;考虑到该对偶问题是不可微的,利用Huber近似将其近似转化为连续可微的分片二次函数的无约束极小化问题.证明了该分片二次函数的极小点对应原二次规划的ε最优解,而用此极小点可直接算出支持向量和最优超平面.最后针对分片二次函数的特点,提出了Newton型算法,结合精确一维搜索技巧,可以快速求解该问题.数据实验结果仿真表明该算法能够在低存储需求下有效提高大数据量、高维问题的训练学习速度.

关键词：支持向量机、分片二次函数、Lagrangian对偶、Newton型算法、HuberM-估计损失函数、Huber近似

所属期刊栏目：28

分类号：TP391(计算技术、计算机技术)

资助基金：国家部委科技预研项目413160501

在线出版日期：2005-11-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1664-1670