一种基于变分相关向量机的特征选择和分类结合方法

摘要：

相关向量机(Relevance vector machine,RVM)是一种函数形式等价于支持向量机(Support vector machine,SVM)的全概率模型,利用变分贝叶斯(Variational Bayesian,VB)方法求解的RVM可以给出所有参数的后验分布.进一步,通过对样本所在原始特征空间的稀疏化,基于线性核的RVM可以在分类的同时实现对原始特征的线性选择.本文在传统VB-RVM的基础上提出一种特征选择和分类结合方法.该方法采用Probit模型将分类问题与回归问题有机地结合起来,同时,通过对特征维的幂变换扩展,不仅在分类时增加了样本的信息量,可以构造非线性分类面,而且实现了非线性特征选择的功能.通过对仿真数据和实测数据分别进行实验,证明了该特征选择和分类结合方法的实用性和有效性.

关键词：特征选择、稀疏化、相关向量机、Probit模型、变分贝叶斯

所属期刊栏目：37

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金60901067;61001212;新世纪优秀人才支持计划NCET-09-0630;长江学者和创新团队发展计划IRT0954;中央高校基本科研业务费专项资金资助

在线出版日期：2012-01-11（万方平台首次上网日期，不代表论文的发表时间）

页码：932-943