kNN算法在手机短信客户端分类中的应用研究

摘要：

研究并实现了kNN算法的手机短信客户端分类系统，从自建的短信语料库中提取到正常短信和垃圾短信两个特征向量集,通过预处理、降维和去除词频过小的特征项，使特征向量集可最大程度的载有该类短信的特征项。短信语料库分成比对库和测试库两部分。研究发现，比对库的短信数量n取600时分类效果最好，过小则降低短信的识别率，过大则提升分类时间复杂度，近邻数k取25时效果最优。同时研究了当k条短信选取时的概率差在1%～2%时，短信类别确定时的数量差在5到15之间时，效果最优。遵循保证正常短信的通过率的同时加大垃圾短信识别率的原则，kNN算法手机短信客户端分类系统的最终参数n取600，k取25，概率差取1.5%，数量差取9，可使得正常短信和垃圾短信识别率最高达到97.3%和89%。

关键词：短信分类、kNN算法、特征向量集、向量空间模型

分类号：TN929.53

资助基金：安徽省高等学校省级自然科学研究项目KJ2012B181;安徽省高等学校省级自然科学研究项目KJ2012B183

在线出版日期：2014-06-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：216-222