多源域分布下优化权重的迁移学习Boosting方法

摘要：

深度决策树迁移学习Boosting方法(DTrBoost)仅能适应一个源域与一个目标域的训练数据,无法适应多个不同分布的源域的样本.此外,DTrBoost方法同步地从源域中学习数据至目标域模型,并没有根据重要程度量化学习知识的权重.在实践中,对于某数据集的数据按照某一或某些特征划分出来的数据往往分布不一致,并且这些不同分布的数据对于最终模型的重要性也不一致,知识迁移的权重也因此不平等.针对这一问题,提出了多源域优化权重的迁移学习方法,主要思想是根据不同分布的源域空间计算出到目标域的KL距离,利用KL距离的比值计算出不同分布的源域样本的学习权重比例,从而优化整体梯度函数,使学习方向朝着梯度下降最快的方向进行.使用梯度下降算法能使模型较快收敛,在确保迁移学习效果的同时,也能确保学习的速度.实验结果表明,提出的算法在整体上实现了更好的性能并且对于不同的训练数据能够实现自适应效果,分类错误率平均下降0.013,在效果最好的OCR数据集上下降0.030.

关键词：深度决策树迁移学习Boosting方法(DTrBoost)、多源域迁移学习、KL距离、决策树

所属期刊栏目：17

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61972181

在线出版日期：2023-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1441-1452