多文种环境下汉字内码识别算法的研究

摘要：

汉字内码向ISO/ IEC 10646过渡是实现计算机用文字编码统一的必然趋势,但目前在一段时间内仍将存在多种汉字内码并存的情况,所以实现汉字内码的自动识别是保证汉字多内码并存的关键.本文主要探讨了如何在多内码并存的多文种环境中实现汉字内码自动识别的问题,并提供了多种汉字内码识别算法,包括基于内码分布、标点符号特征、字频特征和语义特征的识别算法等.在此基础上,本文对不同的识别算法进行分析和评估.在对目标样本的测试中,以上算法的识别率最高可以达到99.9%以上.

关键词：计算机应用、中文信息处理、多文种环境、汉字内码、识别算法

所属期刊栏目：18

分类号：TP391.1(计算技术、计算机技术)

资助基金：江苏省高校自然科学基金01kjb520001

在线出版日期：2004-05-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：73-79