计量学中浮点运算造成的痕量偏差对数据修约的影响及解决方案

摘要：

介绍了两种实现"奇进偶不进"修约规则的典型方法,方法一是先对被修约数进行"四舍五入"运算,再使用MOD函数(求余函数)判断修约目标最后一位数字的奇偶性,然后对运算结果进行修正;方法二是先通过MOD函数对被修约最后一位数字的奇偶性进行判断,再采用IF函数选择向上修约还是向下修约.计算机程序是采用二进制的方式进行数据存储,采用浮点运算进行数据运算,这会造成计算机计算结果与实际计算结果之间的极为微小的偏差,会对上述典型方法的修约造成影响.以酸度计检定项目自动化修约为例,介绍了计算机浮点运算在修约过程中对计算结果产生的痕量影响.这种影响具有一定的不确定性并且会累积,会导致部分修约结果产生错误,通过用范围判断取代单点判断的方法来消除这种影响,从而保证修约结果的准确.

关键词：计量学、浮点运算、Excel函数、修约、数据处理

所属期刊栏目：31

分类号：O652(分析化学)

在线出版日期：2022-09-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：63-67