一种TinyML轨道车辆运行状态多维智能感知系统及方法
本发明公开了一种TinyML轨道车辆运行状态多维智能感知系统及方法，包括数据采集和机器学习模块、IoT感知端模块和IoT云端模块，所述采集和机器学习模块包括采用IoT感知端模块进行数据采集与处理、1D‑CNN模型搭建与训练和轻量级机器学习模型部署，所述IoT感知端模块包括数据预处理、TinyML运行状态识别和识别结果融合，所述IoT云端模块通过WebSocket协议向IoT云端传输复杂运行状态识别结果，本发明还公开了该系统的使用方法。通过TinyML轨道车辆运行状态多维智能感知系统及方法，用户采用HTTP协议访问云端获取实时识别状态，最终实现结果可视化。本机器学习模型和方法也可对离线数据进行识别。该系统可分布式部署到各个车辆端，并实现多维、小尺寸、低成本、低功耗和高效率的对轨道车辆复杂运行状态的实时或离线准确感知识别。另外，系统的模型和方法还可以用来部署到其它载运工具的边缘端MCU中，感知和监测汽车、船舶、飞机等其他类型载体的运行状态。
发明专利
CN202310066090.3
2023-01-31
CN116092217A
2023-05-09
G07C5/08(2006.01)
大连交通大学
周韶泽;栾兴森
116028 辽宁省大连市沙河口区兴工街道黄河路794号大连交通大学
上海思真远达专利代理事务所(特殊普通合伙)
李梅
辽宁;21
1.一种TinyML轨道车辆运行状态多维智能感知系统，包括包括数据采集和机器学习模块、IoT感知端模块和IoT云端模块，所述采集和机器学习模块包括数据采集与处理、1D-CNN模型搭建与训练和轻量级机器学习模型部署，所述IoT感知端模块包括数据预处理、TinyML运行状态识别和识别结果融合，所述IoT云端模块通过WebSocket协议向IoT云端传输复杂运行状态识别结果。 2.根据权利要求1所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于：所述采集和机器学习模块包括数据采集与处理、1D-CNN模型搭建与训练和轻量级机器学习模型部署，具体包括以下三个步骤： 步骤1.1：数据采集与预处理。利用IoT感知模块的硬件加速度传感器和倾角传感器采集轨道车辆运行状态数据，并对原始数据在IoT感知模块的硬件内进行去零漂处理、滤波处理。所述去零漂处理采用零位均值补偿法作为传感器监测前的零点校准，所述滤波处理采用卡尔曼滤波解算姿态角获得倾斜角度。 去零漂处理：采集数据前作去零漂处理，将设备静止于原地，连续采集n个原始加速度、角速度数据a(k＝1,2…n)并求和，然后计算出算术平均值作为偏置值o(k)，如式(1)： 每次测量后的原始值m(k+1)减去这个零位偏置值o(k)即为真实值r(k+1)。公式(2)如下： r(k+1)＝m(k+1)-o(k) (2) 典型地，将采集的数据样本分割成N条数据为一组的元组，在每个时间间隔内，存储加速度计的X轴和Z轴数据得到N×2的矩阵，存储Roll倾斜角度得到N×1的矩阵。对不同运动状态特征的样本施加标签后作归一化处理，并按照8:2的比例分配训练集和测试集。 步骤1.2：轻量级1D-CNN模型搭建与训练。由于TinyML嵌入式设备的功耗和计算能力受限，在搭建神经网络模型时应满足计算量少和精确度相对较高等要求。为了满足这些要求上，构造了一个轻量级的1D-CNN结构模型。该模型由四个卷积层、一个最大池化层、一个全局池化层、两个Dropout层和SoftMax分类器组成。所述模型结构如图4所示，采用Sequential模型堆叠神经网络中的层次结构。首先，输入样本通过两层卷积层的卷积操作；然后通过一层最大池化降低维度；通过一层Dropout层以防止过拟合；随后又通过两层相同参数的卷积层进行卷积操作；通过一层全局池化层将多维数据扁平化后再次设定一个Dropout层提高模型的鲁棒性；使用SoftMax分类器输出结果。最后采用交叉熵损失函数作为模型的损失函数，用来评价模型训练效果。 首先采用数据标准化使数据样本控制在[0,1]之间，如式(3): 式中Irms和IN分别表示标准化处理前后的值，Imin和Imax分别表示样本数据中的最小值和最大值。 根据轨道车辆不同运行状态截取特征数据段成为数据集，设定数据集的特征标签为Num种，并转化为独热编码形式。 根据传感器采样频率和运行状态识别数量调整1D-CNN模型的各个参量。优选地，20Hz采样频率的加速度运行状态感知识别，模型参数为卷积核大小10、数量为40、卷积步长1，最大池化为3、激活函数为relu、学习率为0.001。输入样本通过两层卷积层的卷积操作将样本尺寸为71×40，然后，通过一层最大池化将样本尺寸变为20×40；通过一层Dropout层以防止过拟合，其参数设置为0.5；随后又通过两层相同参数的卷积层进行卷积操作，得到2×60的样本；通过一层全局池化层将多维数据扁平化后再次设定一个参数设置为0.5的Dropout层提高模型的鲁棒性；使用SoftMax分类器输出结果。最后采用交叉熵损失函数作为模型的损失函数，用来评价模型训练效果。如式(4)所示： 其中，Loss表示损失值，p＝[p0,......,pk-1]代表预测概率；y＝[y0,......,yk-1]代表轨道车辆运行状态的标签和每一种状态的真实概率，k为类别标签。 采用Adam优化算法和多分类交叉熵损失函数。使用独热编码表示类别标签。使用Keras内置的性能评估函数sparse_categorical_accuracy显示训练的准确率值，典型训练次数设置为1500次。根据损失值或者准确率对参数进行微调。 步骤1.3：轻量级机器学习模型部署。将步骤二训练完毕的轻量化一维卷积神经网络导出，并生成适用于嵌入式设备的二进制文件。所述二进制文件烧录至IoT感知模块硬件的单片机中。 3.根据权利要求1所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于：所述IoT感知端模块包括数据预处理、TinyML运行状态识别和识别结果融合，具体包括以下三个步骤： 步骤2.1：数据预处理。实时识别时，静止初始化系统。使用前文所述的去零漂处理和卡尔曼滤波预处理传感器原始数据。 步骤2.2：TinyML运行状态识别。采集的数据采用错窗处理的方法作为识别数据样本。典型地，在时间轴上，每个窗口内包括Ws个数据点，采集数据点数量为Pn(实时识别的时候是单片机Buffer中的采集数据点数，离线识别的时候是读取离线文件到计算机内存Buffer的数据点数)，窗口每次滑动的距离S个数据点，如式(5)得到识别次数Ns： 所述错窗处理方法可以防止在实时或离线识别时错过和遗漏状态特性，使模型识别效果更有效。轻量化的模型对每个窗口内的数据进行识别判断，并且实时输出识别的结果。该方法同样适用于将实时采集数据记录到SD卡里成为离线数据，并在离线计算机中对离线数据进行离线识别。 步骤2.3：识别结果融合。通过TinyML运行状态识别得到判断结果，然后在IoT边缘感知端将加速度和倾斜角度的感知识别结果融合，加上NTP时间标记，反馈给车辆端其它服务器。 4.根据权利要求1所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于：所述IoT云端模块通过WebSocket协议向IoT云端传输复杂运行状态识别结果。用户采用HTTP协议访问云端获取实时识别状态，最终实现结果可视化。 5.根据权利要求1所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于：所述车辆IoT感知模块的硬件如图2所示，功能包括IoT感知模块的状态感知以及数据采集和机器学习模块的数据采集。IoT感知模块的硬件在两个模块中采用装载不同的程序完成不同的两种功能。IoT感知模块的硬件包括加速度感知模块、倾斜角度感知模块，所述加速度感知模块包括一个单片机2和加速度传感器3，集成安装在PCB电路板上，用于加速度采集和后期的实时监测识别任务，所述倾斜角度感知模块包括另一个单片机8和倾角传感器4，集成安装在PCB电路板上，用于倾斜角度采集任务和后期的实时监测识别任务。 6.根据权利要求5所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于：所述IoT感知模块的硬件还包括加速度数据存储模块6和倾角数据存储模块7内含MicroSD卡读写模块和Micro SD卡，集成安装在PCB电路板上，用于加速度和倾斜角度数据存储，为机器学习模型提供训练样本，并方便后期的离线监测识别任务。供电模块内含自锁开关1、蓄电池5、第一正极电源线9、第二正极电源线11、负极电源线12组成，用于PCB电路板供电任务。外壳结构包括下壳体13、散热孔14、上盖板15、SD卡插口16。 7.一种TinyML轨道车辆运行状态多维智能感知方法，基于权利要求1-6中任意一项所述的一种TinyML轨道车辆运行状态多维智能感知系统，其特征在于，包括以下步骤： S1、轨道车辆运行状态的数据采集、预处理和存储； S2、机器学习模型的轨道车辆运行状态数据样本集处理； S3、用于轨道车辆运行状态识别的机器学习模型训练； S4、用于轨道车辆运行状态识别的轻量级机器学习模型部署； S5、TinyML运行状态实时识别轨道车辆运行状态； S6、轨道车辆运行状态识别结果融合； S7、轨道车辆运行状态云端可视化。 8.根据权利要求7所述的一种TinyML轨道车辆运行状态多维智能感知方法，其特征在于：所述IoT感知模块的硬件在数据采集和机器学习模块中，加载该模块软件程序完成S1；所述IoT感知模块的硬件在IoT感知端模块中，加载该模块软件程序完成S1、S4、S5和S6。依照上述的机器学习模型和方法，当模型输入数据为离线数据时，机器学习模型能够识别离线数据的运行状态。