物流企业汽车油耗动态分析系统软件的关键技术
时间：2021-04-09 07:59:20 来源：达达文档网 本文已影响 人 
摘要:针对物流企业普遍缺乏对车辆油耗使用状况监控的技术手段,并且难以确定实际加油量和异常油耗量等问题,基于VS2005 C#编程技术和数据库技术,设计开发了“燃油绩效管理”系统。文章分析了实现这一系统的数据预处理与数据库两项关键技术。结合应用现状,进一步提出了软件发展的方向。
关键词:数据预处理;数据库;数据分析技术;绩效管理
中图分类号:TP311.52文献标识码:A文章编号:1009-3044(2009)33-9149-02
The Key Technologies of Dynamic Analysis System Software of Fuel Consumption in Logistics Enterprises
WANG Peng-fei, WANG Jian, ZHAO Rong-yong
(Tongji University CIMS Research Center, Shanghai 201804, China)
Abstract: In view of existing situation that the general lacking of monitoring the usage of fuel consumption for vehicles in logistics enterprises, and difficulty in determining the actual amount of the oil added and the abnormal oil consumed, we designed and developed Fuel Performance Management System (FPMS) based on VS2005 C# programming techniques and database technology. This paper analyzes data preprocessing and database technology and put forward the further direction of software development combining the present situation.
Key words: data preprocessing; database; data analysis; performance management
1 概述
随着现代物流业的快速发展,物流企业正面临这样一个问题:如何系统地管理车辆的油耗、监控车辆在汽油上的使用?这是一个现实的问题。针对上述问题开发出了“燃油绩效管理”系统。该系统引入数据预处理技术、数据库技术和奇异点捕获技术实现对车辆油耗的管理。
“燃油绩效管理”系统主要由硬件和软件两部分组成,硬件部分具体又分为采集器和抄表器,其中采集器安装在车辆上用于记录数据。硬件部分实现的功能是:采集器采集数据,然后人员定期手持无线抄表器从采集器中获取数据。软件部分主要是PC机管理软件,实现的功能是:抄表器和PC机对接,将数据通过USB数据线上传到PC机软件中,软件对得到的数据进行处理、保存到数据库中,再按照用户要求从数据库中提取相关数据,并在前台以图形化的方式展现,供用户分析数据。图1就是该套系统的流程图,其中虚线框部分是燃油绩效管理系统软件。
2 关键技术分析
燃油绩效管理系统软件包含数据预处理与数据库技术,现就上述关键技术原理和应用要点展开分析。
2.1 数据预处理技术
现代大型数据库的共同特点是:存在不完整的、含有噪声的、不一致的数据。 数据库非常容易受到这些数据的影响,从而导致对后续工作(例如:数据挖掘)的影响。其中,不完整数据的产生有很多因素:有的时候某些数据信息,在数据采集过程中没有被采集到数据库中;有的时候某些看似错误的数据被删除,而后面分析的时候又恰好会用到这个(些)数据;比较常见的原因是数据的缺失,特别是某些属性上缺少的元组要人为的推导出来。数据含有噪声指的是数据的属性值不正确。
就“燃油绩效管理”系统软件部分(以下简称“软件”)而言,所面临的大多数问题是采集到的数据里含有很多不完整的数据,或是错误的、或是缺失的等等;还会遇到由于采集器里的数据未清空而出现的含有大量重复元组的情况。
数据预处理主要包括数据清理、集成和归约。 数据清理通过填写缺失的数值、平滑噪声、识别并删除过度偏离的数值、解决数据的不一致性来处理数据中的遗漏数据。 一般情况下,采用一些数据清理例程进行处理。数据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储;数据归约则将辨别出需要挖掘的数据集合,缩小处理范围。 而在实际操作的过程中,不一定全部用到上面提到的三个部分,并且,这三部分的使用没有先后顺序,还有可能要反复地使用其中某一种预处理。
传统的数据清理的基本方法有:
1) 空缺值的处理。目前最常用的方法是使用最可能的值填充空缺值,比如可以用回归、贝叶斯形式化方法工具或判定树归纳等确定空缺值。这类方法依靠现有的数据信息来推测空缺值,使空缺值有更大的机会保持与其它属性之间的联系。
还有其它的一些方法来处理空缺值,如:使用一个全局常量替换空缺值,使用属性的平均值填充或将所有的记录按照某些属性分类,然后用同一类中属性的平均值填充空缺值。如果空缺值很多,这些方法可能会产生一些错误的结果并会影响到后面的问题分析。
2) 噪声数据处理。噪声是一个测量变量中的随机错误或偏差,包括错误的值或偏离期望的奇点值。可以采用:分箱、回歸、聚类等方法进行噪声处理。
上面简要介绍了有关数据预处理的相关内容。就“软件”而言,更多的是反复使用数据清理这一预处理技术,并且,就实际的情况,软件建立了自己的数学模型。
由于实际操作中发现,采集器不能够严格地按照事先约定好的数据串格式进行记录,有时候会导致记录的数据出现不完整的情况,具体表现为:经常丢失数据记录的终止时间,但是不是每次记录数据都出现这种情况;有时候,设备受到外力的影响,会出现个别数据不合理的现象,导致数据记录出现噪声,具体表现为:记录的数据超过规定数据范围的上限,或者低于这个范围的下限;还有的时候,采集器采集的数据虽然格式上符合事先的约定,但是经过后面的分析会发现,在一段时间内应该记录的数据个数和实际测量到的数据个数出现不相等的情况,这就导致了数据记录出现不一致的现象。
针对上述出现的问题,采用如下的解决办法:对于记录的数据出现不完整的情况,采取人为添加记录终止时间的办法,即:无论该次记录是否有终止时间,均将其抛弃(如果有的话),由于每次记录数据的起始时间总是存在的,并且相邻两个计数点的时间间隔恒定,所以可以得到如下模型:
TE=TS+TI×(n-1)(1)
其中,TE代表数据记录终止时间,TS代表数据记录起始时间,TI代表相邻两个计数点的时间间隔,n代表该段时间记录的数据个数。
这里需要解释一下:由于事先约定好,起始时间后面紧跟的数据就是这一时刻记录的数据,因此,上面记录终止时间的公式中会出现“减1”。
这样做的好处是:修正了由于数据源自身出现的数据不完整情况,同时一并地解决了上面提到的数据不一致现象,因为此时,每一个数据点都有唯一的时间值与其对应,相反地,每一个应该记录数据的时间点都有唯一的数据值与其对应。
当上述操作进行完毕之后,需要将数据保存到数据库中。数据库中有多个表,其中一个表用来保存预处理后的数据。该表有4个属性:采集器编号、车辆原始油量、转换后的油量、记录该数据的时间。前两个属性值可以从预处理后的数据中得到,而后面两个属性值无法直接得到,并且由于数据库定义的时候不允许任何一个属性值为空,而通过上面操作得到的数据仅仅符合事先约定好的格式。信息量远远不能满足数据库的要求,为此,在将数据保存到数据库之前,要再次对相关数据进行补充,具体到实际操作上,可以这样处理:
对于转换后的油量值,按照用户在前台输入的相关信息,得到如下关系式:
x/255=Z/VI(2)
(Z-VL)/(VH-VL)=(y-CVL)/(CVH-CVL)(3)
其中,x代表车辆原始油量;y代表转换后的油量;Z是个中间变量,无意义;VI代表输入电压最大值;CVL、CVL分别代表车型油箱油量变化范围;VH、VL分别代表该车型的标称电压。VI、CVH、CVL、VH、VL这些变量都需要用户在软件前台手动设置,它们也要保存到数据库中。由以上两个等式(2)、(3)可以导出:
(4)
进一步可得到:
(5)
公式(5)就是数据预处理模型。其中,只有y是未知量,其余全部是已知量。
对于记录该数据的时间属性值,前面讲过,由于相邻两个计数点的时间间隔恒定,且起始时间也可以从预处理后的数据中剥离,于是,每一个计数点所对应的时间便可由起始时间加上相邻两个计数点的时间间隔乘以该计数点在这一次数据串中的位置与1的差。
这样,该表所需要的全部属性值均已得到,这样便可以将这些数据保存到数据表中,用户便可以在软件前台读取相关数据,得到相关油量隨时间变化的曲线,进行数据分析。接下来还要对数据做进一步深度处理。
2.1 数据库技术
在“燃油绩效管理”系统中,当数据预处理结束之后,接下来便要将数据保存到数据库中。数据库里存有多张表,分别是车辆管理表、车辆表、油量表、驾驶员表、关系表。除油量表外,其它表的数据都是由用户在使用软件的时候在前台输入保存的,它们的关系通过“关系表”来体现。图2就是数据库的部分设计视图。在用户进行数据查询的时候,需要从上述几张表中同时进行查询,以获得用户需求的完整信息。
3 结论
“燃油绩效管理”系统软件实现了从硬件部分获取数据、处理并保存数据以供用户分析使用的功能。对于噪声数据的处理,“软件”本身的处理能力还不是很好,在这一方面还有待进一步加强,可以采用数据分析技术让“软件”能够“自动”识别出异常油耗(譬如“偷油”现象)并提示给用户。另外,对于数据库的优化也是未来软件发展的方向。
参考文献:
[1] Han Jiawei,Micheline K.Data Mining:Concepts and Techniques,Second Edition[M].Beijing:China Machine Press,2006:47-49,61-64.
[2] 刘莉,徐玉生,马志新.数据挖掘中数据预处理技术综述[J].甘肃:甘肃科学学报,2003,15(1):117-119.
