试验数据管理系统的设计与实现
文 | 宋铭利， 王素丽
配图 | 来源互联网
1引言
世界上很多高尖端产品的设计生产离不开设计、仿真及试验的完美结合，例如波音公司的787飞机，规模及技术水平均创历史记录的产品却没有任何纸质的设计图纸，这不能不说是一个奇迹，同时，高电子化率的设计过程自然就带来了高效率、低成本，而虚拟仿真技术与虚拟试验的完美结合，也大幅度提高了产品设计的质量。在通常的产品设计过程中，采用的是经验辅助设计的方式，即根据人为的经验进行设计的方式，人为的经验来自于设计、试验等各个方面；当今随着仿真虚拟设计、虚拟试验技术的不断成熟，越来越多的新产品采用了仿真设计模型、仿真试验模型辅助设计的方式，即设计部门建立虚拟的设计模型，相关部门根据设计模型进行仿真模拟、仿真试验，通过模拟试验结果进一步修正优化设计模型，从而形成更可靠更完善的产品设计结构。
许多大型企业，目前已经上线了产品设计系统(PDM)，但是在产品设计的过程中还并不能运用到相关试验数据及经验知识，为了达到从经验设计方式到试验辅助预测设计方式过渡的目标，需要形成试验数据管理系统。通过对系统的实施应用，企业不断积累试验数据及经验，形成产品试验的经验模型，长期的应用目标是将试验模型与设计模型形成对比，进而实现通过试验预测辅助产品设计的目标。鉴于试验在产品研发中的重要性，有效的管理试验中产生的数据就成为产品研发的重中之中。本文以某试验数据管理软件的开发为依据，从试验数据管理方面，对试验数据管理方法进行探讨，并提出了相应的解决方法；该系统在实际应用中已取得了成效。
2试验数据概述
1.1 数据的特点
试验数据与其它数据不同，有自己独特的特点：
(1)多样化的数据类型：包括图像、数字、文字、视频、音频等类型数据[1]。
(2)数据处理过程繁琐：有实时处理、预处理及后置处理3个数据处理过程。
(3) 测量参数多：一个产品的研发试验测量参数高达上万个。
(4)某些数据记录由几类数据合成。比如温度和压力等。
(5)数据量很大。不论单个试验模块还是整个试验测试的数据量每次到达到几十G 的容量。
1.2 数据管理的现状
随着现代测控技术的提高，数据结构越来越复杂，测量的数据量也越来越大。但是一直没有有效的数据管理工具来实现对试验数据的有效管理，大量的试验数据都以各类电子文档的方式进行保存及共享。这种落后的数据管理方式存有很多弊端[2]：
(1)易出错：试验数据的准确性对试验至关重要，但是由于在数据管理中存在大量的手工操作，难免会出错误，影响整个试验的准确性，造成不良后果。
(2)效率低下：试验人员从海量的数据文件中查找自己需要的试验数据需要花费很多的时间。
(3)数据利用率低：试验室数据信息的处理还停留在手工记录及分析阶段，大量试验数据记录在试验人员的记录本上，无法实现数据信息资源的共享，缺乏广泛而有效的分析和利用[3]。
(4)安全保密性差：以文件方式保存的试验数据容易受到未经授权的修改及访问，使重要数据资料的安全性大大降低。
(5)无法进行有效的数据分析挖掘工作：在试验中获得的试验数据，包含着丰富的信息。简单的文档管理无法通过数据挖掘去使用那些有价值的信息。
鉴于以上分析，迫切需要建立有效的试验数据管理平台来为试验提供有效的数据支持。
1.3 试验数据管理系统的功能及特点
根据试验数据的特点和管理现状，该系统具有以下功能
特点：
(1)工作人员可以快速完成试验规划和设计工作，实现文件签转、任务管理、资源配置等功能。
(2)通过企业内部资源网络构建分布式试验数据系统，实现数据资源共享。
(3)能够实现试验数据方便快捷的查询、管理、动态建库、导入/导出等操作。
(4)工作人员可以方便地完成数据分析、数据绘图、报告生成等工作。该系统可以提供通用的接口，可以集成任何用户所需的算法和软件工具。
(5)加强数据安全性，对系统进行权限设置及管理。
3系统的设计
3.1 系统模块结构
试验数据管理系统由7 个模块组成如图1 所示，在具体设计时保持现有操作规范的情况下，依据试验数据管理方法来设计本系统，先设计单独的模块，最后对各个模块进行整合[4]。
平台采用三层分布式架构，该系统的技术架构如图2 所示，第一层是数据库层，完成数据的存储和管理；第二层是服务器层，实现业务逻辑的相关功能；第三层是客户端层，与实现平台与用户的交互[5]。
3.2 数据自动导入和导出
由于试验的数据量大，格式复杂，包括结构化数据和非结构化数据，不能采用手工录入数据的手段和标准模板的方式，必须采用数据自动导入的方法来提高工作效率。试验数据管理平台提供数据导入工具，可以完成任意文件格式的数据导入。例如：文本文件、Excel 文件、二进制文件以及其它特殊格式的文件等。而无需对数据文件进行任何手工处理，也不需要定义标准数据导入模板。
该系统提供数据导入向导工具，可以帮助试验人员方便快捷的完成数据导入操作。数据导入过程中，系统提供两个可选择的操作：“选择导入脚本”和“生成导入脚本”。用户可以通过“生成导入脚本”功能把常用的数据导入过程记录下来。在以后的数据导入中，用户可以选择保存好的导入脚本文件，该脚本文件可以帮助用户自动处理每一步操作。
试验数据管理系统数据导入过程包括词法转换，语法转换，和最终导入3 个阶段。词法转换阶段的主要任务是将各种不同格式的数据转换成标准的二维表格格式。该系统平台提供了一些常用的数据格式转换器。同时提供了可扩展接口，以及一个图形化的数据格式转换器生成器用来添加处理不同数据格式的转换器；语法转换阶段的主要任务是进行数据命名转换，数据预处理，和数据校验等，以确保导入数据的标准性和正确性；在导入阶段，用户可选择导入数据的方式，比如添加记录或修改记录，是否将导入过程保存为“导入脚本”等。导入原理如图3所示。
数据导出功能也称为数据格式转换功能，试验数据管理平台允许用户使用Web 界面把结构化数据以XML文件、Word文件、Excel 文件、文本文件等格式导出。试验数据管理系统还提供了可扩展接口，允许软件编程人员按照用户的需求定制用户需要的各种导出文件格式。
3.3 动态建立数据库
一般来说，试验数据包含结构数据和非结构数据，其结构数据复杂多变。因而数据库模型是试验数据管理软件中经常需要灵活改变的环节。该平台允许工作人员通过使用工具动态地建立和修改数据模型，生成数据类、属性和关联关系等，而无需了解数据库的知识。即试验数据管理系统提供动态建库功能，允许用户动态建立和维护数据库模型。
而提供动态建库功能的为Windows客户端提供的工具Design Studio。在Design Studio 的数据模型编辑器中，用户可以快速建立数据库模型，定义数据类、数据子类、数据属性和关联关系等信息。
3.4 用户门户自动生成
由于试验数据类型和格式具有多变性，所以静态的数据库结构无法满足试验数据存储的需要。为了适应这种需求，试验数据管理平台提供动态定制数据库结构的功能，允许用户任意定制自己所需的数据库模型，包括数据视图、数据库结构、数据分类树、数据校验规则等内容，以满足用户根据自己需要调整数据库结构、查找和组织试验数据、增加数据校验的规则和条件等多种需要，适应用户不断升级的需求。在数据库模型设计完成后，该系统会自动生成Web 门户供试验人员使用，完成数据修改、录入、查看、删除、上传、下载等操作。并且，一旦数据库模型由于用户修改而改变，试验数据管理系统将自动调整并更新Web 门户中的页面内容。另外，该系统还会自动生成“相关数据”页面，使用户可以方便快速地查看和当前数据具有关联其它数据信息。试验数据管理平台能够结合当前用户的访问权限来生成Web 门户，既确保用户访问页面的个性化显示，又保证了系统访问的安全性。这样也避免了二次开发带来的烦恼。
3.5 数据动态查询和编辑
为了方便工作人员更好的有效查询利用试验数据，该平台提供了强大的数据检索功能来实现方便高效的数据查询，包括单项参数检索、多项参数的组合、多表检索和全文检索等。在Windows 客户端的Design Studio 提供了数据编辑(录入、修改、删除) 功能，同时，它还包含了一个具有数据编辑功能的数据编辑器，仅供少数有权限的人使用。
3.6 试验数据后置处理
通过后置处理模块达到充分利用试验数据的功能。此模块包括：数据分析绘图、算法集成、数据统计计算、数据挖掘、过程图形存储等。用户可以灵活地挑选不同的数据记录或不同的数学公式进行计算和绘图操作，同时也可以对其进行插值、拟合、剔点、滤波等操作，实现数据的分析和利用，也可以利用此模块导出有价值的试验数据。
3.7 附件管理
附件管理主要针对试验数据中的非结构化数据进行管理，该管理方式是把试验数据以文件(附件)的形式保存到数据库中，同时在数据库中保存试验数据的描述信息，并且建立描述信息和数据文件的关联，以便于工作人员快速方便地查询使用所需的试验数据文件。
除了试验数据之外，还可以将与试验项目有关的非结构化数据文件采用非结构化管理方式保存归档，包括图片、录像、声音、数据源文件、试验大纲、试验规范等。
该模块在保存附件的同时允许用户进行附件的上传、下载、查看和删除等操作。
3.8 可扩展接口
试验数据管理不是将用户的特殊业务需求预先固化在软件中，而是通过提供一系列可扩展接口，使得用户和专业实施队伍能够快速地构建一个符合用户特殊需求的试验数字化系统。
按照功能来分，TDM 提供的可扩展接口有4 种类型：
数据导入扩展：包括用GDL (grammar definition language)或C#编写数据导入转换器，和在导入数据向导中编写映射脚本程序等。
后置处理扩展：包括编写数据导出转换器，数据处理算法，及绘图格式转换器。
数据管理扩展：包括编写条目约束生成器；定义数据约束的正则表达式；设置权限控制的条件表达式，和编写数据较验规则等。
与企业门户的集成：包括与企业门户的用户管理机制集成，支持用户的单点登陆，以实现将TDM与企业门户的集成。
3.9 系统的实现架构
系统主体采用B/S 结构，或B/S 结合C/S 的混合结构，表示层为网站平台[5]。基于Webservice 技术构建的中间件包括数据库的操作和业务流程的控制。系统运行在Windows 系统之上，Web 服务器采用IIS6.0，数据库采用市场主流Oracle9i 数据库作为基础的数据库平台。系统的数据库拓扑由系统数据库、多媒体数据库、文件数据库组成。基础运行环境为. NET Framework3.0。系统采用C#.NET 开发，使用ASP.NET 构建服务器端程序，Web Services 层程序由XMLWeb Services 构建。系统的总统结构如图4所示。
4系统技术特点
试验数字化系统与其它基于数据库的应用系统大不相同。试验数字化系统面临着试验数据的不一致性、试验数据的多变性、试验数据的专业性、试验数据的海量性等技术挑战。为了应对试验数字化系统建设面临的特殊技术挑战，作为试验数字化系统的基础软件平台，试验数据管理平台在最初的架构设计上确定了几个关键技术，使试验数字化系统建设所面临的问题得以解决。
4.1 虚拟XML 数据库
实现试验数据管理的目的是为了更方便地使用数据，以满足不同后置处理的需要。在使用试验数据的过程中最重要的过程就是数据格式的转换。当前最常用的做法是将XML作为数据表示的格式[6]。该做法的优点如下：
首先，XML的文件格式很容易转换为其它非标准的格式；
其次，XML 技术已被大多数软件厂家所采用，也有许多现成的工具可供使用，使用技术已经很成熟。试验数据管理系统的另一个重要技术特点是通过XQuery 和XML Schema 技术将关系数据库中的数据映射成虚拟的XML 数据(如图5所示)。即从应用的方面来说，通过该系统所获得的数据都是以XML格式所表示，然而真正的数据则是以记录的方式存储在关系数据库中。该技术既可以利用关系数据库的强大存储及查询的功能，又可以更好的实现对试验数据进行后置处理的不同格式转换。
4.2 元数据技术
由于试验数据的多变性和专业性，该系统的设计思想将与数据处理相关的元素从中剥离出来，用外部的元数据(Metadata)来描述[3,7]。以方便用户使用该系统提供的图形化工具(Design Studio)，来定义满足自身需求的数据元素，例如试验数据的分类方式、数据导入方式、检索方式及存储结构等等。Design Studio 自动将数据元素转换为可被系统识别的元数据，并送到系统的引擎，数据管理系统的引擎在元数据的驱动下能够对数据库执行自动操作，包括：更改业务逻辑；生成数据库查询编辑；生成用户门户等，而不用修改系统程序。在此情形下，知识就是元数据，人的大脑就是引擎，大脑能够学习记忆知识，并能运用所学到的知识进行思维并控制协调自己的行为。该系统的架构设计思想就是基依据这个原理而设计的。元数据驱动的软件架构取代了许多过去需要软件编程人员来完成的工作，极大的提高了软件的适应性和灵活性，这是实现数字化系统不可缺少的特点。基于元数据驱动的架构如图6 所示。
4.3 面向对象的数据库模型
为了保证不同专业人员所创建的试验数据库即可以满足本专业的需要，又可以遵从一定的标准。该系统采用面向对象技术建立数据库来解决这一难题[8]。使用面向对象技术的继承功能，可以创建符合一定规范要求的数据库模板，该模板可以包含公共属性，抽象数据类及抽象数据类之间的关联关系等等。专业人员可以通过添加子数据类的方法扩展该数据库模板。从而保证各专业的数据库即具有特殊性又有统一性。更为重要的是，基于面向对象技术的建库方式能够简化专业人员的建库工作，提高了系统的可操作性。该系统以关系数据库为基础，支持面向对象技术的建库方式。能够自动将面向对象的数据模型映射为关系数据库的模型。
5结束语
试验数据管理系统并非只是软件，它又是一种策略性的解决方法。符合试验数据管理思想。系统具有以下一些特点：
(1) 功能化。平台以模块化的形式提供了一整套试验数据管理措施。
(2) 集成化。平台采用集成化的管理方式，在逻辑上将各个部分连接起来。
(3) 灵活性。系统构建于分布式系统之上，使用Web Service技术，使系统具有灵活的适应性和扩充性，以满足用户不断提升的需求。
(4)安全性。平台具有灵活而周密的权限控制机制来保障对试验相关数据的安全管理，提供了独立于数据库的权限控制机制。
(5) 兼容性。平台具备标准的外部接口，可以和现存系统之间方便地进行数据交换，保证数据的一致性。
本文对试验数据的特点、目前试验数据管理上存在的问题进行了分析，在描述系统特点的同时给出了详细的解决方案。系统采用了元数据驱动的软件架构和多层架构浏览器模式，对设计同类系统软件具有一定的参考价值。目前，该系统正处于试用阶段，系统运行情况良好。
参考文献:
[1] Anon.Automated test and datamanagement[J].Microwave Journal,2006,49(5):284-290.
[2] 应明. 基于B/S 模式的PDM 项目开发[P]. 沈阳: 东北大学,2005-02-01.
[3] 楼笑.基于元数据管理的OLAP 系统设计与实现[D].南京:东南大学,2005.
[4] YING Su,LEI Yang.Assuring image quality in spatial data sharing platform for disaster management[C].International Workshop on Education Technology and Training & International Workshop on Geoscience and Remote Sensing,2008.
[5] Yusuke Mizuno, Yozo Fujino, Kei Kawamura.Development of data management architecture for bridge management [C]. Beijing,China:WCCM Ⅵ(The Sixth World Congress on ComputationalMechanics) in conjunction with APCOM'04(The Second
Asian-Pacific Congress on ComputationalMechanics), 2004.
[6] Wang Juan Le,Zhu Yun Qiang,Song Jia,et al. Study on resource and environment scientific research data arehiving[C].International Conference on Environmental Science and Information Application Technology,2009.
[7] 王媛媛.国内政府信息资源元数据研究综述[J].现代情报,2008 (3):89-91.
[8] 林瑞峰,陈平华,林锦川.面向科技管理的数据共享平台关键技术研究[J].现代计算机,2009(9):104-106.
本内容来源于互联网,版权归原作者所有,供学习交流使用,严禁商用,如有侵权请联系我们删除。
- END -
相关文章，在仿真秀官网搜索：
1） 仿真分析误差来源于哪里？
2） 计算流体力学中的验证与确认（下）
3） 基于Dfx 技术的并行工程设计与应用
4） Glovius现代化的三维CAD查看
