科技前线 | 应对挑战并掌握集成异构数据源的策略
1597年，弗朗西斯·培根爵士为后人写下了一句名言：“知识就是力量”。近五个世纪后，由于现代企业尤其依赖于其收集、处理和解释数据的能力，这句话的意义比以往任何时候都更加实际。
随着DCS（分布式控制系统）、SCADA（监控和数据采集）、MES（制造执行系统）和ERP（企业资源规划）等工业自动化系统的不断发展，产生了越来越多的数据，从而出现了如今存在的大量异构数据源。
异构数据源是指驻留在不同系统、数据库或文件格式中的不同类型或格式的数据，并且可能无法彼此集成或兼容。一般而言，谈到工业自动化环境时，异构数据源通常是指专门为监视和控制自动化流程（例如装配线、机器功能或机器人设备）而设计的实际设备。
这些类型的设备涉及可编程逻辑控制器 (PLC)、远程终端单元 (RTU) 到计算机数控机 (CNC)、注塑机、扭矩工具控制器（直流工具）等。这些设备会在过程控制活动期间生成数据，而这些数据对于企业的其他系统和业务部分有巨大的价值。为了从这些高度分散的潜在数据源中获得洞察力，公司需要找到一种方法来通过统一的系统实现对这些数据的访问，从而能够更全面地了解其运营情况。
事实证明，这是企业当今面临的重要挑战之一。
如何整合不同的数据源？
我们应该始终牢记工业系统集成的最终目标，所以我们需要探讨系统集成所需的技术–系统集成的物理行为以及物理集成完成后所需的数字集成步骤。
1
物理集成
工业自动化系统中的不同设备使用不同的物理通信介质。第一类广泛使用的有线介质是同轴电缆。它由一个被同心导电防护套包围的内部导体组成，两者由绝缘材料隔开。同轴电缆有一定的局限性，但如今仍然广泛使用，只不过更多的是在特定环境下使用。
在集成到更高级别的系统（例如通常从异构系统获取、组合和存储数据的系统）之前，同轴接口通常会转换为不同的介质。有时，这种转换和集成是由具有其他广泛功能的PLC之类的控制器设备来完成的，而有时，可以通过为此特定目的而设计的简单、更具体的转换器设备来完成转换。
在工业自动化环境中广泛采用的另一种物理介质是串行电缆或串行通信接口。该方法使用一根或多根传输线来发送和接收数据，并且该数据以一次一位地方式连续发送和接收。源自该技术的三个标准按时间顺序排列：RS-232、RS-422和RS-485。与其他现代媒体相比，串行通信媒体在性能和网络灵活性方面受到更多限制，但串行电缆和接口如今仍然广泛使用。
但是，与同轴电缆一样，集成到环境中的更高级别部分（在此部分进行数据采集并提供给其他系统）-特别是与服务器和PC等现成计算机设备-通常是通过在连接到上层系统之前将物理串行介质和数据格式转换为其他内容（读取：以太网）来实现的。
1973年，亚历山大·格雷厄姆·贝尔最初发明的双绞铜线得到了进一步完善和扩展，出现了一种称为以太网电缆（或RJ-45电缆）的新通信介质。
以太网双绞线由八根线或四对线组成，每对线捆绑在一起并由防护罩覆盖。这种新型双绞线布线专为与相对较新的以太网标准一起使用而设计，并迅速超越了以前用于普遍采用的以太网的物理介质（同轴电缆）。
以太网实现的速度和灵活性使这种物理介质成为大多数现代计算机网络的支柱，几乎所有计算机技术和软件操作系统都支持以太网及如今作为本地网络类型的无处不在的双绞线“LAN 电缆”。双绞线铜缆仍然是以太网通信的常见介质，但以太网标准也已应用到无线传输技术。
工业运营和信息技术环境中常见的另一种有线介质是光纤电缆。光缆是一种由非常细的玻璃或塑料纤维制成的薄而柔韧的透明介质。它利用全内反射（TIR）的物理原理进行信号传播和无损数据传输。
为了传输数据，与利用低频电磁辐射特性运行的双绞线或同轴电缆不同，光纤网络使用高频电磁辐射（可见光），形式为激光或注入二极管产生的光脉冲。每个光脉冲代表一个数据位。脉冲发生得极其迅速，理论上可通过单根光缆提供44太比特（44,000 吉比特）的带宽。与无处不在的以太网双绞线不同，虽然光纤介质可能存在于以太网和非以太网网络的各个部分，但在集成到服务器、PC和其他更高级别系统之前，光纤通常会转换为类似以太网双绞线的介质。
除此之外，还有可以在某些场景中使用的无线通信介质。系统集成通常会利用各种无线信号技术，例如射频 (RF)、蓝牙、NFC和Wi-Fi。除了Wi-Fi 之外，特别是在工业环境中，这些无线介质通常会在集成到更高级别的系统之前转换为更普遍、具有更多网络设计可能性的介质：例如，蓝牙到以太网的转换。
蓝牙是一种优秀的短距离高带宽无线数据传输技术，但其实现的是点对点的传输，无法实现其他无线和有线介质可实现的分层、分段和互连的网络设计。虽然可以使用蓝牙等点对点物理介质将高级别系统集成到低级别数据源，但集成很困难、成本高昂且管理繁琐，而非以太网无线却可以很容易地转换成以太网（无线或以太网），从而避免了这些问题。
2
数字化集成
借助这些类型的物理介质，数据可以以多种方式表示，称为通信或网络协议。如今，异构工业自动化系统中就使用了大量的通信协议。常用的串行通信介质包括Modbus ASCII或RTU、Allen-Bradley DF1和DH+，以及西门子MPI、AS511和3964R。对于基于以太网的通信介质，该列表更加全面，其中包括工业环境中一些常用的协议，包括Modbus TCP、EtherNet/IP（通用工业协议）、OPC DA和OPC UA、Siemens S7工业以太网以及面向 Web 的协议例如MQTT和HTTP。
随着基于软件的SCADA和HMI变得越来越流行，将异构工业数据源集成到共享系统中的需求开始变得越来越显著。这些基于软件的控制和采集系统通常使用普通服务器或个人电脑硬件，可用的物理接口一般只有串行RS232和以太网。即使可以物理转换为RS232或以太网介质，数据本身（跨物理介质使用的语言）仍然是一个复杂的方面，通常也必须进行转换。
为了促进工业系统的数字集成，1996年成立了一个名为OPC基金会的组织，OPC术语表示OLE过程控制（Process Control），随后将OPC重新定义为“开放平台通信”（Open Platform Communication）。该组织的目标是管理一个全球结构，在该结构中，用户、供应商和联盟将合作创建数据传输标准，以实现工业自动化中的多供应商、多平台、安全可靠的互操作性。软件设计选用Microsoft Windows及其软件设计的组件对象模型(COM)作为框架，在COM内部采用以太网协议和以太网物理介质用于集成系统中。
在OPC基金会的努力下，出现了充当中间件并弥合了数字连接鸿沟的软件应用程序。从概念上看，中间件应用程序可以通过一组数字和物理接口聚合来自多个异构数据源的数据，并通过不同的数字和物理接口将其传递给上层系统。在工业自动化领域，此类应用程序很快被称为OPC服务器。中间件应用程序将使用物理和数字介质混合的方式（尽管最常见的是串行和以太网）与较低级别的工业设备和系统进行通信，并使用OPC数据访问（一种基于Windows的COM兼容协议）的方式将数据公开给上层系统。OPC数据访问是一种根据需要实现跨以太网传输的协议。
近年来，大多数主要设备供应商都调整了其产品组合，以兼容以太网甚至OPC标准，以便更轻松地集成多个系统和设备。大多数设备会提供本机以太网接口或可选以太网模块，有些设备还配备有内置OPC服务器。此外，通过包含HTTP发布和服务器接口、数据建模以及基于事件的数据收集和传输，中间件“OPC服务器”应用程序的连接功能通常已应用到类似于MuleSoft或Boomi等API集成平台的领域。
然而，新旧系统的连接困境仍然存在。即使自动化设备实现了以太网和现代开放式集成协议（如OPC），减少与敏感自动化设备连接的压力以及将数据数字转换为MQTT和HTTP等异构数据流的需求也进一步扩大了第三方“OPC服务器”或工业中间件的需求和功能。这些工具可以为新系统和旧系统提供连接功能，同时提供多种方式以向更高级别的系统（OPC、HTTP、MQTT等）提供数据。
新旧挑战
统一工业自动化环境中的不同数据源会很复杂且很有挑战性，因为它涉及到建立与过程控制设备和机器之间的各种物理和数字连接，并集成可能以不同格式、位置或系统存储的多组数据。与统一异构数据源相关的一些困难包括：
1
数据质量问题
不同的数据源的准确性、一致性、完整性和及时性可能不一致，这使得很难获得数据的全面视图。可能需要进行数据清理和转换以确保数据的一致性和可靠性。
2
数据整合
来自不同来源的数据可能以不同的格式、结构或模式存储，这使得将数据集成到统一系统中并不容易。这需要认真的进行规划和协调，以确保数据正确映射并且一致且不存在冗余。例如，在串行通信的情况下，传输路径的实际物理距离是一个非常大的限制条件。在某些情况下，由于现代服务器上缺乏需要与旧设备互连的传统接口，这种情况可能会加剧。以太网连接还带来了其他困难，因为一些缺乏此功能的设备可能需要昂贵的附加模块，而其他具有此功能的设备可能需要配置重复的私有IP，从而导致当前网络基础设施需要重新进行配置。
3
技术兼容性
不同的数据源可能会使用到不同的技术或平台，这可能会在尝试集成数据时产生技术兼容性问题。这就需要用到涉及不同技术的专业知识以及对数据集成技术有透彻理解。每个通信协议，无论其使用何种通信介质，都有其自身的特殊性和独特的实现功能的方式。再加上复杂程度不同，文档有限，其结果就是学习并掌握连接异构数据源非常困难。
4
数据治理
统一异构数据源还需要关注数据治理问题，例如数据安全、隐私和监管合规性。这些问题可能很复杂，需要仔细规划和实施，以确保数据受到保护并且使用方式要合乎道德和相应法律法规。
ThingWorx Kepware Server如何帮助您应对这些挑战
上一节中提到的挑战凸显了创建一个能够与如此多异构数据源交互的高质量软件解决方案是多么的困难。Kepware自1994年成立之初就决定解决这些难题。
经过近30年的发展，我们的解决方案Kepware Server（也广泛称为 KEPServerEX）已成为业界小有名气的连接平台，用于集成异构工业数据源。Kepware Server支持数百种协议以及数千种异构设备和系统，可以使用户将工业自动化领域内的几乎任何设备（从传统设备到尖端设备）集成到一个平台上。收集的数据可以通过OPC DA、OPC UA、MQTT和REST (HTTP) 等众多接口和协议传输给SCADA、MES、ERP、云或IoT平台等上层系统。
通过不断的产品迭代简化了整体配置工作流程，以大幅减少学习曲线并缩短集成时间并降低复杂性。此外，不断添加新的增强功能，以跟上行业的最新协议和卓越实践，特别是在安全性和整体系统稳定性方面尤其如此。
作为PTC的一部分，Kepware还制定了全面的支持和维护计划，旨在丰富和延长Kepware软件应用程序的生命周期。该计划将软件更新和升级与专家技术支持服务相结合，帮助关键自动化项目保持在卓越水平。它还通过以实时对话和自我驱动学习材料的形式让人能够获取Kepware行业领先专业知识，从而提高个人运营效率。在30年成功的软件开发过程中，所有这些因素使Kepware Server得以在全球超过75，000个站点中使用，其作为 PTC 的一部分进行运营。PTC是一家重要的美国科技公司，也是标准普尔500指数的成员。
结论
由于物理和数字转换等多种因素，不同工业自动化系统的集成变得复杂且困难。ThingWorx Kepware Server是一种软件解决方案，可在新旧工业硬件和软件组件与现代应用程序之间架起一座桥梁，从而在不同系统和数据源之间实现数据的无缝集成。
借助ThingWorx Kepware Server，用户可以为各种设备和系统提供安全可靠的连接，并以单一、安全和统一的方式实现对所有系统的访问并提供数据。Kepware Server可以提供机器控制和数据采集解决方案的关键部分，允许在更加多样化和苛刻的环境中实现实时数据交换。一致、可重复的工作流程可让工业4.0的任何自动化或数字化转型项目快速实现价值，并且广泛的协议支持使用户能够利用现代技术的优势，而无需更换旧系统或变更现有系统操作。
通过提供灵活且可扩展的集成平台，ThingWorx Kepware Server可以帮助组织简化运营、降低成本并提高整体效率，同时实现向新技术和应用程序的平稳过渡。
关于PTC
PTC使全球制造商能够通过软件解决方案实现两位数的影响力，这些解决方案使他们能够加快产品和服务的创新，提高运营效率并提升员工生产率。PTC与广泛的合作伙伴网络进行合作，为客户提供各种灵活性，客户可借此灵活地部署其技术，以在本地、云端或通过其纯SaaS平台推动数字化转型。在PTC，我们不只是想象一个更美好的世界，更是要将想象变成现实。
- THE END -
PTC整理发布，转载请注明出处
