董文、张俊峰、刘俊、张雷
摘要:在全球能源格局重塑与国内能源化工行业转型升级的大背景下,数字化转型已成为能源行业提升竞争力的必由之路。本文深入探讨了异构数据库智能迁移、数据库自治优化及灵活扩展体系架构等创新技术,有效破解了数据库迁移难题,提升了数据处理效能与系统稳定性。国产数据库凭借其多模数据处理与云数据库技术,为石油石化行业构筑了强大的数据管理与服务能力,有力推动了行业数据共享、业务协同与运营效率的全面提升。该能源企业上游开发生产系统整合上云升级项目的成功实践,充分验证了国产数据库在实际应用中的良好表现,展现了其在能源行业数字化转型中的巨大潜力与价值。
关键词:能源数字化转型;国产数据库;自治优化;多模数据;云数据库
当前,全球能源格局正在发生深刻变化,能源转型加速推进。国内石油石化行业作为传统能源产业的代表,正面临着油气体制改革、产能过剩等多重挑战。“四个革命、一个合作”能源安全新战略,以及党的二十大报告中关于加快规划建设新型能源体系的号召,为能源行业的数字化转型指明了方向。在全球能源转型加速的背景下,数字化转型不仅能够提升能源行业的运营效率,保障能源安全,还能促进经济的绿色、可持续发展。通过数字化转型实现提质增效、提升行业竞争力,以信息技术应用创新提升能源行业科技自立自强,筑牢能源信息安全,成为石油石化行业的必然选择。
数据库技术作为信息系统的基础设施和数字化转型的核心支撑,其稳定性、可靠性以及核心技术自主可控直接关系到能源行业数字化转型的成功与否。近年来国产数据库进步显著,不仅在技术层面实现了突破和创新,更在应用层面展现出强大的生命力。国产数据库的数据融合处理能力具有易用性、安全性和可扩展性等,使其能够更好地适应能源行业的复杂需求,为能源行业数字化转型提供有力支撑。
本文主要针对石油石化行业在数字化转型过程中面临的异构数据库迁移,数据库系统的自治优化以及灵活的扩展性等主要问题展开了研究,希望能够进一步推动国产数据库在能源数字化转型中广泛而深入的应用。
面对国外数据库在能源行业,尤其是石油石化领域的广泛应用,国产数据库厂商积极响应党的十九届五中全会提出的“坚持创新在我国现代化建设全局中的核心地位,把科技自立自强作为国家发展的战略支撑”等号召,努力探索国产数据库的技术创新与应用突破。国产数据库厂商凭借对石油石化行业需求的深刻理解,以其深厚的行业知识和技术积累,为石油石化行业的数字化转型提供了创新技术[2],注入创新活力。
3.1 异构数据库智能迁移
石油石化行业信息系统初始建设多采用国外数据库,例如Oracle、SQL Server、DB2等。在数字化转型过程中,原有系统的升级改造面临的首要问题就是要将应用系统搬迁到我国自主的信息技术生态上。在数据库层面,国产数据库厂商提出了面向异构数据库的智能迁移解决方案(见图1),该解决方案创新性实现异构数据库之间的低成本、低风险、低难度的平滑迁移,有效解决了石油石化行业在数字化转型过程中面临的数据库迁移难题。
图1 面向异构数据库的智能迁移技术
面向异构数据库的智能迁移方案通过结构解析与转换技术,可兼容Oracle、MySQL、SQL Server、DB2等国际主流数据库,应用厂商无需修改代码即可实现对等替换,迁移难度大幅降低。其次,国产数据库原生兼容C/C++、JAVA、NET、PHP和PYTHON等市面上各种主流的开源框架,最大程度复用原有的知识体系,尊重开发者原有使用习惯,开发者无须重新学习,即可熟练掌握和操作国产数据库,大幅降低学习成本。此外,该方案配套了自主开发的数据库迁移评估软件、异构数据同步软件、数据比对工具等工具类软件,可支持系统双轨并行,遇到问题系统可随时回退,为业务正常运行“兜底”。最后,该方案可支持柔性迁移,实现分钟级停机迁移,对业务影响降至最低,让迁移切换过程无感。
3.2 数据库自治技术
在数字化趋势下,石油石化行业数据规模急剧增长,企业需要高效、安全地管理数据库,增强数据安全性、降低停机时间、提高数据库性能和消除人为错误,这对于数据库的自治性也提出了更高的要求。通过数据库自治技术的创新应用,把普通的数据库管理系统升级为自治数据库管理系统,把原来依赖于人工进行的工作转由系统自动完成,实现在没有人为干预的情况下进行自我管理,能够有效应对石油石化行业数据量激增、业务系统越来越复杂带来的挑战。
如图2所示,自治数据库是基于普通的数据库管理系统在内核中建立了统一、可扩展的自治数据库核心框架,包括系统目的、(状态)采集器、逻辑(模型)、解决方案4个核心模块,以“目的”为牵引,基于“逻辑(模型)”分析“(状态)采集器”采集的数据,寻找“解决方案”,从而在少量或没有外部干预的情况下实现数据库的自我运作。
图2 自治数据库典型架构
3.3 灵活扩展的体系架构
石油石化行业上游生产开发系统的“三多”现象(业务广、孤立应用多、接口多)导致数据被分割成“孤岛”,冗余存储且格式标准不统一,难以在各系统间共享。同时,孤立应用和复杂接口阻碍了业务流程的连贯性和协作效率,导致各部门间信息传递不畅,协作困难,影响整体运营效率。为了打破这一瓶颈,国产数据库采用了灵活扩展的体系架构,具有水平扩展与垂直扩展、模块化与插件化设计、多模数据存储引擎以及支撑云上部署等特性,为石油石化行业的数字化转型提供了强有力的技术支持和保障。
3.3.1 水平扩展与垂直扩展
水平扩展:面对大数据量和高并发的需求,国产数据库支持通过增加服务器节点来实现水平扩展,从而提升系统的整体处理能力和容量。这种扩展方式不仅能够有效分担单一节点的压力,还能实现数据的多副本存储,增强数据的可靠性和安全性。在石油石化行业的实时监测系统中,水平扩展可以确保系统在数据量激增时仍能保持高性能和稳定性。
垂直扩展:针对特定高性能要求的场景,国产数据库同样支持通过提升单个节点的硬件配置(如CPU、内存、存储等)来实现垂直扩展。这种扩展方式简单易行,能够迅速提升系统性能,满足短期内的业务需求。同时,通过智能的资源分配算法,国产数据库能够最大限度地利用现有硬件资源,降低资源浪费。
3.3.2 模块化与插件化设计
国产数据库采用模块化与插件化的设计思想,将不同的功能模块进行解耦,并通过统一的接口进行连接。这种设计方式使得数据库能够灵活地支持各种新特性的添加和旧特性的优化,同时保持了系统的稳定性和可扩展性。在石油石化行业中,这意味着数据库可以根据具体业务需求,快速集成新的数据分析工具、加密安全模块等,以适应行业的快速发展和变化。
3.3.3 支持云上部署模式
在石油石化行业的数字化转型过程中,往往伴随着业务上云的需求。传统数据库为适应业务上云,必须支持云化部署,具备多租户服务模式、高安全数据隔离、跨域弹性伸缩、分布式集群与并行查询优化、自动持续监测与故障恢复等核心能力。在石油石化行业中,云数据库能够提供更加灵活和高效的数据管理服务,支持快速响应业务需求的变化。同时,云数据库还具备资源弹性伸缩、云上资源统一管理和运维、自动故障恢复和容灾备份等能力,从而使得用户资源使用更具经济性,同时显著降低用户运维成本和风险。
在能源数字化转型的浪潮中,国产数据库凭借其独特的技术优势和创新能力,为石油石化等能源行业提供了强有力的支持。多模数据处理技术通过高效管理不同类型的数据,打破“数据孤岛”,实现数据的共享和协同。云数据库则通过容器化部署、微服务架构、自动化运维以及智能监控等技术,优化数据库的使用体验和管理效率。多模数据库与云数据库在能源行业的应用为石油石化行业的数字化转型提供了强有力的技术支持和保障,推动了行业的提质增效和转型升级。
4.1 多模数据处理技术
在能源数字化转型的过程中,国产数据库面临着处理多种类型数据的挑战。多模数据处理技术是指数据库能够高效地存储、管理和查询不同类型的数据,如结构化数据、半结构化数据和非结构化数据。这种技术的引入,极大地提升了国产数据库在能源行业的适应性和灵活性。
石油石化行业产生的数据类型繁多,包括生产数据、设备运行数据、地质勘探数据等。这些数据既有结构化的表格数据,也有半结构化的日志文件和非结构化的图像、视频等多媒体数据。多模数据处理技术能够统一管理这些不同类型的数据,确保数据的完整性和一致性。国产数据库通过采用先进的多模数据存储引擎,能够高效地存储和检索不同类型的数据。例如,金仓数据库(KingbaseES)提供了高效的时间序列存储引擎和空间数据存储引擎,能够分别处理油井生产数据和地质勘探数据。这些引擎通过采用时间戳索引、数据压缩技术和空间索引等技术手段,实现对历史数据的快速检索和分析,为生产决策提供有力依据。此外,对于空间数据,如地质勘探数据、管道布局数据等,国产数据库也提供了专业的空间数据存储引擎。这些引擎支持空间索引和地理信息系统功能,能够实现对地理位置数据的精确查询和分析。在油气勘探和开发过程中,空间数据存储引擎能够帮助工程师快速定位地质构造和油气藏,提高勘探效率和成功率。
4.2 云数据库技术
随着云计算技术的普及和发展,云数据库技术成为国产数据库发展的方向之一。云数据库是指能够运行在云平台上的数据库,能够根据实际业务负载自动调整资源分配,能有效避免资源过剩或不足的问题,从而提高资源利用率。云数据库通过支持水平扩展和垂直扩展,能够灵活应对业务需求的变化。在石油石化行业中,实时监测系统和高并发访问场景对数据库的性能和容量提出了更高的要求。云数据库能够通过增加服务器节点或提升单个节点的硬件配置,迅速提升系统的整体处理能力和容量。
云数据库具备自动化运维的能力,能够统一管理和运维云上资源,不仅简化了运维流程,还降低了人为错误的风险,使得数据库管理员可以更加专注于业务需求的满足和优化。云数据库通过云端集中化的管理平台,对数据库实例的监控、配置、升级和故障恢复都变得更加便捷和高效,进一步降低运维复杂度,确保了业务的连续性和稳定性。例如,中电科金仓(北京)科技股份有限公司(简称“电科金仓”)的KRDS平台通过集中管控,实现了数据库的发放、开发、运维、监控、备份等全生命周期管理,极大地提高了运维效率。
在能源行业数字化转型的浪潮中,国产数据库成功支撑该能源企业上游开发生产系统整合上云就是国产数据库在石油石化行业创新应用的一次典型实践。该项目不仅解决了长期困扰石油企业的“三多”难题,还通过创新技术应用,显著提升了该能源企业的生产运营效率和管理水平,降低了整体运营成本。
5.1 项目背景与需求
面对全球能源格局的深刻变化和国内油气行业信息化、数字化建设的加速推进,该能源企业面临着“数据孤岛”、业务协同难等严峻挑战。传统的油气生产开发系统往往由多个自建或统建系统组成,接口繁多、数据难以共享、业务协同效率低下。为了应对这些挑战,该能源企业启动了上游开发生产系统的整合上云升级项目,旨在通过数字化转型实现资源的高效整合与利用。
5.2 解决方案与实施
该项目采用“一主六备”高可用读写分离集群,以强大的数据处理能力和高可用性支撑该能源企业总部及4个分公司的开发生产业务。这一集群设计有效解决了数据集中处理、高并发访问及跨中心异地灾备等难题,确保了业务的连续性和数据的安全性。
同时,依托KRDS平台,该项目实现了数据库的国产化上云迁移和全生命周期管理。通过统一管控相关的数据库开发、评估、迁移、诊断调优等工具,并提供应用程序编程接口(Application Programming Interface,API)、软件开发套件(Software Development Kit,SDK)及详细的技术文档,实现了跨系统的无缝对接与集成。这使得异构数据库迁移过程更加顺畅,降低了技术壁垒,减少了项目实施的风险。此外,KRDS平台还具备智能调度与自动化运维功能,进一步简化了数据库的管理工作。通过KRDS平台的集中管控(见图3),使得用户能够轻松实现数据库的发放、开发、运维、监控、备份等全生命周期管理,显著提高了运维效率,降低了维护成本。
图3 KRDS集中管控
5.3 成效与影响
项目上线后,系统运行稳定,该能源企业的运营效率和管理水平得到了显著提升。首先,通过数据共享和业务协同,该能源企业有效降低了运营成本,提高了资源利用效率。其次,数据库的高可用性和高性能保障了业务的连续性和数据的安全性,为该能源企业的数字化转型提供了坚实的技术支撑。再次,本项目上云适应了该能源企业未来体系架构的调整,可灵活扩展、自动化运维,并享受云平台弹性资源带来的成本优势。最后,借助数据库多模数据处理能力,有效整合了该能源企业内部各类数据,为数据的流动、实现数据资产价值的最大化创造了条件。
如图4所示,该能源企业上游开发生产系统整合上云升级项目的成功实施,不仅展示了国产数据库在关键行业应用中的创新能力,也为石油石化行业的数字化转型提供了新的思路和方向。未来,随着5G、物联网、大数据等新一代信息技术的不断发展,石油石化企业可以进一步挖掘数据要素价值,实现智能化全方位的数据收集、数据整合与数据分析,从而在生产运营、安全管理、客户服务等方面实现全面升级。
图4 该能源企业整合上云升级项目功能架构
随着全球能源格局的持续变革和我国能源行业数字化转型的深入推进,国产数据库在能源领域的应用展现出了巨大的潜力和广阔的前景。本文通过详细分析国产数据库在石油石化行业数字化转型中的创新应用,特别是异构数据库智能迁移、数据库自治优化和灵活扩展的体系架构等创新技术,不仅为石油石化行业的信息技术安全和高效运营提供了重要保障,也为国产数据库在关键领域的创新应用树立了新标杆。随着技术的不断成熟和市场的认可,国产数据库厂商正在全面向石油石化行业广泛应用和深入发展,为国家的能源安全和行业的数字化转型贡献力量。
然而,国产数据库在能源数字化转型的道路上仍面临诸多挑战。一方面,随着物联网、大数据、人工智能等新一代信息技术的快速发展,能源行业对数据库的实时数据采集、处理和分析能力提出了更高要求;另一方面,能源行业的数据共享与协同问题依然突出,需要构建更加高效的数据连接和共享机制。为应对上述挑战,国产数据库厂商应继续加大技术研发投入,不断提升数据库的实时数据采集和处理能力,优化数据库架构设计,高效融合智能化技术以满足能源行业复杂多变的业务需求。同时,应加强与能源企业的深度合作,深入了解行业痛点,提供更加贴合行业实际的解决方案。此外,还应积极参与国际标准和规范的制定,提升国产数据库在国际市场上的影响力和竞争力。
总之,国产数据库在能源数字化转型中的创新应用是提升我国能源行业竞争力的重要手段。有理由相信,在各方的共同努力下,国产数据库将在能源领域绽放更加璀璨的光芒,为构建清洁低碳、安全高效的能源体系做出更大贡献。
*本文刊于《信息通信技术与政策》2024年 第10期
【推荐阅读】董文, 张俊峰, 刘俊, 等. 国产数据库在能源数字化转型中的创新应用研究[J]. 信息通信技术与政策, 2024, 50(10): 68-74.