引领数字体验未来：UI框架的图形能力
本文翻译自：Shaping the Future of Digital Experience - UI Framework Graphics
原文作者：Qt Group 产品营销经理 Matteo Capelletti
校审：Rita Qian
图形是用户界面（UI）应用的重要组成部分。实际上，UI应用与其他类型的软件的区别在于它具有能够提升用户交互的可视化界面。视觉效果使得软件更直观、易于使用和理解。颜色、图标和动画等元素可以用一种非侵入性的方式提供视觉提示或状态更新。图表、图形或地图等元素有助于展示复杂的信息和数据。利用高级3D图形可以在用户界面上呈现真实世界的对象和逼真情景。除了实用性之外，不可否认的是，美感对于一款具有视觉吸引力的软件也是一个重要因素——良好的用户体验设计和愉悦的视觉效果能吸引更多用户并强化品牌形象。在UI应用中，屏幕上的图像会根据用户交互或实时数据流进行动态变化。实时动画会以一系列微妙的方式向用户提供反馈，使用户体验更引人入胜、更加自然。当鼠标悬停在按钮上方时，按钮会随之伸展，按下时会弹出，这种效果可能并不显眼，但它是设备响应用户操作的重要提示。实时图形可以支持在2D图表和复杂3D对象中实现数据交互方式的可视化。这些视觉效果与电影和视频游戏中的计算机图形（CGI特效）有很大不同，后者往往用于创建角色、环境和效果，其中的交互性几乎为零或非常有限，视觉元素只需渲染一次。在嵌入式设备上，UI应用依赖实时渲染技术来提供动态、交互式的用户体验。UI应用能够动态且富有交互性地呈现现实世界，关键在于将视觉属性与实际对象及数据连接并实时同步。这种连接贯穿于UI应用的各个方面，赋予了UI应用的核心价值：汽车仪表盘上显示的燃油含量表示实际汽车的燃油含量；智能手表中的心率图表示用户的心率等等。高级数据绑定机制是UI框架的核心功能，它让开发者能够轻松地通过拖放操作和自动同步，将UI界面与实际数据关联起来。考虑到UI应用所需的交互性和逼真场景，UI框架应提供丰富的2D和3D工具，用于实时创建各种类型的视觉内容，从基本的布局设计到复杂的3D场景。UI布局通常是通过2D图形工具来创建的，它们可以方便地设置基本元素，如框架、按钮、图标、图表或文本。然而，在各行各业中，越来越多的倾向于在UI中融入3D元素以增强图片的逼真度。平面的2D元素通常用于表达控件和其他抽象或符号信息，而3D对象则用于呈现真实世界的实体甚至是复杂的情景。这两种视觉表现形式相辅相成，共同在性能与真实感之间取得平衡。3D图形增强了表现力，而2D元素更易于创建和使用，占用资源较少。随着技术的发展，2D和3D图形之间的联动已经达到了很高的质量和流畅度，可以在3D空间中可以呈现复杂场景，并通过简单的2D控制轻松访问。要让这两种图形元素能够协同工作，UI框架应保证2D与3D元素之间完美同步。并在2D和3D内容上实现相同的功能和易用性，确保应用程序具有广泛的功能和流畅的性能。3D图形可以让用户快速轻松地了解复杂的逼真场景。众所周知的一个例子是汽车显示屏中的先进驾驶辅助系统（ADAS），它们越来越多地包含了实时渲染汽车在实际驾驶环境中景象的功能。为了向驾驶者提供对汽车周边环境的清晰、无盲区视角，实体汽车的360度摄像头输入为渲染汽车所在的3D场景提供了信息。实时渲染出的反射、阴影和其他效果使得汽车仪表板上的3D场景与实际汽车环境几乎无区别。类似的应用程序在各个行业都在不断开发中，这些应用程序利用实时3D图形技术创建虚拟形象或数字孪生，通常应用于虚拟现实或增强现实领域。在医疗领域，3D图形为器官和组织提供交互式可视化，可用于辅助诊断、手术规划和医学研究。在这里，诊断影像技术主要依赖于极具真实感的3D视觉效果，用来确定病因或确认诊断。更广泛地说，在各个行业中，高度详细和精细的3D世界的呈现提高了安全性、增强了效率、降低了成本，并提高了产品或服务的整体质量。显然，开发这类视觉丰富的UI应用程序需要强大的2D和3D图形设计工具以及能够实时高保真显示的渲染引擎。因此，从图形功能的角度来看，UI框架包括了许多最先进图形引擎所具备的典型特性。高动态范围（HDR）光照可以创建出高度详细、生动且准确的逼真3D环境。HDR图像捕捉和显示的亮度和颜色范围比传统图片更宽广，为3D场景中更精确的光照和阴影计算提供了基础，从而产生更真实、更富有动态的光照效果。通过采用基于物理的渲染（PBR）流程，UI框架确保了对材质和光照的更加精确和逼真的渲染，同时简化了高质量图形的创建。遵循这样的标准（例如glTF格式规定的标准），UI设计师可以轻松实现与通用材质模型（如木材、皮革、橡胶、金属等）的兼容。PBR技术可以在不同的光照条件和材质下获得更一致、更可预测的效果，从而减少TechnicalArtists为不同表面类型创建自定义着色器（Shader）的需求。PBR标准在3D设计领域越发受到欢迎，设计师们因此可以方便地获取并使用大量在线3D模型资源，并根据UI应用的需求进行定制。后处理效果在每帧图形由硬件渲染前应用，用于快速提升视觉质量或调整场景的总体风格。考虑到质量标准在很大程度上受计算机生成图像（CGI）的影响（其中CGI并非实时），UI框架的图形子系统需要整合先进算法，消除可能降低照片真实感的不良效果。抗锯齿就是这样一个例子：它能够去除因使用较粗糙模型几何体而导致渲染过程中出现的锯齿状边缘。控制主题和UI整体外观对于保证跨应用程序和平台的UI风格一致性至关重要。主题设置可以包括更改颜色、字体和图标，也可以通过添加或删除部件来重新调整UI结构，以便更好地适应不同的形式因素。这些操作对于在各种产品组合中确保一致的品牌形象和基本功能显得尤为重要。一流的UI框架通常支持不同类型的图形API，以创建先进的3D视觉效果，如OpenGL、OpenGL ES、Vulkan、Direct3D和Metal。此外，它还可以轻松利用游戏引擎生成的内容嵌入到UI窗口中，或者作为一种中间件，将游戏引擎的先进视觉和物理特性与标准UI服务（例如输入管理、网络、媒体，甚至可能缺失的认证安全渲染解决方案）相结合。在涉及图形质量、性能、安全性和跨平台能力等要求时，将游戏引擎的图形能力融入UI框架具有一定的优势。凭借其高效的资源管理系统，UI框架可以在资源受限的设备上实现具有游戏体验的应用，并为安全关键应用提供认证。与持续以最高帧率渲染视觉内容的PC单机游戏不同，UI引擎的事件驱动架构最大程度地减少了每个进程所需的CPU、GPU和内存资源。换句话说，与游戏引擎需要大量资源来提供高品质渲染和流畅游戏体验相比，UI引擎通过按需分配策略使资源得到节省和合理利用，并根据实时需求动态地在多个进程中分配。UI引擎的跨平台特性既可以在保持UI元素在加载、绘制过程及内存中占用最少资源的同时，还可以把相同的用户体验扩展到各种硬件类型上，带来我们之前讨论过的众多优势。其中最为突出的一点是，在低端硬件上也能提供令人惊艳的视觉效果，成为高品质软件的一种具有高性价比的解决方案。
深圳市优飞迪科技有限公司成立于2010年，是一家专注于产品开发平台解决方案与物联网技术开发的国家级高新技术企业。
十多年来，优飞迪科技在数字孪生、工业软件尤其仿真技术、物联网技术开发等领域积累了丰富的经验，并在这些领域拥有数十项独立自主的知识产权。同时，优飞迪科技也与国际和国内的主要头部工业软件厂商建立了战略合作关系，能够为客户提供完整的产品开发平台解决方案。
优飞迪科技技术团队实力雄厚，主要成员均来自于国内外顶尖学府、并在相关领域有丰富的工作经验，能为客户提供“全心U+端到端服务”。
