以HFSS为例，谈仿真软件对计算机硬件的需求
HFSS（High FrequencyStructure Simulator）是世界上第一款商业化的3D电磁仿真软件。由Ansoft公司在1990年开发并发布第一个版本。2008年，Ansys收购了Ansoft，继续开发HFSS等电子与电磁仿真产品，目标是解决整个工业体系中机械与电气领域的持续融合问题。现在的HFSS，已经成为天线、射频RF或微波组件、高速互连、滤波器、连接器、IC封装、PCB设计者必不可少的工具。世界各地的工程师使用 Ansys HFSS 软件来设计通信系统、高级驾驶辅助系统 (ADAS)、卫星和物联网 (IoT) 产品中的高频高速电子设备。HFSS作为一款以麦克斯韦理论为基础的数值仿真计算工具，如何摸准TA的特性，借助计算机技术有效提升仿真效率，我们今天浅聊一下。01扩展性低 大内存单机是首选 我们在蓝箭航天案例中提到过，不同的CAE应用，对于底层资源的适配要求是不一样的。对于求解计算：隐式算法，相对显式算法来说，精度相对高。但可扩展性不是很好，即在多台机器上的线性加速比并不好，适合在多核大内存机器上运行，一般对内存、IO要求比较高。显式算法，精度相比隐式算法低，但可扩展性更好，即在多台机器上的线性加速比相对较好，适合于多节点并行计算，对机器无特殊要求，一般对内存、IO要求相对较低。不同CAE业务场景的扩展性排序大抵如下图所示，从上往下逐步提高：HFSS作为计算电磁学的典型应用，在整个表的最上层，这代表其可扩展性低，适合高配、高IO的单机，性能越高越好。这是由于两方面原因造成的：1. 网络通信开销大2. 内存要求高关于通信开销，我们在Fluent实证和LS-DYNA实证中都提到过，随着计算节点规模的增加，这两个应用有着很明显的节点之间数据交换造成的通信开销，造成信息延时。HFSS也是这样，对网络要求极高。随着CPU核心数量的增加，带宽优势超过了核心效率。也就是说，堆机器不如堆网络带宽。而在内存上的要求，跟算法、精确度十分相关，很大程度上取决于对需求与价格的取舍。整体来说，HFSS对内存需求极高。根据我们的有限观测，不同任务实际运行的CPU核数与内存比从1:5到1:23，差异巨大。单个任务对内存需求动辄几百G，这类大内存机器放在整个行业都属于稀缺资源。而结合以上这两种需求场景，网络要求高，内存需求大，单台大内存机器成为不二之选。我们全新推出的FCC-E专有D区配置水平如下：四大特点： 1. 专供超大内存裸金属机器； 2. 全新三/四代机器，性价比极高； 3. 三个月起租，短期/长期租赁皆可； 4. 可动态拓展至通用C区。 超大内存裸金属机器，最大4T内存，最高192核，完美满足HFSS应用需求。单机多核心，带宽不是问题。内存足够大，无需工程师向精度与算法做妥协。而且，资源足够，价格感人，还不用长期持有。详情戳：专有D区震撼上市，高性价比的稀缺大机型谁不爱？02要是没有大单机或者一台不够呢？ 那就搞集群！ 在过去，如果企业不购买成本极其高昂的大机器，工程师就不得不对规模和难度大的设计“拆分组合”处理，将几何结构分割成多个区域，到后期再合并结果。由于没有考虑所有的电磁耦合，这种方法是极容易出错的。或者，工程师直接简化模型降低精度，以减少计算量。现在，情况不同了，HFSS在HPC高性能计算技术方面下了不少工夫。方法一：在算法层面的持续优化与改进，提供针对多核机器优化的数值求解器与算法；方法二：通过将HFSS与调度器集成，将多台机器组成集群来求解大规模问题，不再受限于单台机器的配置水平，满足网络带宽要求就可以。这两种方法，工程师都能使用HFSS求解更大、更复杂的模型，而不会影响精度。我们擅长的是方法二。对研发工程师来说，使用集群有两大好处：一、提高了单人使用上限我们把一台台 独立的单机集群化，也就是变成一个统一的计算资源池。在某种意义上来说，集群可以被看作是一台大的计算机，集群中的单个计算机通常叫做节点，由这些节点合作完成用户任务。当用户把一个集群当一台大计算机使用的时候，单个用户的资源上限由原来一台机器的上限，变成了这个资源池的整体上限。所以，HFSS对资源的高要求，由原来的一台机器变成由这个资源池来整体满足。用户可以将HFSS任务调度分布在多个计算节点上执行，也能通过在集群中划分不同的仿真流程任务队列及分配不同的资源队列，并行执行多个CAE设计流程。说人话就是，一个任务可以拆分多机跑，多个任务可以同时跑，来了大任务也不用担心被一台机器的上限所限制。二、提高了团队协作水平 单机模式下大家都是各用各的，缺乏协作，也没有统一管理，无形中造成的沟通成本和损耗，其实并不小。各种不同任务之间可能会出现资源争抢，互相干扰。比如，两个HFSS任务同时在一台机器上跑可能出现内存告警。而集群模式下：我们根据不同业务团队分工，为其在集群中划分不同的独立分区，这样既保证了不同组的研发们能在同一个集群中工作，保留各自操作习惯，同时还互不干扰。比如浙桂半导体的研发分为四个组，像元组的Sentaurus是抢资源大户，往往他们的任务一上线，其他人就没法用了。集群模式下的独立分区可以很好地解决此类问题，戳这篇了解：【案例】95后占半壁江山的浙桂，如何在百家争鸣中快人一步同时，在建立起一套统一的使用规范基础上，我们支持项目数据、用户数据的统一管理和权限控制，不同业务团队之间可以根据不同用户权限共享计算、存储、软件资源等，整体上提高了整个团队的工作与协同效率。当然，除了研发工程师，对公司或团队管理者和IT工程师来说，集群的好处就更多了。这里不再展开，可以参考：从“单打独斗”到“同舟共集”，集群如何成为项目研发、IT和老板的最佳拍档？03绝配！ 自适应网格剖分&Auto-Scale 一半时间画网格，一半时间等仿真结果。这恐怕是很多CAE工程师的日常。HFSS的自适应网络剖分技术，是在几何结构和边界条件网格自动生成的基础上，根据电场梯度进行自适应网格细化和剖分，经过若干次迭代，给出满足精度要求的结果。这一技术减少了求解所需的网格数量，大大降低了电磁场仿真的难度。HFSS自适应剖分过程：自动生成初始网格，网格加密细化迭代，直到收敛。整个过程完全自动化，无需人为干预。这对广大电磁场仿真工程师来说是非常大的利好，在减少工作量的同时降低了软件的使用难度，让工程师们可以将注意力完全放在如何得到好的仿真结果上。接下来，让我们换一个视角来看这个问题。HFSS支持将整个自适应网格剖分过程通过调度器进行多步骤提交，我们的调度器Fsched提供的Auto-Scale功能与这个过程简直是绝配。最佳效果是分为三步：第一步：初始网格生成，核数与内存需求很低；第二步：网格自适应剖分，适度的核数与大量内存需求；第三步：频率扫描，核数与内存需求高。三个阶段需要的资源量差别很大。同时，由于这一过程是自动的，很难提前预估内存需求。对用户来说，如果留的缓冲空间比较大，可能造成资源浪费，留的空间小了，任务可能运行失败。我们的Auto-Scale功能可以根据HFSS任务在不同步骤的实际需求动态开启云端资源，自动使用较少的资源启动网格生成，而用较大的资源进行第三步频率扫描，并在任务完成后自动关闭。为每个步骤分配不同的资源量，最大程度匹配任务需求，提升任务成功率，减少资源浪费。更多应用场景可戳：Auto-Scale这支仙女棒如何大幅提升Virtuoso仿真效率？04GPU 一个可能的选择 从ANSYS HFSS 17.2开始，HFSS开始明确支持GPU加速。一般来说，GPU可以加速可视化和后处理过程，提高工作效率。是否选择使用GPU对求解器进行加速，主要还是取决于算法本身是否合适。最新的ANSYS 2024 R1用户手册显示GPU加速主要在以下三种场景：1. 频域求解器2. 时域求解器3. SBR+求解器GPU加速需要占用HPCLicense，ANSYS Electronics HPC高性能选项模块同时支持CPU加速和GPU加速，1个HPC Pack可以启用1块GPU加速卡或8个CPU内核。综合对比硬件成本与运算效率，目前业界普遍认为使用GPU跑HFSS性价比不高。 实证小结 1. 网络通信和内存要求双高，一般来说，用HFSS跑3D电磁仿真首选大内存单机；2. 没有大内存单机或者一台不够的情况下，通过把HFSS与调度器集成，将多台机器组成集群来求解大规模问题，能帮助用户求解更大、更复杂的模型；3. 自适应网格剖分技术结合fastone研发平台的Auto-Scale功能可提升任务成功率，减少资源浪费。本次CAE实证系列Vol.14就到这里了。来源：数值分析与有限元编程
