QSFP-DD鼠笼和散热器的热设计

2年前浏览3168

1 摘要

QSFP-DD MSA定义了行业中最高端口密度、400GbE光模块模块的封装形式，目前规范已经更新至V4.0版本。针对1U 36口的设备来说，可以提供高达14Tb/s带宽的能力。随着带宽的增加，成本也随之增加。而一个36×400GbE的设备，光模块温度需要在保持在70℃，整个设备光模块热耗高达504W（36口×14W）。这还不包括电源、CPU和交换芯片等。因此，热设计就显得非常重要。

本文将研究:

QSFP-DD设计中影响热性能的因素
1U交换机（32口、单个光模块14W）的热设计

2 用于大功率、高密度应用的QSFP-DD鼠笼和散热器热设计

随着支持32口×400GbE的以太网交换芯片的推出，系统设计的重点成为了QSFP-DD光模块的散热设计。

本文将讨论QSFP-DD设计中影响热性能的因素。

2.1 QSFP-DD中的热设计因素

光收发器产生的大部分热量来自于光器件。由于模块内激光器的热敏感性，需要将尽可能多的热量传递到散热器。为此，热路径需要优化。一般来说，需要具备以下特点:

1. 光器件需要位于QSFP-DD贴近散热器的一侧。

2. 光器件需要尽可能地集中在模块到散热器热窗口的位置。

3.壳体需要尽可能靠近光器件，以利用壳体材料的高导热性。

4.使用高性能界面材料。

注意，对于那些导热系数和压缩量相关的界面材料而言，在不损害光模块的情况下设计最大的压缩量

5. 顶部壳体与散热器之间的界面热阻要最小。这包括减小模块顶部壳体和散热器接触面的表面粗糙度。还包括使界面法向力最大，以达到尽可能多的微观变形。

6. 散热片的高度和长度必须达到设计外壳所允许的最大限度。

7. 散热器翅片的厚度和间距需要根据流速和允许的压降进行优化。

8. 翅片周围的气流旁路需要最小化。

9. 交换机内的发热子系统需要按灵敏度的升序排列，即光模块、交换芯片、CPU、电源模块。

2.2 QSFP-DD散热路径

2.2a 热源

光器件包括激光驱动器、激光器、超单脉冲放大器(TIA)、光电二极管、透镜和局部热管理组件。设计中，影响最大的是温度规格最低的器件，通常是激光器。虽然各厂家都在提高激光器阵列的工作温度，但激光器的目标最高工作温度一般为70℃。

QSFP-DD MSA将功率级别设置为表1所示，热范围分类如表2所示。系统级设计的目标是每个模块热耗14W时保持最高70°C。

2.2b 热流路径

图 1 – 热源和热流路径: (I) 单面布局, (II) 双面布局

热源 (1) 控制器件, 热源(2) 光器件;

热流路径 (A) 到散热器, (B) 到PCB板, (C) 到QSFP-DD 连接器, (D) 到模块壁面

如图1，有四种途径可以传到光模块的热量。

路径(A)为主要路径，热量从光器件传递到热界面材料，再到光模块上壳体，再到散热器，然后会通过散热器的气流带走热量。

路径(B)是二次路径，热量通过光器件的PCB传递到下壳体，然后再到系统PCB。

路径(C)是从光器件通过模块PCB传导到光模块连接器，然后再到系统板。

路径(D)是从光器件沿模块PCB的侧面横向穿过到外壳的侧面，然后辐射到鼠笼的侧壁，然后热量要么传导到系统PCB，要么按照惯例从鼠笼的侧壁耗散。

2.3 采用QSFP-DD加热模块进行CFD相关分析和风洞分析

以铝挤散热器的性能为基准，采用加热块模拟QSFP-DD光模块，进行了相关研究。通过对模块的精确测量，建立QSFP-DD的实体模型。基本结构是包含一个PCB及前后区域的发热块。(图2)PCB背面有一个连接器，连接到一个控制器，用于加热和控制电阻。热量通过4块热界面材料传递到QSFP-DD壳体上。

图 2. – 双面布局的QSFP-DD 发热块模型: (A) 上壳, (B) PCB, (C) 底壳, (D1-D4) 导热界面材料, (E1-E2) 加热电阻阵列, (TC1- TC3) 热电偶测温位置

图3描述了研究的测试设置。它是4个QSFP-DD的背对背鼠笼。加热器模块被激发到7W，其中3W在前组(E1)发热电阻上，4W在后组(E2)发热电阻上。

图 3. – 测试设定: (A) QSFP-DD鼠笼和散热器, (B) 发热量为7W的双面布板的发热块模型, (C) 80% 开孔率, (D) 风向，在截面 (E) 处测量的风速为4 m/s.

图4显示了模块/鼠笼/散热器组件内的温度分布图。热量没有有效地传递到壳体上，也没有直接流向模块/散热器之间

图 4. – 仿真软件所得的温度分布图

如图5所示，加热器的设计是存在一些缺陷的。主要的问题是热量没有有效地分流到上壳体。在设计有源模块时，要确保外壳上的热点靠近模块/散热器。在加热模块中，最直接的热路径是到下壳体。由于热界面材料不同的压缩速率和厚度，(D3)和(D4)的导热性比(D1)和(D2)好得多。根据Dynacast数据，模块壳体中常用的合金Zamak 3的导热系数为113 W/m-K。大约是TIM导热系数的100倍(表3)。外壳应该更好地用来转移热量。

图 5. – QSFP-DD发热块模型的截面图: (A) 上壳, (B) PCB, (C) 底壳, (D1-D4) 导热界面材料, (E1-E2) 加热电阻, (TC1-TC3)热电偶测温点.

除加热器模块的结构限制外，翅片周围的气流旁路对传热也有很大的抑制作用。在图6中，我们可以看到旁路气流的速度在9 - 12m /s之间，而与翅片接触的气流速度在3 - 6m /s之间。

图 6. – 仿真流速分布图

由于气流旁通问题，没有办法推断散热器的性能，实验再次运用独立模块，鼠笼和散热器。采用起一个空气隔离装置（图7）覆盖在测试装置上，使气流通道内翅片（图8）与它之间只留2mm空间。

图 7. – 改进测试设定: (A) 空气隔离罩; (B) 上方面板未插模块处遮挡; (C) 下方面板开孔被完全遮挡保证风全部从上方经过 (D).

图 8. – 改进测试设定: (A) 空气隔离罩; (B) 上方面板未插模块处遮挡; (C) 下方面板开孔被完全遮挡保证风全部从上方经过 (D).

测试时，功耗在2W~14W之间调节，风量在1~7 cfm之间调节。图9的报告是将测试结果归一化为测点温度与环境入口温度之间的温差。使用图9，系统工程师可以在给定功率负载的情况下估算维持目标温度所需的流量。

图 9. - 改进测试的测试结果：归一化为测点温度2与环境入口温度之间的温差

表4为仿真温度与实测温度的关系。实际测试结果优于仿真结果，表明仿真结果趋于悲观。

2.4 架式交换机系统的热设计

Facebook Wedge 100S是我们参考设计的基础原型。(图10)该系统的设计和规范由Open Compute项目提供。Samtec参考该设计规范(图11)将每个主要子系统按照要求进行设计。该规范允许通过线缆将高速信号从IO模块连接到交换芯片，从而提高了信号的完整性。此外还允许通过组件改进空气流量控制，从而更好地管理温度。

图 10. – Facebook Wedge 100S俯视图. 取自：Facebook Wedge 100S Rev 1.3, Figure 3, January 2017.

图 11. – 概念图: (A) 风扇 (B,C) 电源模块, (D) 交换机ASIC模块, (E) CPU 和功率分配模块, (F) 集成了32支QSFP-DD的IO模块

图12显示了模块如何将气流划分为上层气流和下层气流。IO模块到交换芯片的线缆通过组件固定在电源/CPU及钣金件之间。这样做可以减小因线缆引起的压损。

图 12. – 气流路径: 上方通道： (F) 通过光模块, 经过 CPU (E) 穿过 ASIC 散热器 (D), 最后到风扇 (A）

该系统的首要问题是风扇的风量，需要提供足够的风量来冷却QSFP-DD。图13为某风扇的PQ曲线，这是Facebook Wedge 100S OCP规范中推荐的。假设压头在0.5到2 inH20之间，流量范围大约为20到30 CFM。整个系统流量约为100至150 CFM，分配到每个QSFP-DD模块，大概3.2至4.7 CFM。如图9所示，对于14W的QSFP-DD模块，目标温度为70℃，环境温度在40℃到45℃之间。

图 13. – 选用风扇的PQ线

2.5 仿真与修正

为了更准确地预测压降，确定速度场和相应的温度，我们进行了仿真。图15显示了QSFP-DD上层的速度场。FQSFP-DD散热器区域风速约为12.3 m/s，等于2.74 cfm。如图9所示，在14W和2.74 cfm时，我们应该看到环境温度升高了31℃左右。而仿真结果表明，环境温度升高29-31℃，与图中结果吻合较好。

2.6 优化散热

为了进一步优化散热，采用了两种策略。首先是增加散热器的表面积，其次是增加通过散热器的流速。为了增加表面积，翅片进行了重新设计(图14)，翅片的数量增加一倍以上。然而，通过增加翅片的数量，由于表面阻力的增加，空气流量可能会减少，因此需要重新选择风扇。图15显示了Digikey提供的各种风扇的PQ曲线的比较。根据具体需求，选择风压最大的风扇。