• 回到顶部
  • 18086416190
  • QQ客服
  • 微信二维码

戴尔SCv2000:入门级阵列硬件设计功力

戴尔SCv2000:入门级阵列硬件设计功力

在上一篇《高密度盘柜难点:评戴尔SCv2080结构设计》中,我们介绍了5U 84盘位的高密度存储阵列,这次再来看看SCv2000。虽然在硬盘支持的结构上它没有同门兄弟那么多特点,但我们注意到控制器内部有很多亮点,其中就包括有特色的散热设计。https://smarket.dellemc-solution.com/content/index.php?mappingId=f6fd59b0283da752853b94ef490a1568

我们测试的样机——2U 123.5英寸驱动器位的戴尔SCv2000
https://smarket.dellemc-solution.com/content/index.php?mappingId=ec4b769c151a2c3c9d9e51352ce9b6f0

这台SCv2000里面满配了124TB 7.2K SAS硬盘,Constellation ES.3是来自希捷的企业级系列。
https://smarket.dellemc-solution.com/content/index.php?mappingId=fa34c5e76de58020433b4c742e9f5f05

机箱后面的布局:两边是冗余电源和散热风扇模块,中间的2个控制器版本为“1G-iSCSI-4”
小模块的大乾坤可拆卸锂电池模块
https://smarket.dellemc-solution.com/content/index.php?mappingId=9cee8fa398d784c90d51cbb45becede8

关于SCv2000控制器面板上的布局,我们在《Flex Port:戴尔SCv2000隐藏的万兆iSCSI接口》一文中已经有过比较详细的介绍,这里就不再重复。接下来把左边标红圈位置的电池模块拔出来看看。
https://smarket.dellemc-solution.com/content/index.php?mappingId=4f09093cce688116e2a40872dd8f75dd

戴尔SCv2000控制器的电池模块,SC系列定位中端的SCv4020设计与之类似。
https://smarket.dellemc-solution.com/content/index.php?mappingId=90b063037e24aa9a9d156ddfbebea294

点击放大图片,我们可以看到这块离子电池组的额定输出电压为11.1V,容量12Wh。它能够在异常断电时,维持控制器写缓存中的数据并写入到闪存永久保护。做成从面板上就可以抽出更换的形式,则能够在维护电池时无需将整个控制器离线拔出。
入门系列的豪华配置导风罩优化气流
https://smarket.dellemc-solution.com/content/index.php?mappingId=2e9406f93ed95e080fb7e93e64471fe3

我们拆下了SCv2000控制器的金属盖,里面看到一个黑色塑料导风罩,以前在相同尺寸的2U SBB规范存储控制器中并不多见。它的作用比较明确,就是让大部分散热气流从位于中央的CPU散热器通过。
从上图的视角,我们还看到CPU散热器的顶部覆盖有一层浅色的导热胶,可以将热量扩散到大面积的金属顶盖辅助散热。这一点,笔者之前在《四路服务器进化:R930内存板瘦身、偏置CPU散热》一文中分析戴尔四路Xeon E7服务器时,借助整个底板来做内存板上的SMI-2缓冲芯片散热的情况类似,可见服务器和存储的散热设计还是有相通之处。
此外在红圈的位置,我们还观察到CPU散热器的主鳍片下面还有一排较小的鳍片。这几处加强,是否意味着SCv2000控制器的CPU功率较大以至于需要特殊设计?答案是否定的。在我们的测试环境中,2U 12盘位SCv200025左右室温下的噪声大小,只相当于一台声音略大的传统2U服务器;而配合测试的PowerEdge R630 1U服务器,轻载情况下的噪声则比塔式服务器大不了多少。这些相比5-10年前的产品应该说有明显进步,而在今天除了少数几个国际品牌的硬件,其他厂商特别是国内的整体散热设计,我觉得普遍还达不到这种水平。
https://smarket.dellemc-solution.com/content/index.php?mappingId=925b2be238cda68574f8c92a656e1674

两个红色箭头,标明了SCv2000控制器散热的进、出风方向。这里区别于SCv2080的是,由于结构不同,在2U机箱内,控制器的出风口位于两侧,而不是图中的顶部开孔。所以如果没有前面提到的导风罩,CPU散热器确实会被气流从两边绕路而走,现在的情况则可以兼顾到隔离区的各个元件。
https://smarket.dellemc-solution.com/content/index.php?mappingId=6a39b309a5bf0df62fe33e6c5bf769b7

这张照片就是SCv2000的一体化电源/散热风扇,红色箭头显示了它们怎样从控制器两侧吸风,然后将热量向后排出机箱。

这款电源的总输出功率不超过584W,包含+12V+5V+5Vsb三种直流电压。

控制器和一体化电源/风扇外壳上都有相应的开孔,机箱设计也要进行匹配。上图可以看到机箱内部隔板上的开孔,箭头标注了气流的方向。
点睛之笔独特CPU散热器
https://smarket.dellemc-solution.com/content/index.php?mappingId=1cfe45bef48b7eb37d06e4cb2786ccf7

取下导风罩之后的SCv2000控制器,主板上关键的BGA芯片都可以看到了。标红圈的位置是主机接口子卡,这台阵列控制器配置的子卡为4端口1Gb(千兆)iSCSI,更多接口选择我们在前文中有过介绍。
https://smarket.dellemc-solution.com/content/index.php?mappingId=e2dbb376d7a7b8297b9fc90617235681

最后,我们拆下了CPU散热器。从上图看它并不普通,在与CPU接触的一面是有一个凸起的薄型腔体,起到类似热管的作用。右边那一条增强散热排正是焊接在上面,而左边标红圈的部分,则进一步让我们联想到热管和里面流动的液体。
上面讲了这么多散热设计的东西,最终效果我们可以从戴尔SCv2000的管理界面有个大致的了解。这个截图中间我加了条红线来分隔2个控制器,每个控制器都有7个测温点,在另外一个机箱温度传感器界面中还有更多。这里给出的包括当前温度(与专业测温设备相比可能有3-5偏差)、正常最低/最高温度,以及警告下限/上限阈值参考。
25左右环境温度和较低的风扇转速下,我们看到许多项目还是显示出了较大的温度裕量。以上图中相对接近上限的PCIe区出口”——39/40为例,它对应的参考正常最高温度为51,而警告上限阈值是56。可以预测,如果环境温度上升至35-40,或者阵列的负载上升,自动适当提高风扇转速还是可以轻松胜任的。
测试环境16Gb FC交换机和HBA在接下来的戴尔SCv2000实际测试中,除了PowerEdge R630R720服务器和以太网环境之外,由于后续会有FC主机接口的样机,我们还准备了FC SAN光纤通道存储网络设备。
Brocade 6505 SAN交换机
Brocade(博科)6505是一款12/24端口16Gbps FC交换机。它具备384 Gbps的端到端全双工总带宽,支持N_Port ID虚拟化(NPIV)端口模式。
与之对应的是,戴尔SCv2000前端主机连接的虚拟端口模式就需要SAN网络的NPIV支持。
虚拟端口模式——通过将多个活动端口连接到每个 Fibre Channel 或以太网交换机,提供端口和控制器冗余。在虚拟端口模式下,每个物理端口都有 WWN(全球名称),并且还分配有附加虚拟 WWN。服务器仅以虚拟 WWN 为目标。在正常情况下,所有端口均可处理 IO。如果一个端口或控制器出现故障,一个虚拟 WWN 可被移至同一容错域中的另一个物理 WWN。在排除故障和重新平衡端口后,此虚拟端口会回归至首选物理端口。
与传统模式相比,虚拟端口模式具备以下优势:更高的性能:由于所有端口都处于活动状态,因此可提供更多的前端带宽,而不牺牲冗余性。更大的冗余:端口可以单独实现故障转移,无需通过控制器实现故障转移。简化的 iSCSI 配置:每个故障域包含一个协调域中 iSCSI 端口查找的 iSCSI 控制端口。当服务器将该 iSCSI 端口的 IP 地址作为目标时,它会自动查找故障域中的所有端口。
由于BrocadeSAN交换机市场和技术方面长期处于领导者地位,包括戴尔在内的存储厂商都与他们建立了良好的OEM合作关系。
https://smarket.dellemc-solution.com/content/index.php?mappingId=1f0c2a315ddcfdbeb4ee5d931ff9bd53

QLogic QLE2662 16Gbps Gen5 光纤通道适配卡
提到QLogic16Gb FC HBA卡,大家可能首先想到的是单端口的QLE2670和双端口的QLE2672,上面这款QLE2662则是Dell OEM的型号。我们观察它们在板型、甚至散热器的形状和位置上几乎一样,同属于第5代产品,估计控制器也是同一颗——ISP8324
https://smarket.dellemc-solution.com/content/index.php?mappingId=0413af2b651b0ba41ef1aabefaef7578

QLogic QLE2662的主控芯片——ISP8324
QLogic目前在售的FC HBA应该都支持NPIV,并采用了PCI Express Gen3 x4Gen2 x8x8物理连接器)自适应总线接口。动态的电源管理,可确保 PCIe 主机总线链接使用最低数量的 PCIe 通道以满足所需的光纤通道带宽(不管服务器是否支持 PCIe Gen2  Gen3)。使用的 PCIe 通道数越低,意味着这些适配器需要的能源越少,然而同时继续保持最高级别的光纤通道性能。
https://smarket.dellemc-solution.com/content/index.php?mappingId=b7dd0b17b3917c2ddaf5110ef389be9e

上面的截图来自QLogic官方文档,其中提到Gen 5 16Gb FC HBA 2600系列的优势,包括最高120IOPST10 PI传输完整性支持,高可用和端口隔离等,其中还有一项与Brocade Fabric高级特性的集成。我们知道Brocade已将自己的FC HBA卡业务并入QLogic,两家公司更加专注并达成战略合作,以达到更好的协作和产品互操作性。
上图所指的三个特性分别是:利用Brocade ClearLink (D_Port) 增强可用性和SAN诊断;自动化和简化SAN分配来实现更快的部署;改进的QoS和端到端SAN性能。
https://smarket.dellemc-solution.com/content/index.php?mappingId=229d8edaa6dd883fb2779d68bfa6c3a3

看了这张图,可以联想出前面说的120IOPS应该是512byte块大小测得,而QLogic也公布了更为实在的数字——在经过FC交换机的情况下,QLE2672QLE2662应该相同)4KB IOPS接近70万,8KB接近40万,相比上一代8Gb HBA卡有巨大的提升。
根据上述数字,即使在不更换存储网络基础设施的情况下,升级16Gb HBA卡仍连接到8Gb FC交换机,也能获得92%IOPS提升。
https://smarket.dellemc-solution.com/content/index.php?mappingId=c42c30bf7f3435576f8a935ac39adc21

QLE2662 HBA卡上标配的SFP+光纤收发器模块,850nm光源波长可支持多模光纤线缆。