数据中心已在企业扮演不可缺席的角色，如何在相同可靠性的架构下降低建置及营运成本，将有效提高企业竞争力。
       本文将针对数据中心的基础设施有耗电的设备进行探讨，如何规划可以满足IT设备初期需求并可扩充的架构，且降低整体用电量的案例，从PUE的量测得到改善评估，讨论从节能角度评估ROI的可行性。

一 数据中心耗电设备

数据中心服务的房客简单说有服务器、储存设备及网络通讯设备等，为满足这些设备不中断的服务必须于电力及空调设备，在规划有冗余功能的系统将会降低设备使用率，导致设备的效率降低及耗电增加。
Green Grid提供评估系统效能的量测方法PUE(Power Usage Effectiveness)，PUE定义如下：

PUE=数据中心总用电 / IT设备用电

其中IT设备用电包括所有的IT设备的负载，如服务器、储存和网络设备，甚至辅助设备如KVM、显示器、工业计算机用于监控数据中心。

数据中心总用电包括支持IT设备负载条件的用电，如：
•电力系统:如UPS、配电及开关、电池和配电损失。
•空调系统：如冰水机组、机房空调机(CRAC,CRAH)、水泵及冷却水塔等。
•服务器、储存设备及网络设备等。
•其他杂项设备，如数据中心照明负载、监控门禁系统及消防系统。

图1 数据中心PUE量测位置

相对的各系统的可靠性及电力系统量测位置会对PUE有不同的结果，因此IT设备用电量测位置有三处，分为UPS的输出、PDU(配电设备)的输出及IT设备的实际用电如图1标示说明，提供给使用者量测依据，作为能源使用效率评估的比较基准，此三种量测在量侧位置及取样时间有差异，但这三种PUE量测均可以为下列改变作来评估依据：
•是否有机会提高数据中心的运营效率。
•如何建置比较有竞争力的数据中心。
•随时间提高数据中心设计及营运效能。
•是否可以利用额外的IT设备的资源。

我们将使用此PUE定义中的第二类PDU输出为量测位置(旧机房因数据采集困难将使用UPS输出为计算基础)，作为我们新机房能源使用状况的评估依据。

二 数据中心新建及改善计划

A.既有机房状况

旧大楼内的机房已经使用超过10年，IT设备增加造成电力容量由原本的冗余架构变为扩容使用，可靠性已经明显下降，日积月累的机柜内线缆，也影响到机柜内散热及可用性如下图2-1。加上传统老旧的空间配置规划，未能于机房内有适当的气流，导致冷热风混合，降低了空调的效率如图2-2。同时，旧机房亦无环境及基础设置监控系统，消防系统也非机房专用，仅仅提供手持灭火器，已经不能满足营运要求。旧机房使用状况说明如下：
1. 总用电约70,730W
2. 既设有20的服务器柜及3个网络柜
3. 使用面积约193米平方公尺
4. 使用人数约2600人

图2-1 机房的历史包袱


图2-2 机房内空间规划不当，无法有效散热，空间使用率也低




图2-3 TIA 942建议Tier2及Tier 4架构

B.改善目标及计划

很幸运我们有机会参与规划建置新机房或于旧大楼改善旧机房的讨论，透过与机房管理者汇整的IT设备数量及未来5年预估成长所会增加的设备数量，来估算机房的使用面积需求(机柜数量)、用电量、空调制冷量及环境管理等基础设施。
当然以使用者的第一反应会希望全部选择最高等级的设计方案，但费用要最低，可以想象这种事情似乎很难发生在现实的社会里，因此与使用者开会讨论，确认下列主要需求：
1. 系统架构对应TIA 942的需求Tier 2
2. 中高密度运用(最大12 Kva/Rack)
3. 机房基础设施管理管理系统
4. 节能要求(PUE1<1.5)
5. 极早期及主动消防系统
6. 冷热通道规划
7. 机房用电量需可以成长50%，机柜空间需有30%的扩充能力。
8. 人员进出机房需分流，方便管理及施工

在充分了解需求将其转变成实体的设备量，并且善加运用环境规划节能计划，经过计算及讨论确认下列事项可以达成：
1. 22个服务器柜及8个网络柜
2. UPS容量初期需要90Kva以上，可以成长到135Kva，并且为N+X的系统设计
3. 空间规划为主机房、网络区、电力室、操作室及储存室等
4. 冷信道120公分以上，热通道90公分以上
5. 整体环境将有1/3(从历史数据上有121天)的时间气温低于15℃，可以结合热交换器进行节能。
6. 建立两套冰水系统的交替运行，并透过水冷及气冷不同的系统，避免停水的困扰。再者运用夜间室外温度较低之特性，于夜间运行气冷冰水系统，日间运行水冷冰机系统，如室外环境气温低于冰水回水温度(目前设定2℃温度差以上)，亦可使用热交换气作为部分降温，在由冰水机系统作送水温度(7.2℃)的控制。
7. 室外温度低于15℃时，可以依室内的发热量作到自然冷却，如发热量过大或太集中，系统将会自动启动冰水机系统补足制冷需求。

将上述的概念，于规划图纸上依设备摆放、楼高状况及动线规划出平面图，转成3D的图像将可以让用户更清楚整体布置，如下图3-1及3-2。

图3-1 与建物相关3D规划图


图3-2 机房配置3D规划图

如此的规划是否可以在可靠性不妥善的状况下，做到节能的要求，我们依规划使用的产品及解决方案的特性，计算此机房于运行的状况下可能的PUE值，如下表3-1，因此机房并非于楼顶层，且直接与外墙接触的部份已经规划为维修信道，环境热负荷量将影响有限，位置选择也供献部分节能。

表3-1 机房能源使用效率概算(PUE)

从设计确认到工程完工的施工期约50天，完工照片如下图3-3至图3-6。


图3-3 服务器机房(冷通道)


图3-4 服务器机房(热信道及热信道封闭)


图3-5 网络机房(使规划冷通道封闭)


图3-6 室外设备配置，包括气冷及水冷冰机及热交换器等设备

C.目标检验

针对几项达成的目前说明如下：

C-1电力可靠性满足Tier 2

UPS系统采用模块化设计，最大可以扩容到200Kva/Kw(Pf=1)，初期可以做到N+X的冗余，UPS的控制器、电力模块、静态旁路开关等均为热抽换设计，大大降低系统修复时间，且电力模块亦内建有控制器的功能，UPS具有多个控制器的设计，达到于控制器也冗余的功能，如UPS需进行修复，在修复过程亦可以为UPS保护输出，可说是做到MTTR(Mean Time To Recover)趋近于0的概念。
UPS输出设计为双回路供电，避免人员操作错误及开辟故障所造成的断电问题，也满足IT设备需要双电源供电的需求。日后如要将电力系统更新为从UPS到IT设备双路供电，仅需将其中一路配电柜(PDC:Power Distribution Cabinet)电源改接到新的UPS输出即可达成。
机柜内配电亦采用模块化概念，单一配电设备PDU(Power Distribution Unit)可以提供6.6 KVA的容量，于每一机柜内配置两只安装于后方两测，达到双电源供电。如需要提供更高的机柜用电密度，每一机柜设计有多达4只PDU可供安装，又不会占用机柜内安装IT设备的U数空间(目前设计的机柜为42U高)，达到垂直扩容节省机房空间。

C-2机房能源使用效率PUE的改善

旧机房在负载几乎满载的情况下，总用电量约为70.7 KW，PUE约为1.85。于新机房启用后总用电下降为53.0 KW，新机房PUE为1.41(2012.10~2013.2平均值)，整体机房节能约23.7%，但就基础设置的节能来看节能比例就快接近50%，有显著的改善效率。
于今年二月再针对送水系统增加变频功能，三月份量测到的PUE值也进一步改善到1.34。

C-3空间或占地面积的改善

如何降低机房所占面积以及基础设施所占的比例？对于部分机房用户来说，面积根本不是问题，但对于那些位于商业区的数据中心机房和旧机房的扩容改造，或者是办公室改建为机房的用户来说，所需的面积将会是个令人头痛的问题，这里所谈的占用面积将包括服务器及网络机房、监控室及储存测试区、输入出配电柜及UPS系统及空调系统等。
此案旧机房总共使用193米平方的室内空间，新机房在扣除来宾参访走道，实际的机房面积为164米平方的室内空间，在考虑未来扩容需求之下，做到15%的面积节省。减少机房的占地面积，同时也降低机房装修成本、配电及配管的工程费用、消防系统及气体成本，每月的空间使用费用也有29米平方的减少(约8.9坪)。

   此建置过程中其他成效有：
1.机房基础设施管理管理系统，成果如下图4-1及4-2所示
2.极早期及主动消防系统
3.冷热通道规划
4.未来扩充能力及线缆管理功能
5.将整体机房分成4大区，服务器、网络、电力及操作展示区，达成人员分流及管理要求。
6.采用高达96%效率的UPS，于低载30%负荷就可以达到90%的效率。
7.建置紧急排热系统，于市电停电情况下，能侦测冰水温度及热信道的温度状况，自动启动排热功能，延长机房因停电无空调导致热当机的时间。


图4-1 环境监控系统(1)


图4-2环境监控系统(2)

       三 结论

     于建置机房前充分的讨论并设定目标，透过专业人员及选用适当产品，可以达到对高可靠、节能、日后扩充、可管理性及维修性等要求。
采用节能产品会提高建置成本，但相对的可以降低日后的营运成本(电费、面积成本、消防系统及管理费用等)，本案电费节省约可以于1.5~2年的时间内将建置差额回收，机房使用十年以上来看，确实是值得投资。

编辑：Harris