北京于2021年7月22日通过了《关于印发进一步加强数据中心项目节能审查若干规定的通知》,从政策上明确了北京全市新建或改扩建获批指标达到1000吨标煤或年电力消费达到500万kwh及以上的数据中心PUE超过1.8每度电加收0.5元,不超过1.8但超过1.4的每度电加收0.2元。
　　
　　河北省2021年12月16日发布的《关于破解瓶颈制约助推数字经济健康发展的若干政策》要求到2025年,电能利用效率(PUE=数据中心总耗电量/数据中心IT设备耗电量)1.3以上的大型和超大型存量数据中心依法依规全部腾退关停。
　　
　　国家发改委、中央网信办、工信部、能源局于2021年12月20日批复的宁夏、贵州、甘肃、内蒙四大全国一体化算力网络国家枢纽节点,都要求起步园区数据中心平均上架率不低于65%,数据中心电能利用率控制在1.2以下。虽然天津地区尚无明显政策,但从趋势及现有政策看,京津冀地区数据中心电能利用率/PUE年度均值设计达到1.25,实际运行达到1.3将逐渐从优秀标准降为合格标准。
　　
　　在落实习总书记3060双碳政策,探索节能降耗的过程中,发现京津冀地区企业自用级EDC节能降耗相关资料及文章均较少。因此本文主要以天津为例分享我们关于探索京津冀地区企业自用EDC实现设计PUE低于1.3的一些经验与思考。
　　
　　一、典型设计架构与能效水平
　　
　　1.1典型架构
　　
　　电气:合格变压器+高频ups,变压器以及IT用ups冗余设计2N,动力用ups冗余设计N+1,照明符合《建筑照明设计标准》GB50034-2013要求,低于15w/平方米;
　　
　　空调:第二代智能冷源[1]:变频离心机+板换+全变频水泵+全变频风机,支持三模式切换,设备冗余n+1,冷冻水供回水12/18℃,板换二次侧出口与一次侧进口温差(后简称板换小温差)1.5℃,冷塔以自然冷却工况选型,选型工况点下塔水温与湿球温度温差(后简称冷塔小温差)4℃。
　　
　　1.2核心设备能效参数表
　　
　　表1中空载损耗率根据各变压器选型空载损耗相加除以其容量之和再除以功率因数0.95;
　　
　　负载损耗率根据各变压器选型负载损耗相加除以其容量之和再除以功率因数0.95;
　　
　　负荷率为设备负载率,下同;
　　
　　计算效率时,默认空载损耗不随负载变化,负载损耗随负载率成平方关系变化(此简化计算对最终能效影响不大)。
　　
　　表2中根据常规品牌库下限效率提出选型要求。
　　
　　表3中IT功率密度使用典型设计参数4kw/柜,单机柜占地面积SUE=8m2/柜;
　　
　　PLFzm为照明局部电力损耗PUE因子，由于数据中心特性，在典型设计及管理架构中，难以做到按需开关及高效调节照度，仅有机房模块级未启用，才能实际通过关闭模块照明实现节能，为评估该影响，计算PLFzm时采用上级IT负荷率作为典型工况非三代智能照明下，该级负荷率可高效适应性。
　　
　　表4中考虑各设备性能差距,数据性能做了较大的保守处理,实际中应根据各项目特点要求厂家提供选型及校核支持,表中数据仅供参考;
　　
　　常规设计及典型应用中,往往采用方案A的下塔水温,力求冷凝温度最低。设计颗粒度更低的甚至除冬夏季额定工况外,不再考虑冷塔的其他部分负荷特性。
　　
　　表5中部分负荷性能采用各冷凝器进口水温及冷量负载率下的冷机COP作为核心指标;常规设计及典型应用中,往往采用两器(蒸发器、冷凝器)流量均为满载时设计流量。
　　
　　表6中部分负荷性能采用不同负载率下水泵的功耗相比额定满载设计状态下功耗比例系数作为核心指标;
　　
　　常规设计,往往采用冷冻泵供回水主管固定压差控制,其部分负荷下理想流量大于实际需要,考虑主管道压力下降,典型应用中以功耗系数不高于IT负荷率作为合格考验指标;
　　
　　冷却泵,典型应用中采用较广泛使用的与冷机一对一的关系,因此其功耗系数合格指标会略大于IT负荷率。
　　
　　表7中部分负荷性能采用不同负载率下末端空的功耗相比额定满载设计状态下功耗比例系数为核心指标;
　　
　　考虑到受末端空调风机变频下限、气流组织果、负荷模块级不平衡等限制,功耗系数取IT负比例的120%作为合格指标。
　　
　　设计颗粒度较大的项目,往往不考虑这些与实应用相关的核心设备部分负荷因子,这也是导致
际EDC运行PUE远高于设计值的核心原因。
　　
　　1.3能效水平
　　
　　根据参考文件[2]定义的气候加权时长软件,输入设计条件可得如表8所示气候时长因子。
　　
　　1.100%PUE计算
　　
　　与气候条件相关的往往仅有空调系统中的冷塔、冷机与水盘加热、管道电伴热、加湿、除湿、加药水处理等辅助耗电,其对CLF的贡献系数见表9。
　　
　　表9中CLFk指相应项目耗电与冷量的比例;小计CLFk为相应项CLFk相加;
　　
　　各项合计CLFk为各工况CLFk与时长系数加权计算(相乘后相加);时长系数为依据表8获得的工况时长除以一年8760h所得;
　　
　　冷塔CLFk根据表4,方案A及设备参数计算;冷机CLFk根据表5,100%负荷计算,不同湿球温度根据冷塔性能表4所得出水温度依据表5进行插值计算,示例有所简化;
　　
　　辅助CLFk已考虑高湿季除湿,低温季水盘及管道加热与系统水膜加湿、全时段水处理等功耗特性。
　　
　　表10中UPS、IT变压器的PLF采用50%负载率下的效率;
　　
　　其他考虑未计量线缆、开关及未明损耗,不随负载发生变化。
　　
　　表11中气候相关CLFk采用表9合计值;冷冻泵、冷却泵、末端根据设备选型参数计算CLFk值。
　　
　　环境及人员冷负荷以30w/m2指标计算,为免陷入循环计算,将动力变压器、电池的散热负荷与室外管道、设备吸收冷冻冷却水克服阻力做功、京津冀地区对建筑及管道带来的额外冷量相抵消,
　　
　　在简化计算时:
　　
　　冷量系数
　　
　　K=1+0.133+0.025/0.94+0.03+0.09/0.94;
　　
　　K=1.285;
　　
　　PUE=1+PLF+K×CLF/B;
　　
　　PUE=1+0.133+1.278×0.233/0.995=1.432;
　　
　　式中:B为变压器效率,取IT负荷率的50%工况计算。0.94为动力ups效率。
　　
　　该能效设计水平在十年前可以说是先进,在五年前依然能算优秀。但是在目前显然难以满足京津冀地区长远管控要求。
　　
　　2.部分负荷PUE计算
　　
　　根据100%满负荷计算原则,及相关核心设备部分负荷性能表,计算结果见表12。
　　
　　表12中部分负荷计算时,应注意电气其他及空调辅助损耗不随负荷变化,其系数随负荷变化成倒数关系。
　　
　　虽然PUE的计算结果比较难看,但其是考虑现有设计、运维水平下平均能达到的水准,其设计结果与合格运维团队实际平均运行水平较为接近,对于EDC运维团队尚有一定挑战。
　　
　　对于一个满足参考文件定义的PUE设计计算软件,由于输入参数未变,上述部分负荷的计算应该仅只是输入负荷率即可轻易获得。
　　
　　二、设计优化
　　
　　2.1空调架构优化
　　
　　架构优化越早提出，受到的约束越少。在设计一开始还是一片白纸的时候，可以进行革命式优化，越往后往往越只能在原有基础上进行适当改良。
　　
　　1.液冷-革命式优化1
　　
　　根据参考文件[3]虽然经过多年发展,生态链已经有一定规模,但仍不够成熟,对于中小型EDC及非超大头部互联网自用EDC集群,液冷从设计、建设、运维仍是个新产品,有较多的未知风险需要克服,对于现有运维团队及从现有市场招募运维团队均有较大挑战。
　　
　　另一方面对于内部业务部门、数据中心管理部门等相关部门的跨部门的融合式管理也提出较高要求。同时绝大部分自用EDC实际负荷密度均较低,离液冷的经济高密临界点仍较远。
　　
　　虽然无论喷淋、板式及浸没皆能达到能效要求,但此次不作为主要优化方向,预计十年后可能成为主流标准化设计方向。
　　
　　2.间接蒸发-革命式优化2
　　
　　根据参考文件[4]间接蒸发对于建筑提出较多要求,实际能效表现与典型架构在京津冀地区无显著差异。
　　
　　间接蒸发核心优势在于工程与服务高度产品化,便于快速形成规模效应,对于自有运维团队能力要求较低,主要基础设施能力转移至相应产品方,自有运维弱化至常规物业级水准。非常适合新入行或者跨界入行专注于市场与销售的IDC服务商,也适合无DC基础/积累/包袱,专注于IT等其他主航道业务或有意托管型EDC客户或无核心不可转移管理责任的商业类DC。
　　
　　缺点在于对供应商依赖较重，土地利用率不高，适合自有土地/地价较低/边远地区，集团第一个DC项目，且在设计之初的时候进行规划与设计。
　　
　　3.氟泵/热管-改良式优化A1
　　
　　根据参考文件[5]间氟泵/热管适合中小型数据中心或者原有采用风冷精密(单元式)空调的项目技改/升级。受限于篇幅,此次不详细展开。
　　
　　4.三代智能冷源-改良式优化B1
　　
　　根据参考文件[1]第三代智能冷源相比传统典型架构具备的优势如下:
　　
　　1)全解耦型智能冷源优化,便于提高富裕流道与富裕换热面积利用率,降低传热温差,减少流动阻力,最终提高部分负荷能效,PUE下降超过0.015。
　　
　　2)第三代智控优化,控制逻辑更优秀,自动化水平更高,能效更逼近理想水平,促使PUE下降超过0.085。
　　
　　改良点:
　　
　　1)通过专利管道及阀门布局,实现冷机、板换、冷塔、泵的资源池化,可随意按需高效调动所需的换热及传输动力资源;一方面提升了系统安全性,在成本未增加的前提下,将冗余覆盖到了非同类设备,传统N+1的设计A系统冷机坏了,B系统水泵或者阀门坏了,系统即失去一套冷源能力,而解耦型/池化型设计,只要不是同类设备故障数大于冗余,即对系统运行无影响。另一方面也提升了系统能效,解放更多的换热面积使用,有助于形成更低的传热温差,能够获得更低的下塔水温,更早进入自然冷却/混合冷却,机械制冷时能获得更低的冷凝温度与更高的蒸发温度,提高机械制冷能效、延长自然冷却时间;解放更多的流道面积,有助于降低流动阻力,降低风机、水泵等输送用能。根据相关案例实践经验,可有效降低PUE0.015。
　　
　　2)三代智能控制系统按高效工作区智能实现冷机、泵、冷塔、板换、末端空调的台数控制。
　　
　　3)三代智能控制系统将原冷冻水泵压差/手动变频控制逻辑升级为阻抗控制逻辑附加温差控制逻辑,将冷却水泵升级为动态按需温差及下塔水温辅助控制,促使水泵耗能向负荷比例三次方逼近。
　　
　　4)三代智能控制系统集成专家运行经验将固定设定值控制逻辑,升级为动态设定值控制逻辑。
　　
　　5)三代智能控制系统增加整体能效优化逻辑,通过模糊判断与能效结果，自学习未知冲突逻辑下整体能效优化方向，调整流量与温度能效平衡系数。
　　
　　5.提高供冷温度-改良式优化B2
　　
　　服务器芯片工作温度不提升,通过减少各级传热温差,及非必要冗余,提升冷源蒸发温度。以典型设计为例,带入不同供冷温度下表4、5气候相关冷塔、冷机部分负荷性能参数表,PUE下降结果见表13。
　　
　　表13中在典型设计12℃/18℃冷冻水供回水基础上提升3℃至15℃/21℃,气候相关冷塔、冷机、加热加湿水处理等辅助合计CLFk下降21.6%至0.069,由于是设计优化,提升后为新设计选型的新机型。并非运维优化中的原机提升,且气候相关CLFk中已考虑延长自然冷却、冷塔节能等效果。PUE下降0.024,仍远无法满足新一代的能效设计需求。但温度继续提升,在服务器进风温度未提升、气流组织优化未改善前提下将导致末端换热面积急剧增加,末端成本大幅提升。
　　
　　6.气流组织优化-改良式优化B3
　　
　　1)冷/热通道严格气密,机柜空余u位装设盲板,穿线孔、门等缝隙处设有密封胶条或毛刷,通道内,气温最大梯度<3℃。常规冷/热通道封闭设计,服务器进风温度梯度(跨通道不跨模块机房)最大可达到约5-7℃,非封闭设计甚至服务器进风16℃-26℃在同一个模块内。梯度每降低1℃将有利于继续提升1℃供冷温度,风冷可分模块提升,而典型设计需要整体数据中心一个制冷系统服务的所有模块均满足新梯度要求才能提升。当一个制冷服务的模块机房仅有少数模块无法满足新梯度时,可增加该少数模块内空调换热面积,降低局部传热温差,实现整体温度的提升。
　　
　　2)换用更高通孔率(70%-90%)的导向风口地板,降低空气流动阻力,节约风机运行功耗。
　　
　　7.增大换热面积-改良式优化B4
　　
　　增大换热面积有利于减少传热温差,延长自然冷却时间的同时提升制冷能效,该部分主要在核心设备优化及运维优化中详细阐述,在运维优化中期效果部分会与三代智能控制系统重合。
　　
　　2.2电气架构优化
　　
　　1.变压器N+1
　　
　　变压器采用后备式冗余,当变压器故障时,备用变压器自动接管负荷。根据表1,变压器效率对负荷率不太敏感，PUE下降约0.001，N+1后效率提升不显著，N+1架构优化，一般用于节约系统初投资，但这对绝大部分EDC运营团队风险把控能力及运维能力都是种挑战。
　　
　　2.一路UPS换一路市电直供
　　
　　在一线城市,市电质量非常可靠,对于IT或业务部门能接受的前提下,升级成一路UPS一路市电直供,不仅能大量节约UPS系统初投资,根据表2,受限于不同UPS性能,PUE能下降约0.02左右。相比于典型两路UPS架构,服务器/业务连续性有所下降,对于核心及中断损失巨大的业务,建议仍保留传统2路UPS架构,可将一路UPS改为ECO/静态旁路主用/新型UPS即可享受节能效益,对可靠性又几乎没有影响。
　　
　　2.3核心设备优化
　　
　　在更严格的能效管控下,对产品的能效要求尤其是符合场景及项目负荷特性的部分负荷性能提出了更高要求。这将逐渐导致部分企业采购必须三家品牌满足要求的规定得到突破，也将意味着以往由产品平均甚至是入围品牌/产品最低能效要求决定设计的原则将向着由设计决定产品的原则发展。
　　
　　未来优秀的设计人员,应该是瞄准产品的国际先进水平,甚至是给产品研发提供炮火,指明前进方向的前哨。
　　
　　未来无论自有还是托管运营的DC基础设施单位,应建立新的采购决策与议价流程,一方面对专有/专利技术/指定唯一高能效产品采购接受度更高;另一方面对于核心能效设备TCO逐步接替初始造价成为商务评分依据。
　　
　　未来优秀的产品考虑到安全运行特性,其高效运行区间应广泛覆盖30-80%的负荷,其部分负荷能效值应显著高于其满载能效值。
　　
　　1.变压器
　　
　　根据参考文件[6]选择高效变压器的经济性不高,但是如果在政策管控趋紧的形势下,考虑到变压器寿命较长,设计时宜考虑采用最高能效等级的变压器,以免未来运行多年后,在用变压器沦为不满足新能效等级要求的待淘汰设备。
　　
　　2.UPS
　　
　　优先选择部分负荷性能更优秀的UPS[7]。对于2N设计的IT用UPS,应加大其低负荷性能的权重。
　　
　　应重点验证与考核UPS的ECO/市电主用功能,未来能效管控压力下,其中一路IT用UPS与动力UPS采用静态旁路/市电主用或者新型UPS可能成为常态。
　　
　　新型UPS其从研发、设计、应用、维护全生态都以市电/静态旁路为主工作状态,市电故障/超范围,相关切换判断均从设计之初就通过专门设计的高采样频率、稳定的高频控制芯片进行专项设计,其在线运行实测效率从10-100%负荷均大于98.5%。
　　
　　3.照明
　　
　　优先选择LED智能照明,可使照明能耗指标从15w/m2,直接下降至不足7w/m2;再附加单/多灯管红外智控,能耗将可继续降至不足3.5w/m2。
　　
　　4.冷塔
　　
　　当PUE通过可接受架构优化仍无法达到需求时,应通过有意增大冷塔,实现更高的冷塔能效。比如冬季选型小温差可以由4℃升到3℃甚至2℃。但是这会导致投资增加。
　　
　　而通过2.1.4三代智能冷源优化,可以高效利用富裕的备用冷塔及低负荷下的空余冷塔,在不增加投资的前提下,增大运行中的换热面积,相同湿球温度及冷塔进水下,提供更低的冷塔出水。另外也可引入工业上已广泛应用的额成熟塔型,其空气流动阻力更低,仅只是增加占用室外的免费高度及少量的成本。
　　
　　5.冷机
　　
　　通过输入各厂家部分负荷性能表5可以通过表9计算其各负荷下CLFk-100%,CLFk-90%,...CLFk-20%,CLFk-10%。
　　
　　根据项目负荷特性表14及设备数量设计表15,及高效控制逻辑,可以汇总计算出其最终平均
　　
　　CLFk。取其最小值作为最优秀产品/品牌评价,其年均运行费用可直接通过式1计算。
　　
　　A=CLFk×N/(N+X)×Y×P×0.876(1)
　　
　　式中:A,万元/(kw制冷.年),考虑时间和风险
　　
　　权重计分TCO一般至少要内含3-5年运行费用;
　　
　　N:设计满载运行数量;
　　
　　X:设计备用数量;
　　
　　Y:电力单价,元/kwh;
　　
　　P:计算负荷率;
　　
　　表14中:IT负荷预测为最高预测;如果具备更小颗粒度的预测,也可直接生成每年的IT负荷率。
　　
　　表15中:N>3,十个年均主工况下,设备均可工作在50-80%之间。泵、末端、冷塔等均与此类似。
　　
　　6.泵
　　
　　泵的设计优化,主要在水系统的管路设计上与流量设计上,用最小的流量富裕度实现流量分配与传输需求,同时尽可能减少管路流动阻力。泵的选型优化,应使泵工作时长最大的负载率下能高效率运转,为了确保这一点,可以允许泵在满负荷工况时在低效运转。
　　
　　7.末端空调
　　
　　末端空调选型优化时，应优先选择风侧阻力与水侧阻力低的末端，可根据参考文件[8]进行综合计算。
　　
　　三、总结
　　
　　表16中:LED智能照明降PUE效果与供冷提升3℃至15/21℃效果接近,主要是因为单机柜负荷密度采用了较低的4kw/柜,如单机柜密度达到8kw/柜,则PUE下降效果近乎减半,但是如果IT负载率下降至35%,则PUE下降效果又回升至0.023。
　　
　　3.2确保未来运行可达1.3的优化措施为了未来运行满足要求,PUE设计留有0.05以上的富裕度。
　　
　　3.3满足优秀标准1.2的优化措施
　　
　　3.4其他
　　
　　1.部分常见设计优化措施经济性量化分析可参考文件[9-10]。
　　
　　2.部分优化措施在运行阶段仍可适用,但涉及需要进行设备替换的措施,其增量投资除考虑技改投入外,尚需增加原设备剩余待分摊残值,对经济性会有所下降。
　　
　　3.部分优化措施对IDC及小型数据中心仍具备较大参考价值。
　　
　　作者简介
　　
　　杨赟,高级工程师,硕士,主要负责铁路数据中心的运营管理、安全运维,集团公司内部数据与装备管理等;
　　
　　王鹏,学士,主要从事铁路数据中心维护与节能技术工作;
　　
　　付宝禄,主要从事数据中心运营优化与软件定义所涉技术工作。
　　
　　编辑：Harris