1 引言
　　
　　随着数据中心的大规模建设,用户更为关注能源成本和效率。数据中心供电技术未来的发展方向一定是市电直供技术,在省去传统UPS设备投资和场地占用、降低前期成本的同时,还通过减少转换级数、提高供电效率实现后期运营成本的减少。而且这里所说的提高效率,不仅仅是指电网侧到IT设备输入侧的供电路径上高效率,而是一次能源侧到CPU等的整个能源路径上的高效率和绿色环保。虽然传统概念上的PUE值有可能会升高,但单位计算能耗是降低的。如图1所示,未来数据中心供电技术的总体发展趋势是高压/集中式/交流大UPS向低压/分布式/直流小UPS方向发展,由机房级集中式铅酸电池向IT机柜甚至服务器内嵌的分布式小(锂)电池方向发展,从有污染的化石能源向环保的绿色能源方向发展。
　　
　　数据中心供电不间断技术的核心在于UPS及其电池技术,因此不同的电池连接位置也决定了不同的供电架构。目前,业界主流的备用电池电压从高到低分别有UPS的400多伏,到直流电源的380V、240V及48V,甚至电池内嵌到IT设备内的12V等。甚至还有采用飞轮的中压UPS或者5V等更低电压的小UPS等,由于应用较少,这里不再一一列举。图2是目前业界在数据中心供电方面的主要技术方案,首先从集中式400多伏铅酸电池的传统UPS,其次到标准服务器不用定制、240V电池直挂输出母线的240V高压直流技术,接着还有服务器采用定制48V或者380V输入电源的48V直流或者380V高压直流电池直挂技术,最后再到Google等的12V电池直挂服务器主板输入方案。电池越靠近末端服务器主板或者CPU,供电系统越为分散,相应的IT系统也更为分布式;电池越靠近末端,供电系统的定制化程度越高，普通用户规模开展的难度也越大;电池越靠近末端,对IT电源及电池的控制管理水平要求也越高。
　　
　　最后,电池越靠近末端,从电网到CPU供电路径上的转换级数也相应减少,带来更高的转换效率,但可能在低压侧传输损耗又会增加。因此,对比集中式和分布式、高压还是低压,交流还是直流,选择不同的供电架构,会很大程度上影响供电系统可靠性、供电效率、造价成本等,还有技术、生态的成熟性以及应用灵活性等等。
　　
　　此外,随着电池技术的发展,以及风能、太阳能、燃料电池等绿色能源在数据中心内的引入,给数据中心带来了更多的机遇和挑战。从某种意义上说,数据中心不间断供电技术最终会取决于电池技术的发展,电池的革新也会带来数据中心供电架构的变化,比如从传统的低密度铅酸电池到高能量密度锂电池技术的发展,就很可能把备份电池从电池室改放置到IT机柜内,甚至放置到IT设备内部。同样的电池技术的发展,使得风能、太阳能等波动性绿色能源实现储能的可能,也将改变传统数据中心来自单一电网供电模式等。
　　
　　这些更进一步的讨论这里不再展开,本文暂以业界用到的主流技术为主,通过梳理粗浅分析,抛砖引玉,以便大家可以更为深入的探讨未来数据中心供电技术的发展方向。
　　
　　2 数据中心颗粒度层次分级
　　
　　这里还可以从数据中心自上而下的不同层级来考虑UPS的应用场景,典型的数据中心可以从整个园区、单栋建筑、机房模块、微模块、机柜、服务器等不同颗粒度来划分。由于整个园区、单栋建筑的规模都太大,目前基本没有UPS能覆盖到整个层级,所以这里不再讨论。到机房模块层面典型的做法是采用传统的集中式分体柜级UPS,微模块层面典型的做法是采用半分布式一体柜级UPS,整机柜层面典型的做法是采用分布式DPS电源插框级UPS,服务器层面典型的做法是采用部件级内嵌电池UPS做法,分别如图3(a)到(d)的四种做法。同样的,这四种应用架构下,电池的摆放位置差异也很大,从机房模块层面的集中电力电池室,到微模块层面的半分布电池机柜,再到整机柜层面的分布式电池BBU,最后到服务器层面的部件级锂电池包。不同的层级下不管UPS还是电池的建设规模都是从大到小、从集中安装到分散摆放,从一次性投资到分期投入,故障影响面也是从整个机房模块到单台服务器等。
　　
　　从前面的分析上看,采用分布式的UPS可以带来一些好处,比如可以分期建设边成长边投资,可以减少前期资金一次性入,而且往往很多数据中心负载率多不高,或者服务器装满需要较长的时间,这样集中式UPS长期低负载下的低效率问题在采用分布式小UPS情况下可以有效降低;此外,分期投资建设的分布式小UPS可以灵活匹配未来技术升级或者业务变化,或者根据不同可靠性等级按需配置,带来更多灵活性等。因此,分布式比集中式会带来一些好处,但是否是越分布越好呢?答案显然是否定的,我们再从开展难度等的生态或者产业链层面去分析,首先是图3(a)的传统UPS架构,经过几十年的发展不管是技术成熟度还是上下游产业链等都非常成熟,开展难度最低;其次是图3(b)的微模块层面UPS,可以是一体化模块化UPS或者是一体化240V高压直流,甚至是48V通信电源系统,由于对现有的服务器等IT设备无需定制和改造,开展难度也相对简单;接着是图3(c)的整机柜层面电源插框+电池BBU方案,由于有国外的OCP或者谷歌、微软整机柜或者国内的天蝎整机柜等技术积累和产业链支持,以及互联网用户大规模应用需求,目前正在进行或者准备开展,但存在一定难度;最后是IT设备层面主板直挂电池包方案,由于电池内嵌服务器等,IT设备需要完全定制才行。此外,IT设备电池包直挂方案技术成熟度尚且不够,且涉及上下游很多厂家及不同型号等产品,因此开展难度最大。
　　
　　3 为什么说48V供电架构是下一步重要方向
　　
　　前面我们介绍了数据中心UPS发展趋势及其应用场景,我们认为目前第一阶段的大机房层面传统UPS架构和第二阶段的微模块层面半分布式UPS发展都已经比较清晰了,但是这些架构在服务器前面都或多或少存在UPS这一级(不管是交流UPS、240V/380V高压直流,还是市电+UPS等),效率以及成本都不够优。因此市电直供技术,或者说采用市电直接给服务器等IT设备供电,并做好市电掉电下的保护应该是数据中心供电技术下一步的发展方向。加上整机柜技术的快速发展,我们认为将这两者有机结合在一起,即前面所论述的采用市电供电电源插框,加上插框内置掉电保护的电池BBU方案会是下一步发展的方向。
　　
　　那么现在问题来了,整机柜采用市电直供技术,其直流母排电压到底该采用现成的传统12V母排架构,还是可以规划一下48V的创新架构?我们将从下面的7个方面分别做两种技术路线的比较。
　　
　　(1)从未来机柜功率密度增长情况上比较随着数据中心技术发展,以及IT设备计算能力的不断提升,数据中心单机柜的功率密度从过去的几个千瓦,到现在的近十个千瓦,以及已经出现的十几千瓦机柜,因此未来的单机柜功率密度很有可能会达到二三十个千瓦以上。因此这种情况下整机柜如果继续采用12V母排,电流会高达两三千安培以上,不管是铜排的压降、损耗、结构、散热、价格等等,都会是很大的挑战;反之,如果采用48V的母线架构,根据非常成熟的48V通信电源市场经验,前面12V的这些挑战都不是问题,而且功率扩展能力有望可以升级到30～40kW的单机柜密度,可以实现较远期的规划,因此48V架构从单机柜功率密度增加方面有很大潜力。
　　
　　(2)从母线损耗上比较
　　
　　如前面估算,如果12V架构下母线电流达到两三千安培,那么即便是小到1mΩ的接触电阻或者线路阻抗下母排损耗都可以达到4、5千瓦以上,即便采用多个电源插框或者多根母线来分摊电流减少损耗,那么不管是总体成本、空间占用、铜消耗、以及能耗等方面都非常大;反之,如果采用48V的母线架构,电流减少为原来的四分之一,则母线损耗降低为原来的1/16,可以大大降低母线损耗和发热风险。
　　
　　(3)从电压容许范围上比较
　　
　　我们知道12V供电服务器主板通常的输入电压范围是5%的正负差,如果采用12V母线+12V电池BBU的架构,基本很难达到这个电压容许范围。特别是在可能高达两三千安培的大电流下,1mΩ的阻抗下压降就高达2、3伏了,铜排压降都远超这个5%约0.6V的电压范围。如果采用多个电源插框多根母线分摊电流控制压降,那么除了前面提到的成本、空间等问题外,还需要有额外的DC/DC稳压电路来保障电池BBU放电带来的电压降低问题。这个DC/DC稳压电路的总成本将会很高,也会导致系统总体不经济。而48V母线架构下,通常主板允许的输入电压范围是很宽的36～58V,母线压降不再是个问题,且电池BBU可以直接挂接在48V母线上,也无需DC/DC稳压电路,所以采用48V母线架构电压容许范围变得非常容易。
　　
　　(4)从电池备电时间层面上比较
　　
　　如前面所述,由于12V母线架构下只有5%的电压容许范围,那么电池挂接母线的放电截至电压范围会很窄。即便增加了DC/DC稳压电路,容许的电池放电时间也会较小,因为会很快触发电源欠压保护电路。还有12V低压大电流下的散热风险,所以采用12V母线架构下很难有较长的电池备电时间。而如果采用48V母线架构,由于有很宽的电压容许范围,且电池可以直接挂接在48V输出母线上,那么电池备电的时间可以较长,有效保障了系统的安全性和可靠性,这些特点在通信行业已有充分案例和验证。
　　
　　(5)从成本上比较
　　
　　成本方面主要考虑四个部分的差异,我们从整个电源系统上进行比较。首先是电源插框,由于48V电源在通信行业大规模应用,成本低廉,单瓦成本比12V的服务器电源价格要低不少。况且这里还没算12V架构下需要多个电源插框,而48V架构只需单个插框带来的总成本差异;其次是电池BBU,如前面所述,12VBBU架构下电池内部往往需要稳压DC/DC电源,而48V架构则无需配置,这部分电池BBU部分采用48V架构也很有优势;接着是母线排等输配电方面,由于48V架构下大大降低了铜排的规模和数量,而且只需单个插框,这部分48V架构也有很大成本优势;最后是主板上的VRM(稳压模块)电源的比较,采用48V架构下,服务器主板上采用大量应用的BMP板上砖块电源给CPU等供电,成本不高。而12V架构下同样需要采用多个VRM电源给CPU供电,这个层面上差异不大。因此,从前面的比较上看48V架构有很大优势。
　　
　　(6)从总效率层面上比较
　　
　　总效率层面,我们还是仍然比较从电网到CPU的整个供电路径。首先,市电到母排这一段,48V的通信电源现在效率较容易实现97%的高效率,而12V服务器电源多停留在94%左右;其次,母线损耗方面,由于48V架构下传输和接触阻抗损耗只是12V架构下的1/16,包括了母线段和服务器主板上的传输和接触阻抗损耗。这里还没考虑充放电过程中48V架构比12V架构少了DC/DC环节的损耗;最后,从母线到CPU等这一段,48V到1.3V的BMP砖块电源也比12V到1.3V的VRM电源效率更高损耗更少。采用48V架构比采用12V架构总效率提升5%以上,因此从市电到CPU的总效率层面48V架构有很大优势。采用48V母线架构和12V母线架构的总损耗对比如图5所示。
　　
　　(7)从交换机等其他机房设备上比较
　　
　　我们知道数据中心内部除了服务器外,还有很多网络设备,而这些数量相对较少的设备通常是较难全部定制的。而我们知道很多网络设备本身是具有48V电源这一选项的,即很多其他的机房IT设备本身是支持48V电源输入,只需配置上支持48V输入的电源模块即可。而如果采用12V电源插框+电池BBU供电架构,基本没有直接支持12V输入的IT设备。那么专门给这部分机房IT设备来定制12V电源是不太现实的,而在整个机房都采用市电直供的情况上,专门为了少量的网络设备去配置个大UPS也是非常复杂和不经济的。因此这一点上采用48V电源插框+电池BBU架构比12V架构具备非常大的开展优势。
　　
　　4 如何来开展48V供电架构
　　
　　通信产业经过上百年的发展,目前在通信行业48V供电架构已经非常标准和通用了,产业链和生态都非常成熟,以至于目前大多数的网络设备都可以直接支持48V直流供电。甚至在数据中心行业之前也曾尝试过采用48V供电架构,只是传统的做法是学UPS将48V电源和电池放到数据中心的电力室和电池室。这种做法带来的问题是传统的服务器设备往往缺乏直接支持48V输入的电源,以及48V供电在低压较长距离传输时带来的电源线缆投资、传输线路压降和传输线缆损耗等,最终传统的48V供电技术在数据中心行业没能开展起来。但是随着整机柜等技术的发展,以及追求低成本高效率、市电直供技术、大功率机柜以及锂电池等技术的发展,采用分布式的靠近机柜甚至机柜内置的48V供电架构将会是未来发展的重要方向。服务器、交换机、风扇墙等48V供电归一化系统如图6所示。
　　
　　前面介绍了48V供电架构比12V供电架构带来的诸多好处,下面我们继续探讨如何开展这方面的工作。毕竟传统的数据中心都是采用12V的供电架构,切换到48V供电架构一定会带来不少挑战,针对这些挑战我们继续从电源插框系统、电池BBU技术以及服务器主板上48V输入到CPU路径的供电替换做深入分析。
　　
　　(1)48V电源插框系统
　　
　　由于48V供电技术在通信行业的普遍运行,目前通信电源的成本非常低廉,而且效率可以做到97%的超高效率。加上几十年48V电源运营经验以及成熟的电池管理技术等,这些通信行业的积累都可以直接复制到数据中心行业的48V供电架构上,总体而言48V供电技术是个低成本、高效率、好管理、易运维的成熟技术。比如采用业界大量应用的低成本单模块3kW的标准50A通信电源做48V电源插框。采用2+1配置给6kW内低功率机柜、采用5+1配置给15kW中大功率机柜,采用8+1配置给24kW超高功率机柜,可以实现三相平衡且只占用2U左右机柜内空间,还可通用电源插框按实际功率需求来配置模块数量。可采用节能休眠功能全负载范围达96%以上高效率,比传统UPS加12V服务器电源的总效率高出15%以上。
　　
　　(2)48V锂电池技术
　　
　　锂电池技术经过电池储能、电动汽车、消费类电子等行业的发展,在过去几年技术和产业的成熟度增长很快,安全性也有较大提高,目前价格也有大幅度的降低。考虑其优异的放电能力、耐高温特性、维护简单、以及高能量密度和轻重量等优点。在很多行业都是研究热点,也非常契合未来数据中心的应用场景,完全可以用来替代传统的铅酸电池。考虑其较长的使用寿命,从ROI(投资回报率)角度来考虑成本和铅酸电池也差不多。48V锂电池BBU技术在通信行业和电动汽车电池模块等场合有很多研究和应用,目前也已经较为成熟,有较多产业和技术、运营数据等的积累。如果在整机柜48V电源插框旁配置一个2U到3U高的48V电池BBU,给整机柜提供稳定的48V电源,并提供5到15min的电池备电,这可以带来数据中心供电架构的很大革新。不再需要传统的UPS投资、不再需要电力室电池室场地、不再有很多损耗浪费在UPS和低效率12V电源上,可以实现机柜级边成长边投资,可以实现48V电源模块按需配置,可以实现自动节能休眠,可以实现换硬盘一样热插拔更换电源模块和电池BBU等,最终实现IDC低成本高效率易维护可管理供电。铁锂电池模组如图7所示。
　　
　　(3)从BMP和VRM电源层面我们继续再到服务器主板电源层面,传统服务器主板上是12V供电,还需要12V备用供电等辅助输出用于管理控制等,然后经过服务器主板上一堆VRM电源将12V输入转换成低压的5V、3.3V、1.3V等不同输出,分别给到硬盘、内存和CPU等不同单元供电,总体成本其实不低而且电源占用了主板较多的空间。
　　
　　此外,这些VRM电源通常效率不高,能量浪费较为严重。我们知道传统的PUE衡量标准其实没考虑服务器主板上电源带来的能量损耗,如果这些VRM电源只有50%的效率,即便机房级PUE做到1.0,那么到最后环节还是有一半的能源被白浪费掉,因此传统12V架构的VRM电源不够优化且有较大提升的空间。如果现有服务器主板能改采用创新的48V输入供电架构,那么真正需要做的只是将这些VRM电源模块替换成业界非常通用和成熟的48V输入BMP板上电源模块。直接将48V输入降压成5V、3.3V和1.3V等,而且这些BMP板上模块通常比传统VRM电源效率更高,大规模应用价格可能还有优势,对现有服务器主板也没有太多影响。因为这些BMP板上电源模块可以以1/4、1/8砖模块的方式,采用贴片或者焊接的工艺安装到主板上,无需太多电源调试和主板布局更改,应用起来非常简单,而且可复制通用性强。传统主板上VRM(电源稳压模块)和BMP(电源管理板)上砖块电源的示意图如图8所示。
　　
　　通过前面几个部分的比较和分析,采用分布式48V电源插框和电池BBU的架构,从技术成熟度和产业链等层面分析,开展难度并不大,但带来的收益却是巨大的。目前业界google、facebook等公司已经或者正在做此方面应用研究和使用,我们认为将会是国内外数据中心行业供电架构的下一个重要发展方向。
　　
　　5 另外一个可能的技术路线
　　
　　我们前面提到UPS技术的发展,很大程度取决于电池技术的水平,由此衍生出采用飞轮储能UPS、传统铅酸电池UPS、分布式锂电池UPS(大量采用锂电池的手机或者笔记本电脑就是一些很好的应用案例)等不同的技术路线。特别是随着未来电池科技的不断发展,肯定会有新的电池技术来革新替代现有UPS。
　　
　　但就今天而言,消费类电子行业在大量采用的低成本锂电池有可能会给传统UPS带来技术革新,或者至少加速传统UPS改进的步伐,如前面介绍的手机电池和笔记本电脑电池就是一些很好的例子。我们知道即便离开了电网,手机或者笔记本电脑都可以持续的工作,直到下一次充电。类似数据中心的UPS在掉电情况下能持续给服务器供电,直到柴发启动给数据中心持续供电。因此按照这个思路,如果我们也给IT设备像手机或者笔记本电脑一样安装上锂电池,短时间停电仍可以像手机一样继续通话上网,像笔记本电脑一样继续可以工作办公,长时间停电则靠柴油发电机来保障续供电,可以保障业务的持续运行,那么我们为什么还需要传统的UPS呢?谷歌12V带铅酸电池的服务器如图9所示。
　　
　　在服务器内部安装电池其实也不是啥新想法,谷歌早在近10年前就这么用过,只不过那个时候锂电池技术还没有今天这么成熟和低成本。谷歌在那个时候采用了传统的小铅酸电池模块,放置在服务器尾部做掉电保护,实现了99.9%的数据中心侧供电效率。但铅酸电池带来的体积较大、温度敏感、漏液风险、放电能力较差等一系列挑战也许只有谷歌自己能解决,甚至该技术今天谷歌可能已经不再采用了。因为现在有了较低成本、高能量密度、大电流放电能力、高温特性好、免维护等的锂电池技术,完全可以替代铅酸电池用于服务器内部的掉电保护。如果性能要求不是很高,甚至可以采用低成本的一次性的锂电池,和服务器的生命周期匹配,只需保障三四年持续供电即可。和服务器一起直接退役报废,需要多少买多少,采用市电直供不需要UPS、不需要维护,就像今天的手机和笔记本电脑的做法一样。还比如我们今天看到小米充电宝内的锂电池价格都已经低到惊人的地步(不一定适用数据中心场景),如果在服务器内嵌个几十上百块人民币的电池,对服务器的总体成本增加几乎可以忽略,但给数据中心带来的收益却是十分巨大的。小米的成本移动电池如图10所示。
　　
　　基于前面的思路,如果IT设备采用内嵌锂电池方案,那么电池该安装在哪里呢?或者如何做可以更为容易开展?自然而然,我们会想到电池可以安装在服务器主板外和安装在服务器主板上的两个方案。针对第一个方案,如果电池安装在服务器主板外,那么采用和服务器电源一样封装的电池模块会是最为简单的做法。因为通常服务器会配置有两个电源模块,如果将其中的一个电源模块更换为一样外形的电池模块,并且采用和原来电源模块同样的PIN脚,那么相当于电池模块和电源模块直接并联,类似电源冗余备份。市电正常情况下采用市电直供给服务器主板供电并对电池模块充电,市电异常情况下,备份的电池马上承担起全部的服务器主板负载,直至柴油发电机启动继续由电源模块给服务器主板供电并重新充满电池。这种方案下对现有服务器基本不用做任何改造,只需换个电池模块即可,开展起来最为简单,如图11所示的做法。
　　
　　如果采用电池安装在服务器主板上的第二种方案,那么就需要在服务器内部做些调整了。电池可以安装在服务器内部主板外有空闲的地方,也可以直接安装在服务器主板上。具体可以根据实际情况灵活选择,但推荐采用可以热插拔更换的方式开展。如图12就是Intel前几年在IDF上展示的电池内置服务器样机,电池直接安装在服务器的12V输入,远离服务器发热区,并以电池模块方式来支持插拔安装,以及更换。
　　
　　6 结束语
　　
　　数据中心的供电技术很大程度上取决于电池技术的发展水平,本文在梳理了数据中心各种供电技术的基础上,认为采用分布式供电会成为未来发展的重要方向。而且未来采用48V供电架构又比12V供电架构有更多的优势,且不排除未来还有IT设备内嵌电池技术的发展方向。但IT设备内嵌电池方案因涉及数据中心内各种设备厂家、各种型号服务器和网络设备的定制和改造,开展难度会更大。且每个服务器还需配置服务器电源和内嵌电池包,总体成本和总效率都不占优。
　　
　　而48V电源插框加电池BBU的创新型架构,基于目前热门的整机柜技术,低成本、高效率、易维护、可管理,而且可以快速大量交付给业务,减少分布式服务器的电源数量并在提升总体能效等方面有很大优势,因此我们认为总体更优的48V供电加BBU架构将会是未来数据中心供电技术发展的重要方向。
　　
　　作者简介
　　
　　李典林,数据中心系统与技术资深专家,腾讯数据中心架构师,高级工程师。现任职于腾讯IDC平台部中心规划组。
　　
　　编辑：Harris
　　
　　 "));