伴随着云计算、大数据的迅猛发展，虚拟化、生物特征识别、量子通信、区块链等新技术、新应用的不断深入以及金融客户的需求变化，以“工、农、中、建”为代表的金融行业的IT架构正从“集中式”向“集中与分布式”进行转型,迎来了云数据中心建设新的开端。
　　
　　云数据中心的建设对于金融行业来说是一个比较新的课题,目前正处于不断探索和总结的过程,在此就金融云数据中基础设施在构建时与传统数据中心的区别以及需重点考虑的问题阐述一些观点。
　　
　　1 云平台的特点
　　
　　云平台包括IaaS层、PaaS层和SaaS层(图1)。其中IaaS层主要包括各种服务器、网络设备以及负载均衡、加密机等IT设备硬件资源,通过虚拟化技术将IT设备的各类基础资源进行整合后提供给各类业务和应用使用;而PaaS层则基于IaaS层基础之上,包括数据库、WEB服务、资源管理等中间件,主要为各类应用提供运行环境,并为用户提供开发平台;SaaS层即应用层,面向用户提供各种应用程序,用户可通过网络来访问各类应用。
　　
　　从资源角度出发,云平台架构具备以下主要特点(图2):
　　
　　(1)资源池化的特点
　　
　　通过虚拟化技术将IT设备的CPU、内存、硬盘、网络等基础资源整合起来提供给各种业务系统使用,包括计算资源、存储资源和网络资源等;
　　
　　(2)按需分配的特点
　　
　　资源池化以后,在统一的资源管理平台下,根据应用需求或用户访问需求动态的对资源进行自动分配和调度,即资源按需分配;
　　
　　(3)伸缩性的特点
　　
　　除了按需分配之外,其各项资源的扩展和回收也是资源池的主要特性,因而高度的伸缩性也是云平台的主要特点之一。
　　
　　2 金融云数据中心基础设施需具备的能力
　　
　　金融数据中心基础设施做为金融IT信息系统的重要保障,必须跟上云平台技术发展的脚步,适应上述云平台的特点,在数据中心整个生命周期内具备“随需而变”的能力,否则不管是公有云、私有云还是混合云,都将会变成一片浮云。
　　
　　“随需而变”的能力具体体现在安全运行、快速部署和灵活扩展三个方面(图3):
　　
　　(1)安全运行的能力
　　
　　安全运行历来时金融数据中心建设时考虑的重点,但对于金融云数据中心来说,其基础设施的安全性要求不仅仅体现在供配电系统、制冷系统等基础架构的高可用,还由于IaaS平台的计算资源、存储资源、网络资源均采用分布式方式部署在不同的机柜中,因此“机柜级”高可用将是金融云数据中心基础设施关注的重点之一;
　　
　　(2)快速部署的能力
　　
　　金融云数据中心主要承担网络金融、手机银行、风险管理、大数据分析等平台应用,其系统测试、上线投产、版本更新等相对频繁,因而基础设施需具备快速部署的能力从而满足IaaS平台的资源调配。
　　
　　(3)灵活扩展的能力
　　
　　目前金融云数据中心处于起步阶段,因而基础设施在数据中心全生命周期内需具备灵活扩展的能力,一方面需满足IaaS平台资源的横向扩展;另一方面还需满足后续云平台建设和进一步发展对基础设施提出的新的要求。
　　
　　3 金融云数据中心基础设施构建的主要思路
　　
　　金融云数据中心基础设施的服务对象主要是云平台,因此基础设施构建时必须满足云平台特点和需求,即基础设施“随需而变”的能力要求应贯穿于云数据中心全生命周期。
　　
　　(1)基础设施与IT系统架构
　　
　　基于“集中式”IT系统架构的传统数据中心(图4),由于其IT系统架构呈现“烟囱式”的特征,基础设施与IT设备是松散型的关系,虽强调基础设施的可靠、安全和高标准,但与IT系统相互割裂,成本高昂,其基础设施构建往往由外向内,即土建完成以后再根据主机房面积大小对机柜的布局进行规划,往往不会过多的考虑同一列或同一区域机柜的横向扩展,其机柜数量的确定更多依赖于已建成的主机房面积大小。
　　
　　对于“分布式”的云数据中心(图5),从“机柜级”高可用角度出发,IaaS平台中的计算资源、存储资源和网络资源特别是存储资源的宿主机均需部署于不同的机柜,同时IaaS平台在横向扩展时一般均按照最小集群单元即POD进行扩展,因此单个POD所包含的机柜数量将是机柜布局的重点考虑因素,在规划机柜数量时宜按照POD所含机柜数量进行规划。
　　
　　假设IaaS平台采用计算资源与存储资源分离式部署方案,且分布式数据存储按照三副本方式(可用性为99.99999%),则单个POD将包含三个机柜,其设备部署如(图6)所示,为满足后续IaaS平台的横向平滑扩展,则每列机柜数量也宜按照3的倍数进行规划。
　　
　　综上,目前的金融云数据中心基础设施与IT信息系统处于紧密型的关系,在构建时建议按照从内向外的原则进行,即不能按照传统的设计理念去考虑,而需要首先去了解所采用的云平台的架构,特别是IaaS层的架构,在获得IaaS平台横向扩展的最小颗粒度后,计算单机柜服务器数量、功率密度以及单列机柜数量,从而确定主机房面积。
　　
　　(2)单机柜功率密度的变化
　　
　　对于传统数据中心来说,目前基本按照复合密度的规划方式进行整体规划,即往往将主机房区域按照不同的功率密度进一步细化为各个子区域,一般分为高密度区域、中密度区域和低密度区域,其对应于主/小机区域、存储区域、服务器区域和网络区域。但是对于云数据中心来说,单机柜功率密度基本上都在5kW以上,也就是说其功率密度基本为中、高密度,甚至包括网络机房,目前像华为的核心交换机CE12808,其单机额定功率已到达3.5kW以上,所以说云数据中心与传统数据中心相比,其功率密度大大增加。功率密度的增加也意味着云数据中心基础设施的配电系统和制冷系统在负荷计算、架构方式及可用性设计上与传统数据中心有所区别。
　　
　　①IT设备的配电优化
　　
　　由于传统数据中心的功率密度不高,IT设备的配电基本上都采用集中配电方式。但对于云数据中心来说,由于功率密度相对传统数据中心要高得多,如采用集中式配电的话,则要求UPS具备很高的容量,同时也就带来了占地面积大、风险集中、效率低下、灵活性差等缺点。特别是灵活性方面,由于集中式配电的UPS一般采用塔式机,在扩容方面将受并机能力的限制。
　　
　　而由于分布式配电直接部署在机柜列,因而占地面积相对集中式配电更小,风险也更为分散,容量也可以更好的与负载进行匹配,运行效率相比集中式配电更高,最关键的是其灵活性和扩展能力大大强于集中式配电,在数据中心生命周期内能够根据负载的变化而灵活的进行容量适配,虽然这种配电方式会带来诸如增加运维管理的复杂度等问题,但相对于云数据中心高功率密度的特点以及对于扩展性的要求,分布式配电方式相比集中式配电更适宜于云数据中心(图7)。
　　
　　目前分布式配电的方式主要有以下三种:
　　
　　●模块级配电
　　
　　采用模块化UPS或HVDC,模块化UPS或HVDC模块部署在机柜列,采用2N、一路市电与一路UPS或一路市电与一路高压直流等方式,其电池可以入列也可以出列。
　　
　　●机柜级分布式配电
　　
　　这种配电方式以天蝎机柜或Facebook的OCP架构为代表。
　　
　　●设备级分布式配电
　　
　　以微软的LES架构为代表。由于机柜级和设备级分布式配电目前还受限于电池、IT设备本身,同时考虑金融行业对于IT系统安全运行的特殊要求,模块级分布式配电相对来说更适合金融云数据中心基础设施的构建,不过高压直流供电方式虽已在运营商及互联网企业有广泛的应用案例,但是由于其存在诸如没有旁路等风险,因此对于现阶段的金融云数据中心IT设备末端配电是采用模块化UPS还是高压直流除考虑其经济性之外还需要根据应用系统的安全等级进行综合评估,不过个人更推荐采用模块化UPS的模块级分布式配电方案。
　　
　　②“不间断”制冷系统的配电优化
　　
　　从节能角度考虑,目前大型数据中心一般均采用水冷系统,且在设计制冷系统架构的时候,都比较重视冷水机组、蓄冷罐、水泵和管路的容错或冗余,基本采用2N或N+1架构,其管路采用双供双回或环形管网方式。但是,在水冷系统各关键设施的配电上的重视程度还有所不够。
　　
　　据INTEL实验分析,一个单机柜用电量约9kW的数据中心机房,一旦制冷系统停止运行,温度从22℃上升至40℃只需要18s,上升到57℃只需要35s。而一旦超过32℃,IT设备就会出现故障,温度继续升高,IT设备将会宕机保护,甚至损坏。因此,对于中、高密度功率的金融云数据中心来说,制冷系统可用性将越来越受到重视。
　　
　　UPTIME对于制冷提出了A、B、C三个等级。A级为不间断制冷系统:不间断制冷系统需要为精密空调的风机、二次泵配置UPS,并增加蓄冷罐;B级为连续制冷系统:连续制冷系统需要为精密空调的风机、二次泵配置UPS,但不增加蓄冷罐;C级为可中断的制冷系统:即对制冷系统不配置任何UPS设备,在电源故障时停止制冷系统。
　　
　　GB50174-2017对于A级机房也提出了“控制系统、末端冷冻水泵、空调末端风机应由不间断电源系统供电”等要求。
　　
　　对于金融云数据中心来说,由于功率密度的提高,其制冷系统尤为重要,制冷系统的“不间断”将是金融云数据中心基础设施构建时的一项基本要求,除了制冷系统架构采用容错或冗余模式外,还需高度重视制冷系统关键设施的配电高可用。其配电高可用性可参考(图8)。
　　
　　冷冻水机组:两路市电分别承担不同的冷水机组负载,当两路市电停电时,由发电机提供应急电源,冷冻水机组供电电源采用冗余方式;
　　
　　水泵:采用两套UPS组成2N架构,末端采用两路UPS或一路UPS一路市电的冗余方式经ATS后为水泵提供电源;末端空调：采用两套UPS组成2N架构，末端采用两路UPS或一路UPS一路市电的冗余方式经ATS后为末端空调提供电源。
　　
　　③模块化的深入应用
　　
　　模块化的建设理念除了包括园区模块化、机房模块化、区域模块化、机柜级模块化等多种设计建造模式之外,还包括动力配电、制冷系统、UPS、精密空调、机柜等多种模块化产品的应用。对于传统数据中心来说模块化的应用是一个逐步发展的过程。早期的数据中心很少采用模块化的方法来进行设计和建设,由于模块化具备配置灵活、易于部署、节省空间、方便运维、提升效率等显著优点,近几年模块化的设计理念已开始普遍应用于数据中心建设。
　　
　　对于云数据中心来说,由于IaaS平台的虚拟机的大范围漂移(甚至是跨数据中心的漂移),以及频繁的资源调配是其日常运行的主要特征,因此金融云数据中心基础设施要具备快速部署和弹性扩展的能力,更应采用模块化的建设理念,且模块的颗粒度要更细,才能满足IaaS平台的这种运行特点。
　　
　　例如:IaaS平台的横向扩展主要涉及机柜的增加,且在增加时,一般会基于IaaS平台的最小配置单元(POD)进行扩展,如要满足这种颗粒度,则机柜的安装、配电、制冷以及综合布线均需采用标准化的组件方式才能达到快速部署和灵活扩展的目的,因此像微模块和智能轨道式母线这种模块化产品对于IaaS平台的横向平滑扩展将带来更多的帮助。
　　
　　●微模块产品(图9):
　　
　　微模块产品围绕机柜微环境,由机柜、桥架、门禁、末端配电、空调还有消防设施等各独立运行的组件组成,具备工厂预制、快速部署、弹性扩展、方式灵活、节能降耗等诸多优点,适宜于机柜的快速部署。
　　
　　●模块化机柜配电
　　
　　整组模块采用双路模块化UPS配电,机柜级配电通过插接箱直接取至智能轨道式母线(图10)。由于智能轨道式母线的插接箱可在线插拔,灵活调整位置、随时调相等功能,因而具备节约空间、快速部署、灵活扩展、方便运维等诸多优点,适宜于云数据中心基础设施的机柜级配电的快速扩容。
　　
　　作者简介
　　
　　查劲松,中国银行总行数据中心高级工程师，中国计算机用户协会数据中心分会专家委员会委员,全国电源与新能源行业专家智库高级专家。主要从事中国银行数据中心基础设施的规划、建设和运维。
　　
　　编辑：Harris