一、引言
　　　　
　　超级计算中心代表了当代信息技术的最高水平,是一个国家科技实力的重要标志,是支撑国家科技兴国的重要基石,其在科学研究和应用工程等多个领域都有着广泛的应用,承担着各种大规模科学计算和工程计算任务。超算的重要地位不亚于原子弹与卫星,它广泛地应用于工业制造、天气预测、灾害预测、太空探索、人类基因测序、模拟核试验等领域。
　　
　　我国把发展超算作为国家数据中心产业发展的重点。截至2019年,除了科技部批准建立的八个国家超级计算中心外,全国各地及许多大学和研究机构也纷纷开始建设自己的超级计算中心,建设超级计算中心的高潮正在到来。
　　
　　二、我国超算事业的发展
　　
　　自1993年起,国际上每年都会按Linpack的测试性能公布在世界范围内已安装的前500台高性能计算机排行,也就是国际超算TOP500。
　　
　　在2002年之前,我国的超算未参与国际TOP500排名。2002年,中国的超级计算机在2002年世界TOP500中排第43名,实现了零的突破,结束了在世界TOP500排行榜中没有国产高性能计算机的历史。随后国产超级计算机在世界TOP500排行榜逐步上升:2003年世界TOP500中获得第14名;2004年世界TOP500中获得第10名;2010年11月国产超级计算机在国际TOP500排行榜中获得第一名,这是中国首次夺得世界冠军。自此以后,国产超级计算机开始走向辉煌:2013年,我国的天河二号超级计算机再次夺取世界TOP500第一名。迄今为止,中国研制的天河系列超级计算机已经7次夺取世界第一,天河二号更是取得了六连冠的辉煌成绩。2012年至2017年间,我国超算连续5年共10次夺取世界TOP500第一名,创下新的历史记录,牢牢稳固了中国在世界TOP500超级计算机冠军俱乐部中的位置。
　　
　　我国的超级计算机除了性能提升迅速,数量也有长足的进步。2010年我国超级计算机的上榜数量也首次超越日本和欧盟,排名世界第二,仅次于美国;2016年首次超过美国,排名世界第一,且11月份继续保持与美国持平;2017年公布的TOP500榜单中,我国以169台数量领先美国;2018年11月公布的TOP500榜单中,我国以227台数量远超第二名(美国)的109台。厂商中联想、浪潮和曙光分别以140台、84台和57台位列前三。2019年、2020年我国分别以228台和226台的份额稳稳的高居榜首。
　　
　　经过30多年的快速发展,中国研制超算系统的能力,已经跻身世界先进水平的行列。
　　
　　三、《超级计算数据中心设计要求》标准的产生背景与过程
　　
　　超算在国内已经发展了几十年,是国之利器,但现有国家规范中,并没有专门针对超算中心的专业设计标准,一般建设中都引用《数据中心设计规范》GB50174。中小型风冷超算中心,基本上适用GB50174标准,但在大中型超算中心的建设中,GB50174在许多方面不能满足要求,比如承重、供配电、制冷、网络和消防等;尤其是采用液冷服务器的超算中心,其制冷的设计基本上都无法采用现有标准。超级计算中心节点之间数据交换延迟要求非常高,对设备之间布置要求严格;此外,超算中心因能耗巨大,大型超算中心的计算节点在配置UPS和柴油发电机组等方面,与现有标准有冲突;传统电能能效也需要重新探讨。
　　
　　总之,现有国家标准在超算基础设施许多方面,已经无法满足建设要求了,超算领域急需一个关于基础设施设计的标准。
　　
　　2020年10月,中国计算机用户协会数据中心分会联合会员单位——北京科计通电子工程有限公司,共同发起筹备编写团体标准《超级计算中心设计规范》。2021年2月2日在北京,中国计算机用户协会标委会组织专家,召开了该立项标准的论证会,专家们讨论后建议该标准名称变更为《超级计算数据中心设计要求》,同时一致同意立项。该标准的立项计划号为T/CCUALX001-2021。
　　
　　2021年3月16号,召开了标准编写启动会。随后,多次举行了标准讨论稿大会、牵头人会议、主要章节和分级分类专题讨论会、设备厂商交流会;还到天津超算、济南超算等国家级超算中心参观考察、交流,为超算标准的编制指明了方向。编制组还多次邀请超算行业专家进行小范围的内部评审会,对行业专家提出的意见进行了充分的讨论、修改。
　　
　　2021年7月19日,在中国计算机用户协会网站和全国团体标准信息平台上,同时发布标准征求意见稿,公开向全社会征求意见。截至2021年8月22日,共收到67个反馈意见,标准起草工作组经过讨论,分别从标准文本格式、术语描述、技术几方面进行了相应修改。
　　
　　2021年9月10日,工作组在北京召开了标准送审稿定稿会,形成了标准送审稿。9月16日正式提交标委会,进入送审阶段。
　　
　　2021年9月29日下午,中国计算机用户协会标委会组织5位专家,专题召开了标准评审会,经过质询和答疑,专家们一致同意通过审查。
　　
　　2021年10月11日,《超级计算数据中心设计要求》团体标准在中国计算机用户协会网站和全国团体标准信息平台上同时发布,标准号为T/CCUA016-2021,2021年11月11日正式实施。
　　
　　该标准在编制过程中一直遵循前瞻性、兼容性、简洁性和安全性等原则:编制内容既考虑到目前的实际需要,也考虑到未来较长一段时间内的拓展需求,具有一定的前瞻性;该标准参考了相关国家标准和其他标准,分析比较了各标准的异同,遵循现行法律法规要求,兼容现有国家标准,研制符合我国国情、与国际接轨的超算建设标准;标准中涉及到国际标准、国家标准或者行业标准的内容只作引用,并不包含在本行业标准正文中,以保持标准的简洁性;以维护超级计算数据中心安全为根基,将安全发展理念贯穿于标准研制始终,强化全生命周期安全防护。
　　
　　四、《超级计算数据中心设计要求》标准的主要内容
　　
　　4.1 目的和范围
　　
　　本文件规定了超级计算数据中心的总体要求和设备布置、建筑与结构、电气、空气调节与给排水、网络与布线系统、智能化系统等方面的设计要求。目的是确保超级计算机安全、稳定、可靠地运行,做到技术先进、经济合理、安全适用、节能环保。适用对象为各类有超级计算数据中心规划设计需求的使用方、设计院、施工方、超算设备供应商。
　　
　　本标准适用于新建、改建和扩建的超级计算数据中心的规划设计，也可适用于其他类型的高性能(高速、高密度)计算中心。
　　
　　4.2 主要章节内容
　　
　　本标准共有十个章节,一个规范性附录和一个资料性附录,分别是:1范围、2规范性引用文件、3术语、定义和缩略语、4总体要求、5设备布置、6建筑与结构、7电气、8空气调节与给排水、9网络与布线系统、10智能化系统及附录A(规范性):超算中心基础设施配置要求和附录B(资料性):变配电监测管理系统设计指南。
　　
　　4.3 主要内容解读
　　
　　(1)超算的定义
　　
　　超级计算机主要特点包含两个方面:极大的数据存储容量和极快速的数据处理速度,因此它可以在多种领域进行一些人们或者普通计算机无法进行的工作。
　　
　　拿超级计算机与个人电脑比较容易让人产生误解。首先个人计算机在软件、硬件和性能等诸方面与超级计算机不存在可比性;其次超级计算机在数据存储量方面并没有特别要求,其数据存储能力主要是为快速处理数据服务的,他本身并不是一个数据存储仓库;超级计算机在构成组件上,名称可能与一般计算机基本相同,而实际上已经大相径庭了。通过广泛征求意见,大部分业内专家认为该定义不准确。首先,超级计算机是一个由通用或专用的高性能硬件和软件组成的计算系统。中小超算有可能是由通用的高性能硬件和软件组成的计算系统,而大型、超大型超算一定是专用的高性能硬件和软件组成的计算系统。其次,有别于一般数据中心的计算机,超级计算机是一个提供算力的高性能计算平台。一般数据中心存储能力会占数据中心很大的比例,而超算中心的运算能力会占数据中心总能力的很大比例。
　　
　　在广泛调查研究的基础上,结合多位超算专业人士的意见,编制组最终决定将超算的概念分离为超级计算机和超级计算数据中心两个概念。
　　
　　超级计算机是基于通用或专用的高性能硬件和软件组成的,为处理复杂的数据、算法和应用等提供算力的高性能计算平台。也可简称为高性能计算机、并行计算机或巨型机。
　　
　　超级计算数据中心也就是我们常说的超算中心是为集中放置的超级计算机设备提供运行环境的建筑场所,可以是一栋或多栋建筑物,也可以是一栋建筑物的一部分。
　　
　　(2)超算中心的组成
　　
　　超算中心作为数据中心的一个分支,既具有一般数据中心的特点,也有许多自己独有的要求,就场地的划分来说,与常规数据中心差别不大,但在设备布置和技术要求方面与GB50174界定的数据中心存在较大差异。
　　
　　差异最大的就是超级计算机房,也就是GB50174定义的主机房。超算中心内保证超算运算性能的主要有计算节点、高速网络节点、存储节点和管理节点。
　　
　　我们定义的超级计算机房就是由计算节点、高速网络节点、存储节点和管理节点等功能区域组成的,其中计算节点是决定超算运算速度最核心的部分,也是与GB50174规定的主机房设计要求差异最大的部分。
　　
　　超算中心的组成既参考了GB50174的功能区划分,又充分考虑到超算中心的特点。超算中心由超级计算机房、辅助区、支持区和运营管理区等功能区域组成,除了超级计算机房与GB50174主机房存在较大的差异外,辅助区、支持区也存在一些差异,尤其是液冷超算中心,而管理区的差异不大。
　　
　　超级计算机房由核心机房区和通用机房区组成,核心机房区与通用机房区宜布置在不同房间内,也可以布置在同一个房间内。
　　
　　辅助区用于超级计算机安装、调试、维护、运行监控和管理的场所,比常规数据中心多出了超算监控中心和冷媒充装间等区域。对于一些中小超算中心可能没有独立的超算监控中心,是与综合监控中心合二为一的。冷媒充装间只有液冷超算中心才需要配置,对于风冷超算中心没必要配置。
　　
　　支持区为超算中心提供动力支持和安全保障的区域。从功能区域划分上看,与一般数据中心几乎没有差异,但是从系统配置上存在很大差异,大型、超大型超算中心基本上无法满足GB50174的A、B等级要求。
　　
　　(3)分类
　　
　　本标准根据超算的运算速度、节点冷却方式和安装地点对超算中心进行了分类(见表1),并以运算速度为依据确定了超算中心的配置要求S1,S2(见表2)。S1是针对国家级超级计算机房进行配置的,S2是针对中小超级计算机配置的。在标准附录A分别列出了针对S1和S2两类超算中心的设计要求。超算中心应根据运算速度的不同,在基础设施设计时宜选择不同的配置要求。
　　

　　(4)平面布局与结构荷载
　　
　　目前大中型超算采用液冷技术的越来越多了,而液冷服务器的维护需要一个特定的维护空间,为此本标准规定了采用液冷技术的超算中心要设置一个设备维护间。
　　
　　超算中心内的设备很重,尤其是液冷服务器,一个机柜的重量超过1.5吨甚至更重,所以对结构荷载提出的要求更严格。
　　
　　工艺设备及配套机电设备安装区域的结构设计应满足设备运行所需的荷载要求,运输通道应满足运输荷载要求,否则应采取加固措施,核心机房区的荷载应满足设备安装要求,设备无明确规定时,宜符合表3中的规定,其他区域荷载应符合附录A中的规定。
　　
　　(5)供配电要点
　　
　　超算中心的特点就是电力需求巨大,在极限运行工况时更是如此。而在平时运行时,电力消耗仅仅是极限工况的50%~60%,所以电力浪费较大,如何让富余的电力应用起来,需要设计人员统筹设计,为此本标准提出了“超算中心供配电系统宜根据极限测试工况及日常运行工况的负荷情况,进行用电负荷分期统筹设计,充分利用市政电力资源”的要求。
　　
　　由于计算节点功耗很大,要保持电源的三相平衡,节点布置就非常重要,为此本标准规定了“核心机房区多组计算节点的供电,宜均匀分配在不同电源母线上”。
　　
　　超算能耗大是众所周知的,对于大型超算,其电力需求的巨大已经在很大程度上影响了设计要求。S1类超算中心是大型超算中心的设计要求,按道理应该在电力保障上提供非常可靠的设计,但实际情况是几乎没有大型超算中心可以满足GB50174的A级要求,甚至B级都无法满足。我们根据调研及已有设计经验,提出了附录A中关于柴发和不间断电源的规定。
　　
　　(6)其他要点
　　
　　在常规的数据中心设计中,主机房除了事故后排风系统外不会存在其他的排风系统,但在采用浸没式或喷淋式液冷技术的超算中心,由于冷媒介质会有一定的气体逸散出来,所以需要额外的排风系统。
　　
　　电力安全是超算中心的关键环节,而电力消耗很大,使电力的能耗管理也变得非常重要,为此本标准要求S1配置的超算中心应该配置独立的电力监控系统,S2配置的超算中心也尽量配置。
　　
　　五、小结
　　
　　超算是数字科技革命的新兴舞台,我国超算在今年刚刚发布的国际超算TOP500排名中,与往年相比有较大的落后,但原因是多种多样的,最重要的原因大家都心知肚明,这也更说明了超算的重要,国内超算的赶超只是时间问题,超算的浪潮一定会在国内更加蓬勃地发展,而为我国超算事业的发展奠定良好的基础,就是我们的责任。编制和发布相关标准,仅仅是第一步,应用标准,使其不断完善,并用于指导我国超算中心基础设施的建设才是我们的初衷。
　　
　　编辑：Harris