随着互联网金融业务的快速发展,银行IT科技转型纷纷采用新一代分布式架构构建数据中心,服务器规模成倍增长,内部互访流量激增,单个数据中心机房空间、供电等容量限制难以满足银行新一代大数据平台、云计算、人工智能应用的业务发展需求。金融业务从单/双中心部署向多中心目标演进,私有云、容器云、互联网多租户的各类资源需要同时在多个数据中心部署，网络需要支持各种场景下的资源互联互通能力。金融机构传统应用系统对网络提出了多中心资源按需二层/三层拉通、租户端到端隔离的要求支持不足，数据中心之间互联和东西向流量互通技术也面临着新的挑战。
　　
　　如何构筑多中心间高速灵活安全的网络通道,成为银行分布式多中心的网络需要解决的核心问题。G行目前为同城大二层双活数据中心,也面对同城延展多个数据中心的挑战,如何充分利用同城和异地数据中心资源,构建多活数据中心,提升整体承载各类应用能力,成为推动多数据中心互联网络转型的动力。
　　
　　1 多数据中心互联组网
　　
　　首先,我们来了解一下多数据中心互联网络流量构成。目前,数据中心内根据业务安全等级,将不同业务接入划分了不同的网络安全域,网络跨中心流量按照传输方向可以分为东西向流量和南北向流量,其中,同一网络安全区域内互访流量为东西向流量,不同网络安全区域跨数据中心需要经过防火墙进行安全防护,为南北向流量。由于东西向流量提供同一区域内部互访,因此对于传统大二层多中心,要求提供二层/三层网络互通能力。南北向流量需3层网络互通能力。
　　
　　从逻辑上,跨数据中心互联网络可划分为两个不同的网络平面,本文中我们称为区域内DCI网络和业务承载网,分别提供东西向流量互访和南北流量互访,DCI网络的特点是高带宽,端到端业务隔离、由于流量都在同一安全域内,所以一般无需访问控制。数据中心业务承载网不仅提供网络区域南北向互访的核心交换机接入,同时也可统一接入城域网、广域网等其他的广域网络,提供多中心业务应用和同城机构、分行业务互联、提供完整的区域间安全防护能力。
　　
　　在物理链路选择方面,同城数据中心间互联一般采用DWDM+裸光纤直联方式,通过DWDM波分复用功能,可以实现各区域DCI网络和承载网的跨中心一一对接,实现二层/三层互访互通。异地多数据中心由于传输距离远,不具备波分系统直连的条件,需租用MSTP等广域网专线互联,跨中心流量均需通过广域网线路带宽实现(见图1)。
　　
　　2 多数据中心网络互联技术要考虑的问题
　　
　　在了解多数据中心互联网络结构基础上,我们进一步思考在选择多数据中心互联网络技术上,需要考虑的问题:
　　
　　①高带宽、高可靠性
　　
　　多中心物理上是分割在不同物理位置的独立园区,逻辑上要求资源支持灵活分布,统一对外提供服务,相当于要求把同一数据中内的高速流量延伸到了数据中心之间的网络通路上,数据中心互联网络需要提供高带宽的传输能力,保障业务传输,架构应具备可靠性，保证中心间的稳定持续转发能力;
　　
　　②端到端安全转发
　　
　　同一安全域内的东西向流量在中心间转发,网络必须提供端到端的安全隔离手段,保证不同网络区域、租户、业务系统的安全防护;
　　
　　③灵活性
　　
　　对于能够提供多活架构的应用,建议使用三层互联模式,有利于应用在多个数据中心之间灵活扩展,这需要应用完成DNS改造,或天生支持DNS多活架构;由于DNS改造需要一定的周期逐步完成,因此,多中心互联技术也需提供跨中心二层互通;
　　
　　④基于标准协议,兼容多厂商
　　
　　基于开放式标准协议,提高网络灵活性和可扩展性,能兼容不同厂商接入;
　　
　　⑤多点接入能力
　　
　　传统同城双活只需提供点到点的网络延伸互通能力,在多中心演进过程中,DCI的多点任意灵活接入是需要考量的重要特征和必备特性。
　　
　　3 数据中心网络互联常用技术
　　
　　在明确多数据中心互联网络技术选型需要考虑的问题后,我们盘点一下这几年数据中心互联网络的常用技术。
　　
　　①DWDM+vPC/M-LAG
　　
　　通过DWDM直连光通道,实现交换机跨机箱链路捆绑的虚拟化技术,作为传统手段常用于双中心间点对点互联,解决了链路冗余性问题,提高了带宽利用率,区域核心交换机间二层互联被拉伸到同城数据中心,同时也在一定程度上扩大了网络二层广播域，如果出现网络环路、泛洪等故障，影响范围将扩大到同城数据中心，运维风险隐患大，同时，这种点对点技术无法提供多中心多点互联能力，直接延展会导致二层广播域过大带来环路风险，也无法解决数据中心VLAN数量不足等问题。
　　
　　②OTV
　　
　　MACinIP隧道封装技术,在三层IP网络上构建隧道实现二层互访,采用三层underlay承载二层overlay,控制协议使用IS-IS在数据中心边缘设备分发各自IP/MAC信息,对ARP广播有抑制,可以终结Spanningtree,但依然使用802.1Q,所以VLAN空间依旧有限,端到端租户隔离能力弱,属于早期的overlay协议,加上是厂商私有协议,需要专用设备,可扩展性受限,目前使用较少。
　　
　　③VXLAN
　　
　　MACinUDP隧道封装技术,将数据帧封装在UDP报文中传输,承载在IP网络上,通过VXLAN隧道在IP核心网提供L2VPN服务。实现跨数据中二层/三层互联。支持水平分割防环机制以及广播分包抑制功能,要求三层IP可达,扩展性强。同时,VXLAN是IETF标准协议,能够与现网IP协议无缝对接,有利于网络顺利迁移,在实际应用中案例多,技术比较成熟。
　　
　　4 多数据中心网络互联实现
　　
　　采用VXLAN技术，能够实现多数据中心网络二层/三层互联。在具体实现上，跨数据中心VXLAN互联组网方式可分为一段式和三段式两种。
　　
　　一段式VXLAN最开始的设计场景是单中心内多个物理分区间的网络拉通,因其部署方式相对简单,使用场景被延伸到数据中心之间。如果我们把数据中心一个网络安全域网络看作一个fabric,一段式的实现就是在不同数据中心的fabric之间直接通过VXLAN端到端拉通。逻辑上fabric之间紧耦合,这种方式数据中心间部署一套控制器,因为紧耦合,往往需要双中心的Fabric在部署时同时建设,适用于部署需求明确,两边的机房和网络域同时启用和部署的场景。
　　
　　三段式VXLANDCI在每个数据中心Fabric边界部署fabricgateway,跨数据中心转发首先在本中心Fabric内完成第一段隧道封装到FabricGateway,通过fabricgateway建立跨数据中心的独立的第二段VXLAN隧道到达目的数据中心的FabricGateway,第三段VXLAN在目的数据中心的Fabric内完成转发。这种相对松耦合的技术架构提供灵活的二层/三层延伸能力,数据中心内部的fabric可按需逐步接入,资源按需启用,策略按需互通。
　　
　　G行采用VXLAN技术建设区域内DCI网络,实现同城双活数据中心跨数据中心的区域内互通。如扩展到同城多数据中心互联,物理线路采用DWDM+裸光纤,跨中心东西向和南北向流量可接入DWDM不同波道,通过波分复用在多条裸光纤上传输,逻辑上的区域内DCI和承载网均通过DWDM互联。各网络区域东西向流量可通过VXLAN技术拉通,实现区域内DCI跨数据中心网络区域的二层/三层互访(见图2)。
　　
　　如果多数据中心扩展到异地数据中心,物理线路采用MSTP等广域网专线,需要在多个数据中心之间构建独立的承载网作为大核心、城域网、骨干网等统一汇聚点,跨数据中心的流量通过承载网,共用广域网传输通道和带宽进行传输。随着传输距离变长,传输延时增加,当应用需频繁交互时,整体会话持续时间延长更明显。另外,所有流量共用跨中心的广域网专线,带宽资源也将受到限制。因此,如应用具备提供多活部署能力,应用访问相对集中在单数据中心,跨中心互访流量将减少。
　　
　　5 结束语̶̶后续思考
　　
　　从目前技术成熟度和商用案例经验来看,VXLAN是数据中心互联技术的重要选型技术,VXLAN组网灵活可控,安全隔离、集中管控特性,适合未来多数据中心互联的场景需求。同时,SRv6等新技术也在不断发展和演进,我们需在实际运维工作中不断积累经验,并保持对新技术的关注和跟踪,在数据中心不断发展的浪潮中,在成熟高可用的前提下保证技术领先性和可持续演进能力,为数据中心IT演进提供坚实的网络底座。
　　
　                                                                            　(来源:匠心独运维妙维效)
　　
　　作者简介
　　
　　蔡絮,信息科技部网络领域路由交换专家。信产部网络规划设计师高级职称,CCIE网络专家认证。专注于银行大型数据中心网络架构设计与路由交换及运维优化,数据中心互联DCI技术落地,数据中心流量采集及流量分析技术应用和推广,路由交换技术隐患排查、故障处置、问题深入分析和性能调优等。
　　
　　编辑：Harris