2017年3月23日晚20时，喧闹了一整天的北京东四西大街没有了白天的车水马龙，徐徐的春日晚风吹得路旁枝头上的树叶沙沙作响，衬托着愈发寂静的夜。在位于这条街上的中国航信总部大楼里，几间屋子的灯光依旧亮着，一层的多功能厅更是灯火通明，人头攒动，热闹非凡，与办公楼外面的世界形成了鲜明的对比。
　　
　　“我宣布，中国航信后沙峪数据中心第三轮业务集中转产工作正式启动！”随着现场总指挥的一声令下，现场百余位参与集中转产实施的人们立刻全部投入到紧张的工作中，争分夺秒，马不停蹄。
　　
　　又是一个精彩的不眠之夜，又将有数十个业务系统从中国航信国富瑞机房迁移至后沙峪数据中心。从2016年6月到2017年3月，这样的不眠之夜对于搬迁团队来说早已习以为常，而这一次，是第七次的数据搬迁，也是整个数据中心转产工作的最后一次迁移。至此，国富瑞机房的324个业务系统全部被平稳迁移，这场中国航信史上最大规模的数据中心搬迁工作圆满落下帷幕，中国航信把一项原本不可能完成的任务变成了“不，可能”。
　　
　　着眼长远让数据“回家”
　　
　　国富瑞机房位于北京亦庄，是中国航信的租赁机房，启用以来陆续进驻了大量的业务系统，其中就包括离港、电子客票等新一代系统。而在租用国富瑞机房的同时，中国航信出于长远发展的考虑，也在不断建设自己的“新家”。随着嘉兴数据中心的落成投产以及后沙峪数据中心的即将投入使用，国富瑞机房的数据搬迁计划渐渐被中国航信提上日程。
　　
　　“这就像我们一直住在租来的房子里生活，虽然你也能正常的吃饭睡觉，但当有一天你拿到了写有自己名字的房本时，第一件事肯定就是想着如何搬家。”中国航信运行中心测试与应用支持部开放系统测试部副经理马小珩是数据中心搬迁项目组管理组的一名成员，她用这样一个形象的比喻来描述此次数据搬迁的初衷。
　　
　　“从公司发展的角度考量，也不会长期将重心依托在租用的地方，”中国航信运行中心基础设施保障部的电气工程师蔺晓红进一步解释说，“毕竟，嘉兴和后沙峪数据中心的温度、湿度等一些基础设施环境会更可控、更优质，这对于我们是非常重要的。”
　　
　　数据中心搬迁已是板上钉钉的事，那么问题来了，此次搬迁共涉及到中国航信非常多的业务系统，搬迁地点又包括北京、嘉兴两地，业务关联如此复杂，往往牵一发而动全身，就如同神经网络一样立体多维度，没有人能够说得清道得明。到底应该怎么搬？
　　
　　“我们想过像一些银行做数据搬迁时把整个软件设备和硬件设备一同迁移到新数据中心的做法，但很快就否定了这个想法，并最终确定了以业务为单元的搬迁核心技术原则。”中国航信运行中心运行部开放平台部经理韩超告诉记者，以业务为单元进行搬迁就是先梳理好业务，理清业务关系，把“好”的、“有用”的业务搬走，和一些“坏”的、“无用”的旧业务说再见，然后再按照业务之间的关联划分，分批次进行迁移。“这次搬迁的量太大了，有数百个业务系统，而这些系统基本上平时是7乘24小时全天候运行的，我们必须要考虑到如何才能把此次搬迁对用户的影响降到最低。于是，项目组最终确定：利用夜间相对的业务低峰期，以业务为单元，分批次地进行迁移工作。”
　　
　　考虑到主机保留在北京，而嘉兴距离北京有1000多公里的距离，在数据传输过程中不可避免地会存在一定的网络延迟，项目组决定把以交易为主的业务留在后沙峪数据中心，把以查询为主的业务迁移至嘉兴数据中心。
　　
　　万全准备只为顺利搬迁
　　
　　事实上，此次数据中心搬迁工作能够圆满完成，很大程度上来源于充足的准备。从2014年10月开始，中国航信就专门成立了搬迁项目组，并细分管理组、业务组、方案组、实施组等多个具体小组，从方案的制定到技术的应用，从自身的人员调配到与客户之间的沟通交流，都一一落实，事无巨细。
　　
　　马小珩告诉记者，搬迁的主方案一直在不断修订，大规模的改动就有5次，小改动甚至达到上百次，仅仅是用于指导搬迁实施的手册就写了2万字。“我们没有前人的经验可以借鉴，完全是摸着石头过河，只能尽量考虑全面，一旦发现短板，立刻补充完善，最终定稿的主方案包括了近1000条任务项，现在回头看看都头大。”
　　
　　为了确保真正实施阶段的顺利转产，2016年4月，项目组又开始了为期两个月的试点工作，并在试点过程中发现仍在管理上、流程上、技术上存在一些问题。“虽然我们已经很努力地去完善方案，但谁也不敢保证考虑的绝对周全。试点本身就是用来验证方案和发现问题的，也是我们完善方案、进步和成长的一个过程。”马小珩坦言，“我觉得试点最大的成功之处，就是成功的暴露了我们存在的各种问题，如果这些问题在真正转产时才发现，那才是真正的灾难。”
　　
　　也正是经过两次的试点转产实施，项目组发现配合和沟通是这个巨大工程最难克服的问题之一。“有些情况可能两个人坐在一起，看一眼屏幕就能够解决，但在电话里怎么也说不清，浪费了很多时间，所以我们决定正式转产时采用集中转产实施的方式。”作为项目组的骨干专家，中国航信研发中心系统维护与支持部运维管理支持组组长周凯洋全程参与了试点演练，据他介绍，集中转产实施指的就是转产当天所有相关人员都集中在航信总部大楼，制定统一的发布、指挥、控制和协调模式，每当现场遇到棘手的问题，各个归口的负责人都会聚在一起，统一规划最有效的处理方案。“这是一个非常具有效力的管控模式，为最终的业务系统转产成功立下了汗马功劳。”
　　
　　为保障业务系统的平滑转移、确保安全生产零事故，项目组将所有应用进行了充分的搬迁测试，其中除常规的功能测试，还涉及保障信息安全的安全测试，验证新机房新资源处理能力的性能测试，以及考察各业务系统之间调用关系的关联测试等，对于没有通过搬迁测试的业务系统，坚决不进行转产。
　　
　　然而，再充足的准备也可能会有意外的情况发生。2016年12月28日晚上，后沙峪新数据中心第二轮搬迁业务转产工作启动，涉及业务包括航班库存控制，航班计划管理等多个新一代系统，共计19项，航空公司订座系统、代理人系统主机停机配合转产实施。
　　
　　所有的一切原本都在按照计划有序地实施着。次日凌晨1时，新一代航班计划管理系统在机房搬迁内测时，研发中心机房搬迁团队发现部分服务器无法正常回复报文。经查，问题现象集中在应用系统与新一代航信内部服务总线（简称SIH）的报文交互上。随后，SIH人员、运行中间件团队立即介入排查，逐一排除可能性，最终把问题集中在了SIH的消息队列服务器（简称MQ）中间件上。
　　
　　时间一分一秒的流逝，虽然主机还处于停机状态，但面临的状况仍十分紧急。现场指挥团队权衡利弊，果断处置，把有问题的节点先删除掉，问题初步恢复，但MQ问题还没有完全定位。
　　
　　“FLT、INV各几台好的??”
　　
　　“FLT?3台，INV?6台，业务处理正常，可以撑过高峰期”。
　　
　　“OK，?GO?ON！！！?主机先开放内测，距最后开放时间还有一个小时，继续排查SIH?MQ问题。”
　　
　　……
　　
　　凌晨2时，问题被最终定位，MQ服务器最大线程资源不足，导致后续连接MQ线程无法正常启动，所有人悬着的心终于放下了。2时59分，主机比原计划提前1分钟开放，客户验证各项功能正常，搬迁工作顺利完成，搬迁团队也经历了转产以来最为惊心动魄的一个夜晚。
　　
　　幕后英雄为转产保驾护航
　　
　　从一个最初看似不可能完成的任务，到一步一步脚踏实地地实现完成，这其中承受的压力和付出的辛劳只有中国航信数据搬迁项目组及所有参与人员才有切身体会。
　　
　　“要在两年多的时间里，完成了机房建设、设备采购安装、方案制定、应用部署、搬迁测试、转产实施等大量工作，时间之紧压力之大可想而知。”回想起那些体力和脑力双双严重透支的日子，中国航信运行中心运行部副经理王欣仍记忆犹新，“由于很多参与搬迁工作的人员还要兼顾日常系统维护和产品研发，为了能够按计划完成搬迁，很多人员都超负荷运转，有的人甚至一连几个月都没有节假日。为了能够节省时间，每个实施轮次都有专门的团队和时间计划，滚动式开展，一个轮次开展到一定阶段，就会开始第二个轮次，最多有三轮在同时进行。他们是真正的幕后英雄”。
　　
　　当然，除了人的主观因素外，此次数据中心转产能够顺利实施同样也离不开那些在各个工作环节发挥重大作用的后台系统工具，如一站式业务迁移平台、业务关联关系分析系统Sherlock、数据中心业务转产展示大屏、网络安全策略自动筛选和替换平台、交换机零配置自动化安装平台等。这些工具，有的是为搬迁专门定制开发，有的是原有系统进行了升级改造，它们都在默默守护着整个数据中心搬迁工作。
　　
　　王欣用一站式业务迁移平台给记者举了个例子。一个业务系统进行搬迁，从资源分配到转产完成需要经历一系列工作。如何管理业务转产的全生命周期，陪伴它走过搬迁路上的每一步呢？运行中心运行部历经4个月自主开发了安全稳定、集多种功能于一身并有助于精细化管理的一站式业务迁移平台。每个业务在该平台中都有自己的专有身份，包括涉及的资源配置、业务负责人、应用维护人、所属搬迁轮次等等。当业务纳入搬迁计划后，会根据原有资源自动分配新机房的新资源，自动安装操作系统、中间件、数据库等基础平台环境，跟踪记录网络端口开通、应用部署和搬迁测试的完成情况，自动完成投产前检查，转产完成后自动修改资源状态，关闭原有监控并启动新监控，为每个业务系统的搬迁提供一条龙服务。
　　
　　“一站式业务迁移平台确保了搬迁资源交付的准确性和安全性，实现了资源的快速自动交付，在提升效率的前提下，即节约了配置管理的人力成本，又降低了人工操作可能带来的失误率，可谓一举多得。”王欣说。
　　
　　在人员与技术的多重保障下，今年4月，历时两年半的中国航信数据中心转产工作最终完成。全部转产至今，嘉兴和后沙峪数据中心机房均整体技术环境运行平稳。中国航信运行中心网络部网控中心副经理孙淮松告诉记者，转产后，两个新数据中心机房的服务器装载容量提高20倍，网络接入能力提高30多倍，互联网出口带宽提升60倍，核心交换机的处理能力提升100倍以上。“简而言之，就是基础设施环境更好，安全等级更高，对数据的处理能力更强，技术和管理手段更先进。”孙淮松如是说。
　　
　　编辑：Harris