同一个晚上去第二家酒吧往往是个危险举动。戴夫·布拉德利(Dave Bradley)这么做之后,最终不得不在两周期限内、没有额外预算的情况下迁移一个数据中心。
布拉德利是医疗服务公司Vizient的高级云工程师,在一次公司外出会议后放松时去了一家酒吧。
与公司技术团队的同事们尽兴欢乐了一阵后,布拉德利决定结束今晚——但在离开的路上,他在第二家酒馆看到了他的老板,正与其他更高级的高管交谈。他决定进去坐了一会儿,直到第二群人决定结束他们的夜晚。
当布拉德利走出去时,一位高管问道:“我们能不能在两周内关闭芝加哥数据中心,把所有东西都搬到达拉斯?”布拉德利的反应是“什么?”然后他的老板插话,问是否可行。
在顶级烈酒的帮助下,布拉德利和一位来自网络团队的同事开始集思广益这个项目。
管理层没有让布拉德利遵守两周的时间表,而是设定了一个艰巨的六到七个月目标。
布拉德利周一在VMware Explore大会上发言时说,Vizient使用了Pure Storage(现为Everpure)阵列,两个数据中心之间有10Gbps链路。
在阵列之间复制数据是显而易见的选择,公司有足够的带宽来实现。当然,事情并没有那么简单。
两个数据中心的IP寻址方案不同,而且公司没有足够的硬件来支持物理硬件迁移期间所有工作负载的停机。
魔术把戏 在一次会议上,布拉德利说高管们告诉他:“想办法搞定。你们很优秀。所以我们要成为魔术师。”在另一次会议上,布拉德利决定接受这个称号。当被问及项目细节时,他回答:“相信魔术师就好。”他现在在办公室里被称为“魔术师”。
他和团队用来解决硬件问题的一个技巧是,将工作负载整合到Vizient在芝加哥数据中心运行的一部分服务器和存储阵列上。
这个过程释放了一些硬件,公司将其运往达拉斯,以便在迁移期间接收工作负载。
布拉德利是在一次合并后加入Vizient的,他在之前的职位上曾用VMware Site Recovery Manager(SRM)构建了一套完整的灾难恢复设施,这是Virtzilla的工具,可以在两个都运行vStack的站点之间转移工作负载。
Vizient仍然拥有使用许可,所以他将其投入使用,因为它可以在迁移期间将IP地址重新映射到本地方案。这些许可已经付费非常有帮助,因为迁移预算很少。
更多重要夜晚 到这时,布拉德利的团队已经与网络团队以及公司IT部门的其他人并肩工作。
他们一起计划了三个晚上的迁移推进,每个晚上专注于公司基础设施的不同部分。
第一个晚上,他们转移了Vizient的开发环境,包含大约70台虚拟机和三个VLAN。
布拉德利说,他和团队创建了编排,让工作负载在芝加哥关闭,然后新的VLAN在达拉斯启动,准备在应用到达后运行它们。
“我们设置了一些检查点,会暂停以便我们验证一切正常,”他说。
“我们的网络人员会把VLAN从芝加哥移走,在达拉斯启动,然后我们点击按钮让它恢复。”这奏效了,布拉德利说他很高兴,但也感到震惊。
管理层随后通过收购一家公司并决定其工作负载也需要迁移到达拉斯,给计划添了乱。
幸运的是,那家公司是Vizient同一栋芝加哥办公楼和数据中心的租户,只有50台虚拟机,而且正处于一个准备就绪的项目中。
布拉德利手头还有未使用的硬件,他真的将一个阵列搬进了被收购公司的办公室,复制了相关数据,带回Vizient并添加到迁移计划中。
在操作的这一阶段,布拉德利了解到关闭Pure阵列需要拔掉电源线,他不得不通过联系支持人员来确认这种方法!第二个晚上也进展顺利,公司的测试环境毫无问题地迁移了。
总是DNS 接下来是尝试迁移最近收购公司的50台虚拟机,期间布拉德利说“坏事发生了。”
谚语“总是DNS”被证明是正确的,迁移团队了解到,当要求SRM迁移一台同时托管DNS和Active Directory的服务器时,SRM可能会出现故障,而DNS会宕机。
“所以在迁移过程中,我们必须弄清楚发生了什么,”布拉德利说。
公司的网络团队发现,他们需要将一些工作负载留在芝加哥,直到稍后的日期。
布拉德利将迁移公司生产环境的最后冲刺描述为“我经历过的最虎头蛇尾的项目结局。”这项工作花了三个半小时,所有计划都按预期进行。
最后一次迁移导致了大约两小时的停机,其他迁移每次大约一小时。
“大多数业务部门根本没有意识到发生了迁移,因为进行得太顺利了,”布拉德利说。
他认为项目进展如此顺利,是因为他处理技术工作的方式与同事们互补——有些人注重细节,另一些人更倾向于直接解决问题。他们共同找到了应对项目问题的平衡方法。布拉德利从自己的经历中总结了三点经验。
一是运输方面,联邦快递(Federal Express)不会为芝加哥和达拉斯之间的单次硬件运输提供保险,因为设备价值超过了其保单限额。因此,Vizient需要分多次运输存储阵列和服务器。
幸运的是,公司的数据中心靠近芝加哥机场,所以安排多次运输并不复杂。第二个经验是DNS总是一个问题。
“有时候,项目是在三四杯鸡尾酒之后发生的,”是他在演讲中提到的第三个注意事项。如果你曾想过走进第二家酒吧,也许这是值得记住的!®