某数据中心供电中断的案例分享

一、事件情况概述两家银行机构租赁同一家数据中心。事件发时数据中心两路外市电电压同时骤降近 50%持续数秒因为数据中心的 10KV 配电柜综合保护设置投入欠压保护(动作跳闸)导致两路市电共计 32 个 10KV 配电柜全部跳闸在市电供电中断后触发了UPS长时间放电并且两家银行机构未第一时间获悉事件的相关情况未能启动IT业务侧的应急预案。二、应急操作概述数据中心运维工程师因故障排查定位、穿戴防护装具、配电柜位置分散等原因合闸操作处置不及时部分机柜在 UPS 蓄电池电量耗尽时仍未完成合闸并且该数据中心配备的柴油发电机输出电路进线点位于 10KV 配电柜上端见下图 数据中心供配电架构因此柴油发电机组未能及时启动提供应急电源最终造成数据中心部分机柜 IT设备供电中断发生 IT 设备宕机。三、基础知识分享1. 10kV 常用继电保护的功能介绍1.1) 10kV 油机供电系统的保护1.2)10kV 市电供电系统的保护但在数据中心的 10kV 供电系统中三段电流保护(电流速断保护定时限过电流保护和过电流保护)零序电流保护和差动保护(比例制动)都是需要投入的继电保护类型。而过电压保护(备注油机并机柜还是建议投动作跳闸)和欠电压保护在实际使用中基本不投入即使需要投入保护时也只投告警便于运维人员查看需谨慎选择投动作跳闸。注以上继电保护方式是个人在工作中常用的选择仅属于个人意见仅供参考。2. 某数据中心外市电供电系统简图如上图所示在市政供电系统中供电公司为了保障电网供电的可靠性和减小上级站以及输电线路故障或检修时的影响通常使用不同电压等级的变电站和输电线路(配置有重合闸装置)组成供电环网供电系统的稳定性相当高。3. 供电系统的覆盖范围和传输距离3.1)110kV 供电系统的覆盖范围3.2)10kV 供电系统传输距离四、事件的原因和分析1. 原因和分析1)10kV 综保装置投入欠压保护“动作跳闸”造成双路市电电源供电中断。数据中心内的中压开关柜全部跳闸和全站供电中断即使配置告警收敛功能电力监控系统或动环监控系统也会触发大量告警增加故障判断和定位的难度。2)两路外市电电压同时骤降近 50%持续数秒油机未启动。市电供电中断的判据一般是无压无流和判定延时油机未启动原因分析如下2.1) 判定延时设置是否合理是否延时过长一般设置延时为 45S2.2) 无压的判定值是否合理一般设置为 70%80%的线(相)电压2.3) 无流的判定值是否合理初期阈值一般可设置为 10A但需要大于系统无负荷时的零漂电流具体数值的大小需要进行测量和调试后确定。2.4) 初步判断是否是延时设置过长没有达到“市电供电中断”的判据条件 PLC 控制系统/备自投装置未能发出油机的启动信号没有执行双路供电中断的反措逻辑。3)运维人员因故障排查定位、穿戴防护装具、配电柜位置分散合闸操作耗时过长。3.1) 运维工程师是否知道中压的综保装置投入欠压保护“动作跳闸”3.2) 综保装置的面板指示灯是否与跳闸或告警信息一一对应并做好标识便于工程师查看和判断故障3.3) 运维工程师的专业技术和实操技能是否存在缺陷或不足目前数据中心行业内卷严重和中标价格低造成数据中心的运营成本压力巨大削减运营费用的支出难以招聘到有经验的运维人才。3.4) 由于 10kV 中压配电室内的设备一般比较集中熟练的电气工程师能在35 分钟内完成应急合闸操作。侧面反映了运维人员技术、技能和应急能力有待提高应急预案内容的完整性、有效性、可实施性和是否覆盖特殊场景 还需通过跑位拉练进行验证、评估和优化。2. 其他原因1)变压器的 10kV 前置柜是否也配置投入欠压保护“动作跳闸”或 400V 低压主进框架断路器配置欠压脱扣线圈如有以上的配置将大大增加所需要恢复供电设备的数量、范围和时间。2)两路市电是否来自同一个变电站或同源如果真来自两个不同的110kV变电 站发生两路市电电压同时骤降近 50%并持续数秒的情况此类型事件的概率非常的低。例如2024 年“贝碧嘉”登陆过境的 2 小时内某数据中心两条 110kV 线路分别出现约 5 次交替闪断但未发生两条线路的同时闪断。五、事件的经验和启示1.数据中心配电柜的继电保护或综合保护装置需谨慎设置欠电压保护的动作跳闸功能。2.定期检查、复核和优化基础设施的三表一图设备阈值表密码本和整定值表并将相关告警信息或数据张贴在设备上便于运维工程师阅读、查询和 使用等。3.在完善数据中心常用应急预案定期开展演练工作外还需额外编制复杂场景下的应急预案。例如在数据中心的供电/供冷出现中断或异常的情况下 突发关键设备故障叠加发生二次或三次故障的应急预案。在日常培训工作中进行讲解和宣贯每年择期进行应急演练和团队考核。4.根据数据中心实际运营情况调整或优化动环监控系统外。建议额外增加辅助告警设备便于重要告警的识别和判断。如下所示4.1) 在动环监控系统中单独配置一套干节点装置用于告警输出ECC 安装四色声光告警灯并建立“零报” 流程。根据需要配置重要告警信息用于“零报” 另外告警只能由运维工程师手动确认和复位这样可以避免重要告警信息被淹没或自动恢复。4.2) 重要告警信息举例如下单或双路市电中断或欠压 冷机故障或停机市政供水压力低制冷管道重要节点的压力或流量低等告警。5.加强数据中心内部基础设施的标识管理和优化做到设备盘面要有5.1简要的操作说明便于阅读和使用5.2阈值或定值配置数据便于查询和复核5.3告警信息描述或告警代码对应表便于查询等。如下图所示6.数据中心的电气、暖通和弱电工程师必须重视和通晓设备的自控逻辑分析出故障发生和自控逻辑投入前的空窗期情况使用技术措施进行规避或通过 监控系统告警提醒运维人员提高故障定位的准确性和时效性。7.数据中心的客户有必要建立属于自己的监控中心将所属数据中心的运行数据和告警信息等通过北向传输到自有监控中心统一进行监控和管理。同时也能提高自身的应急响应能力和时效性尽早发现尽快应急处置可有效地减少损失和降低影响范围。六、结束语1.案例参考资料《关于数据中心供电中断引发网络安全事件的风险提示函》。2.限于案例资料内容的详尽程度以上分析属个人意见仅供参考。如有谬误之处烦请多多包涵。3.本文只用于数据中心的案例的分享使用无任何商业用途。文章内容如有侵权请联系删除。