加班事宜 割接添加备用防火墙并和主防火墙做双机热备 实际情况 目前公司的网络出口设备只有深信服防火墙和在外围的互联网交换机,上行连接运营商网络,当这个唯一的深信服防火墙down了之后,公司只能等待新的防火墙设备到来才可以继续进行业务,因此这次加班为深信服防火墙做双机热备正是为了面对这样的问题才实行的.做了双机热备,当主防火墙down了之后 备用防火墙可以手动或自动(需设置监听线路)切换为主防火墙,主防火墙的配置因为做了双机热备,会持续同步主防火墙的代码,这样主防火墙断了只需要将下行的链路接入备防火墙 很快就可以恢复业务进行投产了 割接流程 1 首先在割接加入新设备之前,我们需要将设备上线前的网络层以上的层级都检查一遍(上行和下行两个方向)检查一遍是否有问题 确保设备上线前所有东西都准备好了(像是设备ip是否设置,与交换机连接端口是否打开,划分vlan确保通信,设置静态路由等等) 设备有些版本有问题的对不上或者不是最新版本的 升级成统一版本或者最新版本等等 情况 在这里我们有些特殊 因为我们的联通线路不能自动协商 电信可以 深信服的防火墙协议兼容不太好 有些运营商的私有化协议不能兼容 不能自动协商的链路因为物理频率不一样 属于物理层的问题 需要一台交换机做转接 例如我们公司的联通链路 所以我们简单的防火墙网络拓扑为 运营商线路-互联网交换机-主防火墙-业务数据 -备用防火墙 2 在设置设备之前 我们还需要把运营商线路通过互联网交换机接好两端的防火墙 然后为不同的速率的运营商线路配备不同的vlan防止可能出现因设备性能问题而导致的mac地址表震荡出现互相干扰的情况(当时电信有一条线路是家用光猫) 3 设置好设备的网络层,确保网络层上行和下行两个方向都没问题之后.我们开始进入设备的web端开始设置,把备用设备上运营商线路对应的链路给配置好并接入互联网交换机,从互联网交换机分别接入两台防火墙上 完成此次割接任务 遇到的问题 在流程上我们走完了全流程,在测试的时候发现有单条线路有问题.上网会非常卡顿,我们一开始排查的时候都以为是线路特性,晚上流速会限速,但后面发现同运营商的另一条线路是没有问题的,于是开始继续排查问题,最终我们将问题锁定在了互联网交换机的vlan分配上,为速率不同的线路单独划分了vlan,到这里那条有问题的线路终于恢复 不过在后续因为没有和设备厂商问清楚深信服防火墙双机热备的接口监听情况,导致后面我们撤销一条线路的时候在web端删除了不需要的线路,防火墙检测到线路断开,自动切到备防火墙上去了,而主防火墙切换模式到备防火墙模式的时候是不能访问的 这是深信服防火墙双机热备的功能特性, 我们的下行业务流量都在现在被切为备防火墙模式的主防火墙上面,且物理连接只有一根,导致公司大范围停网(所以如果厂商做了任何的设置一定要弄清楚功能的特性并且以公司实际情况参考提问厂商出现某种公司可能出现的状况设备设置会发生什么样的情况并且即使同步到同事的工作群组中) 自己思考的排查流程 首先网络问题的排查流程先从公司的网络出口开始 ping外网看看是否通畅 是否可以访问 可以流畅访问说明该终端在访问外网的整条网络层链路都是没问题的 则将问题看向传输层以上的问题 通常一般是应用层的问题 例如网页内的业务逻辑和工作者的习惯有冲突 浏览器特性与网站的兼容性不行等等 如果发现外网ping不通就得缩小网络层的排查范围 从所有的设备内网网关到特定区域网关层层排查 哪里出现不通的情况就找到具体节点开始从网络层及以下向下查找问题 直到最终锁定了问题为止