互联网企业安全运维实践(3)

在安全运维的过程中，有时不得不去做一些高危操作，就像给飞行中的飞机更换故障发动机，因为站点业务是7*24服务的，不可能或很少拿到停机操作窗口。前面已经说过，做变更有一套方法规避风险，包括参与变更人员、厂商和我们工作师的配合。但总有疏漏的时候，有一次我们更换防火墙引擎故障，结果导致防火墙双活，业务中断约10分钟。后来复盘故障时领导也民觉得这类操作的确很危险，即使再小心，也是十分危险的 。所以就设定了Outage Window操作，高危操作放在这个窗口内，订单损失是不计入ATP监控的，并没有人会因此滥用这个窗口。

关于漏洞

漏洞年年有，今年特别多，像前段时间出的Struts2，还有4月15日国外黑客组织Shadow Brokers泄露出了一份机密文档，其中包含了多个Windows远程漏洞利用工具，可以覆盖全球70%的Windows服务器，影响程度非常巨大。这两次事件影响面都非常的广，修复花很大力气，在企业里面推动补丁管理还是挺难的，简单来说就是补洞的人不懂安全，懂安全的插不上手。需要说的是补丁是必须要打的，不然你就给入侵者留下方便之门，不做为，亦作恶。

关于安全意识

需要足够的耐心，一次次的去宣讲，普通员工到技术人员到管理层，大家整体的安全意识才会提高，特别是管理层，宣讲的时候讲技术通常效果不好。这时应该选择讲案例，将安全与商业价值联系起来管理层才会真正重视。安全工作成功的关键是高层和重视和承诺。

关于变化

这个也好理解，整个IT环境是不断动态变化的，当前有效的安全防护措施，因为某个不安全系统的上线，就有了突破口，需要持续的检查，发现变化带来的新风险。

关于坚持

其实安全运维是整个安全的基石，你需要耐心去踏踏实实做一些事情，而很多我们身边的大牛在最初入行时也是从调设备写代码开始的，通过一些真正的接触一线的工作，你在后期的提升会比较快，而不是说看几本安全的书就能怎样。

三、安全运维自动化

我们为了提升安全运维效率，在运维自动化方面有过很多尝试，比如防御DDoS攻击方面，分布式漏洞扫描方面、交换机封IP、基于VPN的链路容灾方案，防火运维自动化方面等等，在DevOps深入推进的今天，可以说能够自动化你想自动化的一切。

关于DDoS攻击分为两种类型，一种是已经被打怕的人，另外一种是已经被打习惯的人。DDoS攻击目前仍是网络安全的头号大敌，超过100G规模的攻击很常见。我们是被打习惯的一类人，在战斗中增加经验值，并且考虑了一些自动化的防御手段，比如自研DDoS攻击看板，实时了解受攻击情况，与运营商BGP联动，实现被攻击IP一键丢黑洞。快速释放被攻击带宽；云端防护是必须要借助的，因为现在的攻击量太大了，需要云清洗能力。

这个是我们自研的DDoS攻击看板，分成三个状态，第一块是谁正在被攻击，第二块是哪些被攻击系统正在引流，第三块显示哪些被引流的系统正在做流量清洗，正在做流量清洗的系统，需要特别关注业务的运行情况，确保业务得到保护。

第二个讲一下交换器封IP，由于我们系统架构的特殊性，需要由交换机设备完成IP自动封锁的任务。我们先看一下流程，比较简单，分为4个过程，发现恶意IP，可以通过IPS或其它系统检测出来，送入IP封锁系统进行规则匹配，符合封锁条件的IP直接自动下发到交换机进行封锁，达到封锁时间则自动解封。

我们看一下实现原理。最上面通过API对接Web Portal和恶意IP识别系统，Web可以实现IP的增删查以及交换机ACL查询，有IP白名单机制，确保受保护IP不会被封锁。比如分公司IP或合作伙伴IP地址，ACL下推到交换机时增加了防呆机制，防止系统发生将不该封的IP封锁或是大批量封锁用户IP的情况发生。这些系统我们在之前的一些文章或在专利里面都具体讲了实现的方法，有兴趣的朋友可以去参考一下。

这个是一个基于VPN的链路容灾系统设计，这里面我们做的自动化有几块。一个是全国有几百家汽车站需要与总部系统通讯，如果采购商用VPN系统造价很高，那我们在某宝上买了Netgear的路由器，安装Openwrt开源固件提供VPN服务，大约节省80多万元成本。在这个设计里的专利部分是设计了一套全冗余的结构，冗余的程度达到就算任何一个机房的链路坏了、设备坏了甚至其中1个IDC全部crash，我的这套系统仍然是可以持续运行。