基于CDN的安全私有云

基于CDN的安全私有云

作者：盛瀚北京银行。

摘要：本文分析了私有云面临主要维威胁及相应提出的安全需求，设计一套基于CDN的安全私有云平台架构，包括智能WAF防火墙、智能蜜罐、分布式全流量检测取证、分布式云存储等关键技术。

关键词：云安全私有云

1.云计算安全现状

云计算模式将数据统一存储在云计算服务器，对核心数据进行集中管控，比传统分布在大量终端上的数据行为更安全。数据的集中使得安全审计、安全评估、安全运维等行为更加简单易行，同时更容易实现系统容错、高可用性和冗余及灾备恢复。但云计算在带来方便快捷的同时也带来新的挑战。全球领先的信息技术研究和顾问公司Gartner认为，全球云安全服务将保持强劲增长势头，在2017年达到59亿美元，相比2016年增长21%。云安全服务市场的整体增速高于信息安全（information security）总体市场。Gartner预计，云安全服务市场将在2020年接近90亿美元。

1.1.云计算面临的威胁

随着云提供商不断积累运营经验和技术的日益成熟，云故障的频率和持续时间都在减少。但与此同时，企业却在面对宕机的时候变得越来越脆弱，依赖性也越来越高，潜在的危害，或者强烈的挫折感，

变得比以往任何时候都更大。总结回顾一下近期发生的云安全事件：2016年1月18日，Microsoft Office 365的用户的电子邮件账户出现问题，微软将故障归咎于一次错误的软件更新，但是其初次修复的尝试并没有解决问题，在最初的故障出现五天之后，2月22日再次爆发了电子邮件故障。

2016年4月11日，Google Cloud Platform出现18分钟的中段，影响到Compute Engine实例和所有地区的VPN服务。

2016年6月2日，Apple云发生广泛的服务中断，让Apple一些受欢迎的零售和备份服务服务都出现中断，造成部分客户无法访问多个iCloud和App Store服务，同时App Store、Apple TV App Store 和Mac App Store、iTunes和Apple基于云的图片服务都遇到了中断。

2017年2月28日晚8点39分，百度移动端搜索发生故障，搜索请求无法显示结果，至晚9点21分恢复，历时42分钟。

…

CSA云安全联盟列出的2016年“十二大云安全威胁”。依排序分别为1.数据泄露 2.凭证被盗和身份验证如同虚设 3.界面和API被黑 4.系统漏洞利用 5.账户劫持 6.恶意内部人士 7.APT(高级持续

性威胁)寄生虫 8.永久的数据丢失 9.调查不足 10.云服务滥用 11.拒绝服务(DoS)攻击 12.共享技术，共享危险问题。

把云计算环境下的安全威胁细化，并按系统保护的基本要求进行对应，可得到如下的云计算环境下的具体安全威胁：

(1)网络安全部分

业务高峰时段或遭遇DDoS攻击时的大流量导致网络拥堵或网络瘫痪

重要网段暴露导致来自外部的非法访问和入侵

单台虚拟机被入侵后对整片虚拟机进行的渗透攻击，并导致病毒等恶意行为在网络内传播蔓延

虚拟机之间进行的ARP攻击、嗅探

云内网络带宽的非法抢占

重要的网段、服务器被非法访问、端口扫描、入侵攻击 云平台管理员因账号被盗等原因导致的从互联网直接非法访问云资源

虚拟化网络环境中流量的审计和监控

内部用户或内部网络的非法外联行为的检查和阻断

内部用户之间或者虚拟机之间的端口扫描、暴力破解、入侵攻击等行为

(2)主机安全部分

服务器、宿主机、虚拟机的操作系统和数据库被暴力破解、非法访问的行为

对服务器、宿主机、虚拟机等进行操作管理时被窃听

同一个逻辑卷被多个虚拟机挂载导致逻辑卷上的敏感信息泄露

对服务器的Web应用入侵、上传木马、上传webshell等攻击行为

服务器、宿主机、虚拟机的补丁更新不及时导致的漏洞利用以及不安全的配置和非必要端口的开放导致的非法访问和入侵

虚拟机因异常原因产生的资源占用过高而导致宿主机或宿主机下的其它虚拟机的资源不足

(3)资源抽象安全部分

虚拟机之间的资源争抢或资源不足导致的正常业务异常或不可用

虚拟资源不足导致非重要业务正常运作但重要业务受损 缺乏身份鉴别导致的非法登录hypervisor后进入虚拟机 通过虚拟机漏洞逃逸到hypervisor，获得物理主机的控制权限

攻破虚拟系统后进行任易破坏行为、网络行为、对其它账户的猜解，和长期潜伏

通过hypervisor漏洞访问其它虚拟机

虚拟机的内存和存储空间被释放或再分配后被恶意攻击者窃取

虚拟机和备份信息在迁移或删除后被窃取

hypervisor、虚拟系统、云平台不及时更新或系统漏洞导致的攻击入侵

虚拟机可能因运行环境异常或硬件设备异常等原因出错而影响其他虚拟机

无虚拟机快照导致系统出现问题后无法及时恢复

虚拟机镜像遭到恶意攻击者篡改或非法读取

(4)数据安全及备份恢复

数据在传输过程中受到破坏而无法恢复

在虚拟环境传输的文件或者数据被监听

云用户从虚拟机逃逸后获取镜像文件或其他用户的隐私数

据

因各种原因或故障导致的数据不可用

敏感数据存储漂移导致的不可控

数据安全隔离不严格导致恶意用户可以访问其他用户数据为了保障云平台的安全，必须有有效抵御或消减这些威胁，或者采取补偿性的措施降低这些威胁造成的潜在损失。当然，从安全保障的角度讲，还需要兼顾其他方面的安全需求。

1.2.云计算安全需求与挑战

云计算平台是在传统IT技术的基础上，增加了一个虚拟化层，并且具有了资源池化、按需分配，弹性调配，高可靠等特点。因此，传统的安全威胁种类依然存在，传统的安全防护方案依然可以发挥一定的作用。综合考虑云计算所带来的变化、风险，从保障系统整体安全出发，其面临的主要挑战和需求如下：

法律和合规

动态、虚拟化网络边界安全

虚拟化安全

流量可视化

数据保密和防泄露

安全运维和管理

针对云计算所面临的安全威胁及来自各方面的安全需求，需要对科学设计云计算平台的安全防护架构，选择安全措施，并进行持续管理，满足云计算平台的全生命周期的安全。

2.基于CDN的安全私有云平台设计

2.1.系统架构

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

基于CDN的安全私有云平台是针对CND特殊环境下，对整个云端边界及核心应用集群进行综合安全防护的解决方案。整个平台由智能WAF防火墙系统、智能蜜罐系统、分布式全流量检测取证系统和分布式存储中心几部分构成。

整个平台的核心为分布式全流量检测取证系统，当部署在边界的全流量感知到攻击行为时，迅速通知分布式WAF设备将其链路阻断，并行为全流量系统提交有关线索，综合调度系统立即将对方流量劫持到蜜罐中，记录其动作、捕捉其工具，同时分析对方软件系统及网络环境。

基于CDN的安全云私有云平台总体架构如下图：

图 1安全云私有云平台总体架构

2.2.主要系统设计

全流量系统实时采集CDN的边界流量，通过对协议还原进行数据建模，实时提取疑似针对CDN边界网络的APT攻击渗透行为，同时

WAF设备与与全流量设备互相联动，一旦获取全流量分析系统提取的攻击入侵样本及定位攻击源头，分布式WAF设备将迅速对可疑的攻击行为进行快速阻断与报警，提供详尽的攻击日志呈现。

安全云私有云平台通过与不同功能模块之间的数据交换与流动，为数据、资源和能力的使用者提供统一透明的访问接口。并以可视化的方式进行安全威胁预警与展示。

主要功能包括：

(1)基于CDN网络边界的WAF阻断系统：提供Web应用攻击防护能力，通过多种机制的分析检测，够有效的阻断攻击，保证Web应用合法流量的正常传输，同时针对各类安全攻击（如SQL 注入攻击、网页篡改、网页挂马等），WAF阻断系统根据最佳安全策略进行防护，有效降低安全风险。

(2)基于CDN网络边界的蜜罐系统：通过多个蜜罐系统构成一个黑客诱捕网络体系架构，在保证网络的高度可控性的同时，对整个攻击事件进行信息的采集和分析，帮助WEB管理人员认知真实运用中存在的漏洞，有效降低真实WEB应用的安全风险。

(3)基于CDN网络出口的分布式全流量检测取证系统：在CDN流量下实现高速入侵渗透行为全流量检测，通过对网络流量进行清洗和过滤，将过滤后的统计流量和异常流量回传给数据分析中心，快速发现和定位被入侵设备主机，及时报警并进行相关流量的存储和关联。

(4)分布式云存储中心：采用基于hadoop+elasticsearch+spark 分布式模式进行存储与数据挖掘。建立一套基于Lucene的搜索服务

器，提供具有分布式多用户全文搜索等综合访问服务。

2.3.详细功能模块

2.3.1.基于CDN网络边界的WAF阻断系统

图 2WAF阻断系统

(1)Web安全防护

WAF阻断系统能防护各类Web攻击威胁。精细化的规则配置，发挥最大的安全防护功能，有效应对web攻击威胁及其变种。包括：SQL 攻击（SQL注入）、LFI攻击（本地文件包含）、RFI攻击（远程文件包含）、PHP攻击（PHP注入）、CMD攻击（命令注入）、JAVA攻击（OGNL Java注入）和MFU攻击（恶意文件上传）等。

(2)网页防篡改

WAF阻断系统集中管理与控制各个网页防篡改端点，并提供监控、同步、发布功能。基于文件夹驱动级保护技术，用户每次访问每个受保护网页时，Web 服务器在发送之前都进行完整性检查，保证网页的

真实性，可以彻底杜绝篡改后的网页被访问的可能性。网页防篡改（端点技术）与WAF联动，可以有效阻断Web威胁。

同时WAF阻断系统提供网页挂马检测功能，全面检查网站各级页面中是否被植入恶意代码，并及时进行预警。

(3)DDOS防护

WAF阻断系统的DDoS防护模块采用主动监测加被动跟踪相互结合的防护技术，可辨识多种DDoS攻击，并启用特有的阻断，能够高效地完成对DDoS攻击的过滤和防护。针对互联网中常见的DDoS攻击手段，提供多种防护手段结合的方式，有效的阻断攻击行为，从而确保服务器可以正常提供服务。能有效的防止CC 和SynFlood攻击。

(4)Web安全扫描

WAF提供Web漏洞扫描系统，定期对客户Web资源进行安全体检，从而进行事前防范和处理。

(5)Web负载均衡

当网络访问量上升时，会造成网络瓶颈随着用户访问数量的快速增加，通过负载均衡可以有效缓解该问题。保证各台服务器的负载均匀分布，合理地分流用户，需要一种服务器负载均衡设备对web 服务器进行负载均衡。负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。

(6)可视化管理

WAF强大的设备监控功能，管理员可以实时监控WAF的工作状态、

攻击威胁等系统信息。目前监控信息分为三大类（WAF系统软件、硬件状态信息，Web安全攻击信息，网页防篡改系统信息），从而使管理员可以随时对网络和防火墙的状态有详尽了解，及时发现并排除网络问题，保障应用的稳定运行。

2.3.2.基于CDN网络边界的蜜罐系统

图 3 蜜罐系统

蜜罐系统由采集模块和上传模块组成，采集模块部署在CDN的边界接口，并介入互联网，采集模块将将所有攻击者进入蜜罐种植的工具软件和恶意程序进行自动化提交到沙盒进行自动分析。同时在Windows、ISO、安卓系统等多系统中，在台式机、笔记本、IPAD、手机等多形态上模拟人员操作，并对注册表行为、系统行为、网络连接等进行特征提取，然后通过上传模块将采集的信息提交到管理中心。

管理中心负责接受所有监测设备上传的样本，结合人工参与逆向

分析，生成监测规则并下发到所有监测设备。

(1)数据控制

诱骗服务（deception service）是指在特定的IP服务端口帧听并像应用服务程序那样对各种网络请求进行应答的应用程序。在这个过程中对所有的行为进行记录，同时提供较为合理的应答，并给闯入系统的攻击者带来系统并不安全的错觉。

将诱骗服务配置为特定服务的模式。当攻击者连接到特定端口的时候，就会收到一个由蜜罐发出的协议的标识。如果攻击者认为诱骗服务就是他要攻击的特定服务，他就会采用攻击特定服务的方式进入系统。这样，系统管理员便可以记录攻击的细节。

弱化系统（weakened system）在蜜罐网络中运行没有打上补丁的微软Windows或者Red Hat Linux。让攻击者更加容易进入系统，系统可以收集有效的攻击数据。因为黑客可能会设陷阱，以获取计算机的日志和审查功能，需要运行其他额外记录系统，实现对日志记录的异地存储和备份。

强化系统（hardened system）同弱化系统一样，提供一个真实的环境。不过此时的系统已经武装成看似足够安全的。当攻击者闯入时，蜜罐就开始收集信息，它能在最短的时间内收集最多有效数据。用这种蜜罐需要系统管理员具有更高的专业技术。

(2)用户模式服务器（user mode server）

用户模式服务器实际上是一个用户进程，它运行在主机上，并且模拟成一个真实的服务器。在真实主机中，每个应用程序都当作一个

具有独立IP地址的操作系统和服务的特定是实例。而用户模式服务器这样一个进程就嵌套在主机操作系统的应用程序空间中，当INTERNET用户向用户模式服务器的IP地址发送请求，主机将接受请求并且转发到用户模式服务器上。它的优点体现在系统管理员对用户主机有绝对的控制权。即使蜜罐被攻陷，由于预先设置权限，所以对系统自身没有任何影响。

(3)数据捕获与分析

采用分布式全流量系统进行采集与分布式云存储中心进行分析。

2.3.3.基于CDN网络出口的分布式全流量检测取证系统

图 4 分布式全流量网络监测取证系统

对网络原始流量数据进行完整记录，并进行鉴别与统计，使海量的网络流量数据清晰可视，同时建立完整的流量索引和网络元数据信息，为后续异常数据挖掘和分析取证提供前提和基础。

(1)恶意程序全流量分析检测模块

系统底层集成了多款主流恶意代码、病毒族谱、木马特征库。主

要包括受控地址、外联地址、名称等基础信息，本模块支持特征码自定义功能，方便用户自行录入。

(2)泄密文件全流量回放模块

监视恶意代码窃取数据的整个工作流程，还原恶意代码外传的所有文件数据包，包括文件的传输的源和目的地址。

(3)DNS全流量检测分析模块

检测所控范围内的所有DNS数据包并进行深度分析，发现异常DNS解析行为，详细记录DNS数据的七源组基本信息。

(4)HTTP全流量检测分析模块

检测所控范围内的所有HTTP数据包，详细记录HTTP数据的七源组基础信息，包括获取GET/POST包中COOKIE、URL、HOST、REFER等信息。

(5)恶意文件全流量检测模块

该系统负责接收上级系统上传的工具和恶意程序，进行自动哦的那个动态检测与静态检测，进行注册表行为、进程行为、文件操作、网络连接等分析，自动生成检测规则并提交到管理中心。

(6)自定义特征码全流量巡检模块

用户可以自行添加特征码。特征码采用明文写入，MD5加密存储方式。

(7)异常文件文件传输还原模块

自动还原通过各类协议方式上传下载的各类文件，支持白名单过滤功能，支持PASV、PORT、HTTP等模式。

(8)异常流量分析模块

自动调用系统集成各类证书集，支持用户自定义证书导入，支持串接模块部署，支持各种链路链路，隐身链路的识别取证，支持加密会话识别，支持HTTPS协议非标准端口识别，支持加密数据端口转发识别。

(9)邮件服务器全流量分析模块

检测分析邮件服务器的注入、渗透、DDOS攻击行为，分析日志

中的异常登录情况、检测分析邮件服务器存在的代收和异常转发情况，以及检测分析邮箱帐号存在的弱口令隐患、钓鱼及跨站邮件等安全漏洞。

(10)DNS服务器全流量分析模块

检测分析DNS服务器的注入、渗透、DDOS攻击行为，服务器中

日志中的异常外联情况、以及发现服务器中隐藏的后门程序等安全漏洞。

(11)网络设备服务器全流量分析模块

检测分析网络设备的劫持、重定向、替换下载等行为，检测分析网络设备日志的异常外联情况，检测分析网络设备被隐蔽激活的端口和服务，检测网络设备自身嵌入式操作系统漏洞溢出状态。

(12)时间段连接流量分析模块

通过业务模型将关注范围内24小时内的所有的时间信息对应的

协议、端口、对象进行自动化拓扑和归集。能够对异常的时间流量进行深入分析的数据挖掘系统。它以高效的分析能力取代人工手动分析，

让分析人员对异常时间段的网络连接情况进行汇总，对应能力有一个质的提升，使其对海量数据异常时间流量的分析成为现实。

(13)WEB攻击识别子系统

检测与取证针对蜜罐系统的WEB攻击，检测与识别针对WEB攻击的类型、利用的漏洞、扫描的方式、植入的后门程序等等，包括记录攻击源头的五元组信息。通过全包方式对所有的攻击动作和植入代码进行全包取证，为下一步的分析提供依据。

2.3.4.分布式云存储中心

(1)数据预处理系统

数据预处理系统需要定制开发，以处理从网络采集采集回来的数据，以及从第三方处导入的数据，对这些数据进行预处理，提取摘要信息，并存储原始包数据。

由于系统面临的是海量数据，需要通过优先级调度，将用户更关心的数据或最重要的数据优先处理，优先级分为节点优先级、类型优先级和时间优先级。

采集的数据和第三方导入的数据来源多样，预处理需要对这些数据进行解析，识别有效数据，对冗余数据、错误数据进行清洗。

系统采用了基于Bayes分类算法的模型对海量的数据进行归类，利用文本数据向量化、向量空间将维等方法得出分类结果，为数据挖掘提供高质量的数据基础。

存储原始数据的同时，还要对原始数据进行摘要提取，以便管理系统方便后续对各数据进行浏览和查看。

(2)分布式计算系统

每天产生的互联网数据和Web访问的数据量非常巨大，单机无法支撑如此海量数据的计算，需要采用新的架构实现数据的及时分析。全流量分布式计算系统把一个非常大的计算分解成许多小的部分，然后把这些部分分配给许多计算机进行处理，从而解决这个问题。

采用基于elasticsearch+spark分布式模式进行存储与数据挖掘。建立一套基于Lucene的搜索服务器。提供了分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch将采用Java 进行定制与开发，并为下一步的第三方集成提供开放式平台。分布式存储中心设计将采用私有云计算模式，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

(3)海量数据解析引擎系统

海量数据解析引擎系统属于新开发系统，提供对原始网络数据包的分布式解析能力。

由于网络原始包文件一般是以Pcap为后缀、以网络二进制的格式存储，现有的Mapreduce还没有提供成熟的Pcap文件的解析接口。为此，结合Mapreduce现有的技术，实现开发自有独特的Pcap文件处理方法和解析引擎。

海量数据解析引擎系统识别网络数据包类型，将同类型的数据归类加载，以提升加载速度，并按照分析所需要的不同的维度，对原始数据进行切分，从而可以并行的对Pcap文件实现分布式的解析，而不会造成切分块交接处数据的丢失，另外，系统还提供对解析结果的

验证。

海量数据解析引擎系统将采用SPARK纵向分析技术，前端设备采集的数据通过读包模式回放到ES系统，原始数据包将通过SPARK 方式将CAP原始包保留在ES平台中，整体框架图如下：

图 5sparl数据解析框架

Spark Streaming将构建在Spark上处理Stream数据的框架，基本的原理是将cap数据包在内存中分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming 构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+），支持用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。

(4)数据分析模型系统

针对存储的各种海量数据，需开发数据分析模型系统，采用各种统计和处理方法，进行攻击流量检测和异常数据挖掘。

数据分析模型系统全方位统计数据包中的数量流的内容，以最小

单位1s为基本单位，表示每1s中某个统计的结果，如IP会话:5645 1s 该条记录表示在这一秒中此IP会话出现的次数为5645次。

根据统计的内容挖掘异常信息，通过读取统计结果中记录的异常点，在后续读取的数据包中与出现的异常点进行对比最终形成一系列的异常时间点。例如心跳包：首先读取到某个TCP会话统计结果中发送数据包的个数处于某个范围且过一段间隔出现同样的类似情况则

记录第一次的异常点1，后续又出现类似情况记录异常点2，最终形成，1（某个时间点）2（某个时间点）3（某个时间点）1、2、3的

时间间隔坐落于某个范围。则此以系列点为异常图需要标记的异常点。

对于异常图形，直接将数据读取出来不做任何记录，并根据数据点绘制相应的曲线图，通过图形算法对图像进行处理（缩放，翻转等）最后与异常图形进行比较得到相似值，如果此值处于某个范围则说明该数据与该图异常相似，最后标记出相似位置。

用户将输入一系列的条件、表达式来从数据库中抽取数据，根据他所填写的异常分析项由程序动态从数据中发现异常信息，最终用图形展示给用户并以显眼的颜色在图样中标识异常结果。

(5)核心管理中心系统

核心管理系统对业务进行综合管理，需新开发以实现用户管理、角色管理、配置管理、审计管理、第三方数据管理等功能。

用户管理功能包括用户信息的增、删、改功能，以及用户密码和安全信息管理功能，还实现用户和用户组权限的设立和分配功能。

角色包括如下角色：系统管理员：账号管理、权限、授权等管理；

高级业务员：能够将自身的业务权限分配给下层业务员；一般业务员：查看、挖掘、搜索、标注信息；审计员：审计业务日志。

配置管理对各个设备的配置文件、规则文件进行统一的集中管理；对各套软件的升级和插件的升级进行统一的集中管理。

审计管理实现对平台操作和业务流程的审计。对重要的操作和业务流程，比如管理员对配置的处理，业务员对数据的访问和业务的操作的审计。也包括对操作日志进行安全审计，如系统登录、用户添加删除、权限调整、网络访问等。审计管理实现日志汇总，实时报警和事后审计核查。

第三方数据管理包括对第三方数据的导入、查看、搜索、标注、删除等操作，也可以将第三方数据导出，进行长期的保存。

(6)可视化展示系统

展示系统以可视化的方式展示实时安全态势与历史安全态势。包括实时态势展示、攻击预测、专项态势展示、历史态势展示、信息展示。

数据报警中心可以提供更为清晰直观的数据感官，将错综复杂的数据和数据之间的关系，通过图片、映射关系或表格，以简单、友好、易用的图形化、智能化的形式展现给用户供其分析使用，可通过数据访问接口或商业智能门户实现，通过直观的办式表达出来。可视化与可视分析通过交互可视界面来进行分析、推理和决策；从海量、动态、不确定甚至相互冲突的数据中整合信息，狭取对复杂情景的更深层的理解；可供人们检验已有预测，探索未知信息，同时提供快速、