日志综合分析与管理解决方案V1.1

泰合中心

日志综合分析与管理系统

解决方案

北京启明星辰信息技术股份有限公司

Beijing Venus Information Tech. Inc.

2008年10月

1 文档管理 (1)

1.1 文档信息 (1)

1.2 分发控制 (1)

1.3 版本控制 (1)

2 日志管理现状及面临的挑战 (2)

2.1 日志管理现状 (2)

2.2 面临的挑战 (2)

3 日志分析与管理的需求 (3)

4 方案设计 (3)

4.1 设计原则 (3)

4.2 体系结构 (4)

4.3 系统概述 (4)

4.4 方案实现功能 (5)

4.4.1 日志数据源 (6)

4.4.2 日志集中采集 (7)

4.4.3 日志存储 (10)

4.4.4 告警监控 (11)

4.4.5 基于日志的审计 (11)

4.5 方案功能特色 (12)

4.5.1 支持海量数据存储 (12)

4.5.2 多样化的报表 (12)

4.5.3 丰富的分析功能 (13)

4.5.4 支持通用日志采集 (13)

4.5.5 灵活扩充新设备 (13)

4.5.6 日志日常维护 (13)

4.5.7 资产管理................................................................ 错误！未定义书签。

4.5.8 用户管理 (13)

4.5.9 系统管理 (14)

5 实施与部署 (14)

6 方案成效 (14)

1文档管理1.1文档信息

1.2分发控制

1.3版本控制

2日志管理现状及面临的挑战

2.1日志管理现状

目前大多数企业，特别是大型企业、机构对于异构、海量日志数据没有很好的管理办法，结果往往是：

日志采集效率低

不能完全捕获，数据格式不统一，缺少标准化的技术手段。

人员要求高

系统管理人员面对浩如烟海的日志信息，首先面临的一个问题是如此浩大的工作量是人工所无法完成的，另外，要求系统管理人员能够理解日志信息的内涵，对管理人员的要求很高。

各自为战，缺乏关联性

不同的系统管理员分管不同的信息系统，难免出现各自为政的局面，但是事故发生前的一系列事件之间却存在紧密的联系，二者之间的矛盾导致事故难于处理。

人力投入高，处理效果差

海量日志数据需要系统管理人员手工维护和管理，导致分析时间长，关键时刻很难发现问题。

2.2面临的挑战

大型企业的网络规模庞大、系统复杂，其中包含各种网络设备、服务器、工作站、业务系统等。同时安全领域也逐步发展成复杂和多样的子领域，例如访问控制、入侵检测、身份认证等等。这些安全子系统通常在各个业务系统中独立建立，随着大规模安全设施的部署，管理成本不断飞速上升，同时对这些安全基础设施产品和它们产生的日志信息的管理成为日益突出的问题。

海量日志信息

企业中存在的各种IT设备提供大量的安全信息，特别是安全系统，例如入侵检

测系统、防火墙和漏洞扫描系统等。这些数量庞大的信息使得管理员疲于应付，容易忽略一些重要但是数量较少的告警。海量日志信息是现代企业安全管理和审计面临的主要挑战之一。

孤立的安全信息

相对独立的IT设备产生了相对孤立的日志信息。企业缺乏智能的关联分析方法，分析多个日志信息之间的联系，揭示安全信息的本质。例如什么样的安全事件是真正的安全事件，它是否真正影响到业务系统的运行等。

缺少标准的数据格式

另一个日志管理的障碍是计算机、防火墙、路由器、交换机，服务器和其他设备都有它们自己记录事件的格式，甚至同一厂家的不同服务器也会不同。Windows服务器有庞大的用户群，它就提供了几种不同格式的日志数据。

3日志分析与管理的需求

通过对日志分析与管理（以下简称“系统”）的现状和面临的挑战，不难得到日志分析管理的需求：

海量日志数据的集中管理。

日志管理格式标准化。

事前预警、事中监控和事后分析。

制订统一的日志行业标准。

对日志进行生命周期管理。

符合政策、法规的规范性要求。

4方案设计

4.1设计原则

为保证系统的有效运行，应遵循以下原则进行系统设计：

开放性。日志分析与管理系统应参考各种相关的国际标准和安全标准。

可扩展性。日志分析与管理系统设计时具备良好的扩展性，方便以后可以以之为基础增加其它系统功能。

安全性。日志分析与管理系统涉及客户的敏感信息，在设计时充分考虑了所分析和管理数据的保密性、可用性、完整性的要求。

4.2体系结构

图1体系结构图

4.3系统概述

系统通过监测及采集信息系统中的系统安全事件、用户访问行为、系统运行日志、

系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，同时保留原始的日志信息和日志格式，以便事后分析取证用，结合丰富的日志分析综合显示功能，实现对信息系统整体安全状况的全面管理。

系统专注于对局域网、广域网和互联网上各类系统、应用和设备的安全事件、用户行为、系统状态的实时采集、实时分析、异常报警、集中存储和进行事中监控、事后分析，同时也是支持分布式、跨平台的统一的日志综合分析与管理系统，可以对各类网络设备、安全设备、操作系统、WEB服务、中间件、数据库和其它应用进行全面的基于日志的安全审计。

4.4方案实现功能

方案实现的功能用一句话总结就是，实现了日志的生命周期管理。

日志分析与管理系统实现了从原始日志（Raw Log）产生、到原始日志的采集（日志采集中心）、到日志综合分析处理和存储（综合分析与统一存储），以及最后的基于日志的管理与审计（综合显示中心）的整个生命周期管理。日志信息及其处理、统计的结果可以以图形、折线等丰富的表现形式进行展现。为了方便管理人员的集中管理，系统提供自管理模块，可以方便地管理用户、被管理的设备和权限以及自身健康状态监控等。

图2日志生命周期

4.4.1日志数据源

系统采集的数据来源于网络系统中已经部署的已有的网络安全系统、主机系统和网络系统。如，防火墙/UTM、入侵检测系统、防病毒系统、网络审计系统、漏洞扫描系统、网络交换机、路由器、主机/服务器、数据库和应用服务器等。上述日志数据源具有不同的日志格式，如下图所示：

图3日志数据源格式

4.4.2日志集中采集

系统通过多种采集方式实现对不同类型数据源的采集，支持的数据采集方式包括：

1、Syslog方式，支持SYSLOG协议的设备，如：防火墙、UNIX服务器等；

2、ODBC/JDBC方式，支持数据库联接的设备，如：启明星辰天镜漏洞扫描；

3、SNMP Trap方式，支持SNMP协议的设备，如：交换机、路由器、启明星辰天阗入侵检测等；

4、XML方式，支持HTTP协议的设备，如：Nessus漏洞扫描系统；

5、EventLog方式，支持Windows平台；

6、特定接口方式，对于不支持通用协议的设备，需要定制开发，如：某网闸隔离系统。

7、VIP（V enus Interface Protocol）方式，如启明星辰公司的天阗入侵检测系统。

日志收集之后进行范式化以统一日志格式。

4.4.2.1. 网络设备的信息采集

系统目前通过使用Syslog协议采集CISCO、华为等主流网络交换机、路由器的日志信息，同时能够通过SNMP协议采集上述网络设备的状态信息。通过同样方式可快速提供对用户现有的3Com、北电网络设备的支持。

在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog服务代理，在被审计网络设备上指定Syslog服务代理的位置，即可对网络设备的日志信息进行采集。

4.4.2.2. 安全设备的信息采集

系统能通过采用Syslog、SNMP Trap等协议采集主流安全设备的安全日志和安全事件报警信息，并能通过与第三方厂商的沟通与合作支持更多的安全设备。目前能够支持的安全设备种类包括防火墙、入侵检测、漏洞扫描、防病毒、网络审计、主机监控与审计等。

在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog/SNMP服务代理，在被审计安全设备上指定Syslog服务代理的位置，或在被审计安全设备上设置SNMP Trap并指定SNMP服务代理的位置，即可对安全设备的日志信息进行采集。

部分安全系统的日志是以数据库或文件形式保存在本地管理服务器上的，对于这些安全系统，我们将采用数据库ODBC/JDBC方式、文件读取方式来采集其日志信息，此时需要请用户协调相关安全系统厂商给以支持。

4.4.2.3. 操作系统的日志采集

系统通过使用NT Eventlog （即在Windows 计算机上安装通用代理，在通用代理上指定接受Windows日志的Syslog服务代理的IP地址）或采用WMI（直接在Windows 计算机指定接受Windows日志的Syslog服务代理的IP地址，而不必安装通用代理）来采集Windows系列操作系统的日志信息，通过使用Syslog协议采集SUN Solaris、IBM AIX、Linux等操作系统的日志信息，能够全面记录系统特权命令的使用，包括：

修改系统文件和文件属性

试图猜测口令

登录成功、失败

关键应用系统文件的改变

增加和改变用户属性

系统启动和关闭

用户操作时的用户识别符

登录时间（包括系统用户最后一次登录）、注销时间

事件发生的日期和时间

事件内容或操作结果

通过与本地网络中的LDAP目录服务相关联，能够把日志中的用户帐号信息与LDAP目录服务中的用户名相对应，便于日后的责任认定。

4.4.2.4. 数据库日志采集

系统通过采用专用代理+Syslog的方式采集Oracle、MS SQL Server、DB2、Informix、Sybase等主流数据库的操作及数据库自身日志；包括：

用户登录

数据查询

数据修改

数据删除

修改配置

对特定的表的操作

超级管理员对数据库的连接

数据库启动和停止

同时能通过与专用数据库系统的开发机构进行沟通与合作支持用户特有的数据库系统

4.4.2.

5. 应用系统日志采集

系统通过采用专用代理+Syslog或SNMP方式采集以下应用系统的日志信息。

Microsoft IIS 5.0/6.0

Microsoft FTP

BEA WebLogic（SNMP）

Microsoft SQL Server

Oracle Oracle数据库

IBM Domino

同时能通过与应用系统的开发厂商和机构进行沟通与合作对用户正在使用的其他应用系统提供定制开发支持，包括：

网络管理系统：OPEN VIEW、CISCO WORKS等；

备份系统：HP、IBM、EMC、VERITAS等公司的产品；

应用系统：AVIDM、OA、人力资源系统、质量管理系统、物流供应链系统、门户系统和综合业务平台等（包括将来新增的其他应用系统）。

存储系统：SAN、NAS等

4.4.3日志存储

系统将收集来的数据统一存储和归档，选用企业级数据库Oracle、sqlserver作为支撑，支持海量数据存储，同时也支持磁盘柜、NAS和SAN等多种存储方式，便于扩充和统一查询检索。

4.4.4告警监控

事件监控负责实时监控网络的安全事件状态，是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控网络各个网络设备、主机系统等日志信息，以及安全产品的安全事件日志信息等，及时发现已经发生和正在发生的安全事件，通过响应管理模块采取措施，保证网络和业务系统的安全、可靠运行，实时将其结果输入综合分析决策支持与预警平台。

1、提供直观的安全事件趋势分析

2、详细安全事件实时监控

4.4.5基于日志的审计

基于日志的审计主要体现在：

1、日志的综合查询检索。支持关键字、基于时间、源地址、目的地址、源端口、目的端口、设备类型等多个条件的组合查询，便于快速产生所需的结果。

2、灵活多样的日志报表。包括实时的在线报表和非实时的离线报表；可以按照操作人员的角色分别生成报表；可以按照所管理的设备生成报表；可以生成有关审计事件严重程度等相关的TOP10报表；报表输出格式可以转换为PDF、pdf、html等多种常用的标准格式；支持报表内容的客户化定制，使用户可以通过管理界面对报告内容或格式进行定制，上述报表均可以以图形化方式输出显示或者打印。

4.5方案功能特色

4.5.1支持海量数据存储

支持大数据量的存储；

可以对要收集的日志数据指定过滤条件，从而可以丢弃不需要的数据，而将注意力集中到所关心的日志上，一方面可以降低网络流量，另一方面也可以

减小对日志数据库的存储压力；

可以根据需要设置存储策略；

对于标准的数据格式，如Windows平台下支持EventLog、微软的IIS/FTP/NNTP/SMTP日志、Unix平台下支持操作系统登录日志、各个用户的

Shell操作命令日志、Apache日志、Syslog日志、网络设备所发出的SNMP Trap

日志等，应能存储其原始格式支持多类型设备

它可以对安全产品、网络产品、应用系统、操作系统等产品和系统的日志信息统一进行收集、范式化并集中存储。

4.5.2多样化的报表

日志统一管理系统提供多种内置的报表，管理人员可以根据需要灵活地定义各种特定的报表。

包括在线和离线报表、根据不同角色生成不同的报表、客户化定制报表等，包括支持PDF、Excel、Word等格式。

4.5.3丰富的分析功能

日志分析管理系统对采集到的日志数据，可以根据日志处理策略的定义进行自动处理。

系统提供规则关联、统计关联等分析方法，通过建立科学的分析模型，对日志的分析深度与事件的识别准确度得到进一步的提升。

4.5.4支持通用日志采集

SYSLOG和SNMP协议是大多数设备支持的数据传输协议，该系统支持接收所有符合SYSLOG和SNMP协议标准的日志信息，并采用特定算法进行范式化化和存储分析。

同时支持XML、ODBC/JDBC、VIP以及通用代理多种日志采集方式。

4.5.5灵活扩充新设备

该系统通过Universal Agent的机制，可以通过配置文件的更改而适应新设备的支持，具有方便易用的新设备的扩充功能。

4.5.6日志日常维护

系统具有丰富的日志维护功能，如导出、自动、手动等。

4.5.7用户管理

提供用户集中管理的功能，对用户可以访问的资源权限进行细致的划分，具备安全可靠的分级及分类用户管理功能，要求支持用户的身份认证、授权、用户口令修改等功能；支持不同的操作员具有不同的数据访问权限和功能操作权限。

系统管理员应能对各操作员的权限进行配置和管理，要有完整的安全控制手段,对用户和系统管理员的权限进行分级管理, 相应的账号和口令加密存放，充分保证用户信息的安全性。对系统操作员的密码有安全保障机制。用户的账号等数据以数据库的形式进行加密存储及管理；对用户数据的管理保证其完整性和一致性,在系统出错

的情况下,对用户数据要有有效的保护措施。

4.5.8系统管理

日志统一管理系统提供丰富的系统管理功能，如自身安全、人员权限等。

5实施与部署

日志采集服务器

网络类

图4部署示意图

6方案成效

提高网络安全性

日志数据可以提供早期的混合型病毒和蠕虫攻击的行为特征，能确定网络攻击源，能对恶意代码入侵提供信息线索，从而实施预防或快速补救措施。

提供可靠的网络信息审计

日志能够记录用户使用计算机网络系统所访问的所有资源和访问的过程，通过它管理员可以判断终端用户是否访问了非法网站；是否传送了保密文件；是否过度占用了网络资源。管理员是否有越权行为；是否有误操作。

简化为适应行业法规和监管要求所需工作，大大降低运营成本

今天，越来越多的行业法规对日志保存和使用提出了更高要求。国际标准化组织建议保存两份日志拷贝，一份用于每日监控，另一份用于长期保存。也建议保存一个完整的，不可篡改的日志拷贝，最大要求封存日志达七年之久。目前日志数据必须手工采集，耗时和高成本。使用日志分析与管理系统可以比较好的解决这些问题，降低运营成本。

通过对日志数据的分析，可以为企业管理者提供IT决策和风险管理支持。

利于开展内部审计工作，有助于建立企业的责任认定体系。