任子行网络安全管理系统V3.5产品白皮书
任天行网络安全管理系统
产品白皮书
任子行网络技术股份有限公司
2011年5月
版权声明
任天行网络安全管理系统由任子行网络技术股份有限公司(以下简称“任子行公司”)独立研制开发并发行，任子行公司对本程序、包装、使用手册等产品及其内容拥有版权等知识产权，受版权法和国际条约的保护。未经任子行公司的正式许可，任何单位及个人不得以任何方式或理由对上述产品、信息、材料的任何部分进行使用、复制、修改、抄录、传播或与其它产品捆绑使用或销售，否则将受到相应的刑事及民事制裁，并将在法律许可的范围内受到最大程度的起诉。
信息更新
本文档仅用于为相关用户提供信息，并且随时可由任子行公司更改或撤回。
免责条款
根据适用法律的许可范围，任子行公司按“原样”提供本文档而不承担任何形式的担保，包括（但不限于）任何隐含的适销性、特殊目的适用性或无侵害性。在任何情况下，任子行公司都不会对最终用户或任何第三方因使用本文档造成的任何直接或间接损失或损坏负责，即使任子行公司明确得知这些损失或损坏，这些损坏包括（但不限于）利润损失、业务中断、信誉或数据丢失。对于本文档的内容，任子行公司拥有最终的解释权。
商标信息
商标为任子行公司或产品的注册商标，受法律保护，侵权必究。未经本公司或商标权人书面许可，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售。
信息反馈
如果您有任何宝贵意见或建议，可按照以下联系方式之一进行反馈：
任子行网络技术股份有限公司总部：
联系地址：深圳市高新区科技中二路软件园2栋6楼邮政编码：518057
联系电话：(0755)-
传真：(0755)-
任子行网络技术股份有限公司北京分公司：
联系地址：北京市海淀区北四环中路283号智凯大厦7层邮政编码：100083
联系电话：0
传真：(010)-
全国统一服务电话：18
您也可以访问任子行公司网站：获得最新技术和产品信息
目录
1应用背景 .......................................................................................... 错误!未定义书签。2产品概述 .......................................................................................... 错误!未定义书签。3核心价值 .......................................................................................... 错误!未定义书签。4产品特点 .......................................................................................... 错误!未定义书签。
识别上网应用 .................................................................................. 错误!未定义书签。
创新技术手段 .................................................................................. 错误!未定义书签。
有效管理网络 .................................................................................. 错误!未定义书签。
多层面自身安全防护 ...................................................................... 错误!未定义书签。
多种灵活部署方案 .......................................................................... 错误!未定义书签。
直观丰富的分析报表 ...................................................................... 错误!未定义书签。5关键技术 .......................................................................................... 错误!未定义书签。
定制操作系统 .................................................................................. 错误!未定义书签。
专用网络设备驱动 .......................................................................... 错误!未定义书签。
捕包引擎 .......................................................................................... 错误!未定义书签。
过滤引擎 .......................................................................................... 错误!未定义书签。
内容匹配引擎 .................................................................................. 错误!未定义书签。
并行协议栈 ...................................................................................... 错误!未定义书签。
协议分析 .......................................................................................... 错误!未定义书签。
网页访问控制 .................................................................................. 错误!未定义书签。
海量数据全文检索 .......................................................................... 错误!未定义书签。
HTTP POST识别 ............................................................................... 错误!未定义书签。
真正的64位系统 ............................................................................ 错误!未定义书签。
IPV6的支持...................................................................................... 错误!未定义书签。
基于FPGA的专用网卡 ................................................................... 错误!未定义书签。6功能介绍 .......................................................................................... 错误!未定义书签。
网络行为审计 .................................................................................. 错误!未定义书签。
网络内容审计 .................................................................................. 错误!未定义书签。
网络行为控制 .................................................................................. 错误!未定义书签。
上网用户管理 .................................................................................. 错误!未定义书签。
网络流量分析 .................................................................................. 错误!未定义书签。
统计报表分析 .................................................................................. 错误!未定义书签。
系统管理与配置 .............................................................................. 错误!未定义书签。7典型部署 .......................................................................................... 错误!未定义书签。
单台旁路铜纤镜像 .......................................................................... 错误!未定义书签。
单台透明网桥 .................................................................................. 错误!未定义书签。
单台旁路光纤镜像 .......................................................................... 错误!未定义书签。
光纤网络单链路分光 ...................................................................... 错误!未定义书签。
光纤网络双链路分光 ...................................................................... 错误!未定义书签。
多点分布式 ...................................................................................... 错误!未定义书签。8型号规格 .......................................................................................... 错误!未定义书签。9资质荣誉 .......................................................................................... 错误!未定义书签。10关于任子行....................................................................................... 错误!未定义书签。
1应用背景
近年来，随着我国宽带网络技术的不断发展以及网络基础设施的完善，Internet在国内的应用越来越广。政府机关、企事业单位、大专院校等各种组织机构都进行了信息化建设，利用互联网或虚拟专用网来进行协同管理，信息发布，借以降低成本，提高生产力。然而，信息系统的快速发展和网络安全管理问题的日益凸现，使二者成为一对如影随形的同步矛盾体，并行地呈现在网络管理人员的面前。
除了常见的上网人员利用工作时间娱乐、购物、聊天、进行P2P下载、在线游戏等无序上网行为外，由于网络访问的方便性与匿名性，加之电子信息复制的快捷简易，部分用户通过网络有意或无意地泄露了重要的机密信息并且往往难于得到追查和取证。这些行为导致管理机构投资加大、风险提升、企业文化扭曲，而整体工作效率下降和企业信息管理混乱。因此，网络技术的广泛应用，尤其是不加监管的网络应用逐渐成为这些组织的效率杀手，甚至给这些组织带来一些不必要的麻烦。具体表现有以下几种：
上班时间浏览与工作无关信息
有关统计资料显示，企业员工平均每天有三分之一的上班时间是在网上浏览与工作无关信息；在员工从外部网络下载各种信息中，只有25％的下载信息与其所从事的工作有关。企业缺乏有效的上网管理手段，将会导致企业的工作效率下降，这是与企业上网的初衷相违背的。
给企业带来法律纠纷
跟据国家相关法律的规定，在外部网络上发布淫秽信息与及迷信、反动、分裂等言论均为违法行为，有些企业员工滥用公司网络进行了上述行为，将把企业拖进复杂的、难以脱身的法律纠纷当中。
网络带宽的滥用阻碍了正常业务使用
在一些上网用户比较多的企业中，有些用户不停地下载大容量的文件或者在线听音乐、看视频电影，这些行为都会严重占用网络带宽，造成网络堵塞，上网速度下降，影响其他员工的正常上网行为，使重要的网络业务无法得到有效的保障。
通过网络使企业的机密信息外泄
由于对外网访问的方便性与匿名性，加上电子信息复制的快捷简易，使得企业内部用户通过外部网络有意，或无意地泄露企业的机密信息非常方便并且难于追查和取证。这对企业参与公平的竞争威胁巨大。
互联网的滥用带来安全隐患
互联网中存在大量的恶意站点，黑客、木马工具，病毒程序等，不加限制地访问这些站点、使用这些工具，会给企业带来安全隐患，影响企业网络的正常使用。
如何对网络的使用进行规范，提高网络使用效率，同时避免互联网、虚拟专用网使用过程中的负面影响，关系到各机构的整体竞争力，是各机构在信息化建设过程中非常关键的一环。为了有效解决上述问题，部署专业的上网行为管理和审计产品势在必行。此类设备的安装和使用，能够帮助管理者针对上网人员、协议/应用、内容、流量、时间等几个关键维度进行灵活的审计和控制，对用户的网络应用信息进行跟踪式的记录和分析，从而及时发现网络应用中存在的问题，使其有方向性、有针对性地实施进一步有效的整合和管理。
任天行网络安全管理系统是任子行网络技术股份有限公司为各行业机构高效解决网络信息安全管理难题而研发的核心产品之一，提供了信息安全管理的全面解决方案。产品通过各种业界领先的技术手段实现上网行为管理和合规细粒度审计，在加强上网机构内外部网络信息控制监管的同时，为避免相关信息外泄及事后的追溯取证提供了有效的技术支撑。产品能够详实记录网络内的各种网络活动；灵活地对网络用户的行为进行多种方式的分组策略控制与审计，实现基于用户的细化和量化的审计与管理，过滤各类不良访问行为；对日志进行深度挖掘，形成丰富多样化的统计报表；安装便捷快速；界面美观易用；主动有效的保护了用户关注的信息，使管理者能更有针对性地加强网络管理，为其规范网络管理、制定正确的管理决策提供有效依据，使用户能够安全、高效、合规地利用网络，最终带来生产力的提升。
该产品是基于硬件的高性能、高稳定性的上网行为管理和内容安全审计设备，一般安装于各种局域网络边缘出口线路上，可以根据实际情况选择以旁路监听或者透明网桥的方式工作，可以根据实际环境的规模选择单机、分布式及其他多种部署方式。产品在设计上采用了先进的模块化、层次化体系结构，集成了高性能数据捕获驱动、快速的并行协议分析引擎、实时内容分析引擎、基于状态的并行内容匹配技术、海量数据全文检索和数据挖掘等业界领先的自主核心技术，运行稳定、可靠，性能卓越。
该产品可广泛应用于政府、军工、教育、医疗、能源、制造、金融、运营商等各种行业单位，是目前国内上网行为管理及内容安全审计产品的首选。产品经过国内权威专家检测，多项指标处于国际先进水平。产品先后获得了公安部公共网络安全监察局签发的计算机信息系统安全专用产品销售许可证、中国人民解放军信息安全测评认证中心签发的军用信息安全产品认证证书、国家保密局涉密信息系统安全保密测评中心签发的涉密信息系统产品检测证书、中国信息安全认证中心签发的中国国家信息安全产品认证证书（3C认证）等多个国内权威检测机构颁发的认证证书。
3核心价值
贯彻落实互联网管理法规
通过对任天行产品的部署应用，无论大到国家法规（如“公安部82号令”），还是小到单位自身的网络使用规定，都能够切实落实真正的“合规”管理。
有效提升生产力
基于用户的细化、量化的合理互联网行为控管，能够有效管理网络流量、提升内网可用性，达到有效地规范工作学习中对于互联网的使用，消除上网人员的惰性、侥幸心理，疏导结合，有效提升生产力，使单位网络资源得到最高效的利用，保障重要业务的优先正常运行，使基础设施投资回报最大化并降低管理成本等诸多目的。
规避风险与法律纠纷
通过阻止对各类不良信息的访问和传播，可有效规避由此带来的法律诉讼风险和纠纷；
通过对BBS、Email、WebMail、IM即时通讯等形式的信息外发活动进行监管，并可实现追本溯源，有效防止信息外泄带来的利益风险。
4.1识别上网应用
行为识别
面对互联网高速发展而产生的各种不断更新的版本、全新的乃至加密的应用，任天行产品研发团队一直专注跟踪随时出现的各种网络流行应用，并不断在升级过程中实现协议和应用分析的更新。产品在庞大的URL分类数据库和应用识别能力基础之上提供了全面的行为和内容安全审计功能。
内容识别
在对关键字的内容审计功能上，任天行系列产品采用基于状态机的多模匹配算法，极大地提高了匹配效率和关键字识别的准确性，为可靠的内容关键字审计功能提供了业界领先的技术保障。其中基于多编码的智能关键字匹配技术，更是独家率先解决了对国内部分地区特有语种（如维文、藏文等）的关键字匹配和内容审计问题。
对象识别
?将上网人员与上网机器形成明确的对应关系，认清用户是谁，使用何种具体应用，采用独创的信息实名技术手段，对其实施准确、清晰的管理。
?任天行系列产品支持包括IP+MAC地址绑定认证、本地Web认证、AD域认证、LDAP 认证、USB KEY身份认证、刷卡认证、三层交换环境MAC探测和白名单免监控管
理等多种对象识别技术，可以实现对组织机构内部数量庞大的用户身份精准识别。
4.2创新技术手段
先进的系统体系结构
系统设计上采用了先进的模块化、层次化体系结构，基于面向对象的思想和插件化的并行协议栈，具有高度灵活扩展性，充分体现了资源的共享，提高了运行效率和稳定性。
高效的捕包引擎技术
使用Intel高性能网卡、独创零拷贝技术驱动、DMA直接内存存取技术，使得系统在高负载下捕包分析的不稳定性与不安全性减至最小，而性能和可靠性却得到了极大提升，处理效率比传统捕包引擎提高1倍以上。
高性能海量数据检索
独有的高性能海量数据检索引擎，在浩如烟海的审计数据查询与分析中表现出卓越的性能。
核心技术领航安全
任天行多项技术突破了内容信息安全领域的难点和重点，填补了国内空白，具有独立的知识产权。作为国内信息安全领域的先行者，产品通过公安部检测中心、中国人民解放军信息安全认证测评中心及国家保密局评测中心的检测与认证,是国内网安市场的优秀推荐品牌。
4.3有效管理网络
全面的上网行为管理
?针对网络应用管理混乱所造成的不良影响，任天行产品提供了一系列贴近用户的4W1H五维智能化网络行为控管功能。
?产品支持包括对网页/各种在线娱乐软件/P2P下载工具/在线视音频/流媒体/炒股软件/各种文件传输工具/IM即时聊天软件/Telnet等多种方式的信息收发内容记录、关键字过滤、文件传档管控、报警。
深度细粒审计管理
?产品能够全面详实地记录网络内流经监听出口的各种网络行为，支持关于上网行为、内容、时间、用户等多种条件组合的信息审计策略和日志分析，全面监测各种
网络行为，进行深度细粒审计。
?内容审计既能进行无条件记录，又能通过策略指定访问者（IP地址/帐号/分组）、时间范围、内容关键字等有针对条件的记录管理用户需要的访问内容。
?不管是行为审计还是内容审计，都具备高度的灵活性、专业性和准确性，能够为管理机构进行事后追查、取证分析提供有力技术支撑。
本地网络管理/异域分布统一管理
任天行系统除了能够有效的管理本地网络外，也可以选择与任天行网络安全管理中心配合使用，实现异域分布统一管理，分散控制各地网络，达到DCS式的管控效果；
总部可以统一配发策略，实现网络行为的多点集中控管和数据横向对比分析，从而形成集团全面网络状况报表。通过设定特殊网络策略，可自动获取相关日志或远程主动调取更详细日志，让管理者一目了然，省力省心。
4.4多层面自身安全防护
系统级安全防护
在对操作系统内核进行充分剖析的基础上，在操作系统级对系统各支撑引擎进行了修改和全面优化定制，全面防止攻击与劫持，提升系统整体性能的同时保障自身系统级安全。
操作级安全防护
多权分离，针对各种不同性质的功能模块可灵活配置权限级别，并提供更强安全性的USBKEY自定义敏感权限控制，最大保障自身操作级安全。
数据级安全防护
采用自主的高效算法对关键审计数据的存储和传输进行加密防护，数据存储防篡改，数据传输防破解，多种加密防护措施保障自身数据级安全。
网络级安全防护
旁路部署保障对网络性能完全没有影响，保证网络无单点故障，优先保障用户网络级安全，是上网机构在内网和互联网安全监管和保密资格测评过程中最可信赖的安全工具。
4.5多种灵活部署方案
丰富的线路部署方式
基本的旁路部署，全面支持电口镜像与分路、光口的镜像与分光、电口桥接等多种线路部署方式，在复杂网络环境下的部署游刃有余，运用自如。
领先的多路并行捕包
业界领先的多路并行捕包技术，单台设备最多支持高达4路数据的并行捕获与分析，为在复杂环境下的灵活部署提供先进的技术保障。
扩展的多台分布部署
对于单台设备无法处理的超大流量环境，支持高扩展性的多台设备分布式部署方案，通过多台设备对超大的流量分而治之，又由统一的管理平台实现对整个网络的透明、统一的管理。
可选的附加功能模块
通过可拓展的附加功能模块，如桌面管理模块等与基本审计系统的结合部署，可轻松应对诸如终端设备控制、主机安全管理与准入控制等增强型需求，为用户提供灵活而全面的整体信息安全解决方案。
4.6直观丰富的分析报表
支持合规细粒度审计
系统提供符合公安部82号令、SOX法案、企业内控管理规范等多种合规审计报告，提供强大、多样化、面向用户需求的统计分析报表。
全面准确的统计结果
报表汇集流量统计与日志统计分析数据，支持统计排名分析，全面呈现全局运行状况；
使管理者能够直观便捷的掌握网络使用情况，为其合理分配带宽资源，制定正确的管理决策提供有效依据。
多维清晰的分析形式
系统能够从上网对象、时间、分类、目标等多个维度对网络活动进行查询分析；并以柱状图，饼图，曲线图，折线图等形式来体现排名、结构、趋势等上网概况，使管理者对所掌握的数据有清晰直观的认识。
智能便捷的输出形式
系统拥有数十种报表模板，支持报表自定义；报表可以以EXCEL、PDF、WORD、HTML 等形式导出保存。根据不同管理层人员，可提供不同报表类型，报表能够通过系统后台自动发送或Email自动订阅。
5 关键技术
任天行是高性能的网络信息安全审计、控制与管理系统，在国内外处于领先水平。为了达到稳定、高效的网络审计管理，系统采用先进的层次化、模块化结构，在各个模块中分别采用了多种业界领先的关键技术。系统模块框架如图所示：
5.1 定制操作系统
Linux 操作系统是一个安全的，高效的操作系统。任天行中的操作系统经过内核裁减，只保留了少数相关的服务与功能，系统内核达到最小化，使操作系统的额外开销与不稳定因素减至最小化。另外，采用特有的文件系统，使系统能抵御突然掉电等物理灾害造成的对系统的损害。
5.2 专用网络设备驱动
网卡的性能对于网络安全审计系统非常重要，因为它直接关系到数据采集（捕包）的速度。任天行通过硬件，软件两种方法来提高网卡的性能：一、任天行采用基于INTEL 架构的网卡，速度快且稳定。二、开发专用的驱动程序，减少数据在网卡驱动不同模块间的传递环节，使数据通过DMA 的方式直接传递给应用程序空间，减少CPU 的参与，与及数据拷贝的次数，提高处理速度。
5.3 捕包引擎
对于基于旁路监听的网络安全设备来说，系统捕包的效率对整个系统的性能至关重要。如果系统产生丢包现象，则相应的网络访问将不会被审计监测，网络管理就会
不全面。当网络带宽向着千兆、万兆线速迈进时，完整地捕获并记录网络中流过的数据对系统是一个很大的考验。
传统上，Linux，FreeBSD等操作系统自带的TCPDUMP，ETHERREAL等捕包工具都是建立在Libpcap平台上。由于Libpcap是通过原始套接字得到指定网卡接收到的全部数据包，所以Libpcap的性能受到传统驱动程序的限制，例如在核心态进行多次内存操作，比如数据包校验，控制顺序等。这些操作会占用大量的CPU运算资源，内存资源，并且导致时延而效率不高。新的捕包引擎就是通过减少这一系列的中间环节而实现的一种高性能报文捕获平台。通过实现网络接口设备直接将数据报文以DMA方式存储到应用程序可以访问的地址空间，避免数据报文在内核态里传输时的内存操作，缩短数据报文行走路径；通过环策略管理数据报文缓冲区，实现网卡和应用程序无冲突访问共享资源。这两点有效地降低网络通信的延迟，极大地节省CPU开销。
通过性能分析比较标明，接收64Byte和1500Byte的报文时吞吐量分别达到90万pps（439Mbps）和万pps（938Mbps），与传统的报文传输机制相比，报文捕获能力有较为显著的提高。为了进一步比较Libpcap和零拷贝的性能，搭建测试环境如下：用Smartbits控制发包速率和数据包长，捕包机硬件配置CPU P4 * 2；内存4G；高速缓存512KB/CPU；网卡Intel（R）Pro/1000。测试结果如下表：
由上述分析可以看出，新捕包引擎无论对小报文还是大报文，其处理能力都得到极大的提高。
5.4过滤引擎
基于旁路监听的设备由于并非串接在网络中，所以在封堵许多网络应用时，不能如网关型串接设备一样，简单地判断出包的应用类型后把包丢弃即可，而是通过过滤引擎发送伪造数据包以打断（过滤）真实的通讯。在网络通信过程中，通讯双方都有各种的较验机制，对于任何不符合较验的伪造数据包，都会丢弃而不做处理，这要求发送的伪造数据包足够真实，达到乱真的效果，同时速度很快，远在真实的响应数据包返回前，即已欺骗成功，从而打断了原有的网络通讯。任天行准确分析各种应用协议，解包，组包都在几毫秒以内，能有效地封堵现流行的各种TCP网络应用。
5.5内容匹配引擎
内容匹配技术在信息外泄的控制，网络行为分析等方面有重要的作用。对于一个大型组织的网络来说，每时每刻外发的信息都浩如烟海，要依靠人工去从这些如山的数据中发现和匹配是否有敏感信息被外泄了无疑是不现实的，因此系统提供的内容匹配功能就必不可少了。而根据每次扫描最多可以发现的关键字的数目，内容匹配算法
可以分成单模匹配和多模匹配两种。二者之间的区别在于前者每次扫描后最多可以发现一个关键字，后者则可以发现所有出现的关键字。现今主要有三种单模匹配算法：KMP、BM、KR。这三种算法的复杂度可以达到O(NM)，N是数据长度，M是关键字数量。
单模匹配算法虽然可以线性地发现数据出现的关键字，但因为其单模的特点，不满足内容审计系统的需要。内容审计系统允许用户配置多个关键字，需要在数据中找到所有出现的关键字的位置，这也是多模匹配算法的长处。因此我们采用了基于状态机的多模匹配算法，只需对数据扫描一遍，就可发现所有出现的关键字。过滤时间与数据长度成正比，和设定的关键字数目无关，算法分析复杂度是O(M+N)，N是数据长度，M是关键字数量。可见此算法对数据长度与及并键字数量具有线性复杂度，比起传统的单模匹配算法大大提高了效率。
5.6并行协议栈
对于网络信息安全审计产品来说，数据捕获、协议栈，协议分析等过程中的效率对系统的最后性能起着决定性的因素。
传统协议栈接收一个UDP数据包的流程是：以太网设备驱动程序首先响应中断，假定该中断表示一个正常的接收已完成，数据从设备读到一个缓冲链表中。这个链表除了记录数据内容、还保存一个指针指向接收数据的接口结构。然后把链表传给一个通用以太网输入例程，它通过以太网帧中的类型字段来确定哪个协议层来接收此分组。在这个例子中，类型字段标识一个IP数据报，从而该链表被加入到IP输入队列中。接着产生一个软中断来执行IP输入例程。接着IP输入例程响应软中断，它验证IP首部检验和，处理IP选项，验证数据报被传递到正确的主机(通过比较数据报的目标IP地址与主机IP地址)，并当系统被配置为一个路由器，且数据报被表注为其他的IP地址时，转发此数据报。如果IP数据报到达它的最终目标，调用IP首部中标识的协议的输入例程：ICMP，IGMP，TCP或UDP。在这个例子中，调用UDP输入例程去处理UDP数据报。最后UDP输入例程验证UDP首部的各字段（长度和可选的校验和），然后确定是否一个进程应该接收此数据包。
很明显，传统协议栈采用类似函数链的串行处理方式，依次处理IP输入例程和UDP输入例程，这种软件结构不能充分利用现有SMP架构的性能，经常出现一个CPU 的占用率达到100%，其他CPU还无事可作的情况。因此我们用并行协议栈取代传统协议栈，充分发挥SMP架构的性能，给多路CPU、多内核CPU、超线程CPU足够的施展空间。为了解决并行处理中不可避免的负载均衡的问题，选取硬件分流器中流行的IP+PORT分流策略，保证在大流量的情况下处理线程之间工作量均等，有效避免过载线程的出现。配合大流量数据捕获模块，取消传统协议栈软中断的开销，可以进一步地提高系统的性能。
5.7协议分析
TCP/IP协议族通常被认为是一个四层协议系统－链路层、网络层、传输层、应用
层。链路层通常包括操作系统中的设备驱动程序和计算机中对应的网络接口卡；网络层处理分组在网络中的活动，IP、ICMP和IGMP都属于这个层次；传输层主要为两台主机上的应用程序提供端到端的通信，TCP和UDP都属于这个层次；应用层负责处理特定的应用程序细节，比如说Foxmail中的一封Email，IE中的一个网页，QQ中的一句留言等。任天行捕包引擎工作在链路层，负责高效完整地捕获原始数据帧；并行协议栈工作在网络层和传输层，负责将杂乱无序的原始数据帧组成符合网络层和传输层协议的数据报文，完成IP分片重组和TCP乱序重排等工作；协议分析模块工作在应用层，分析数据报文承载的应用类型，定位对用户有用的信息，如果信息被压缩或编码，还需要完成解压缩或解码的工作。任天行的协议分析模块支持的应用包括：网页、在线音视频、网络游戏、BT、FTP、SMTP、POP3、MSN、QQ、YAHOO Messenger、Telnet 等。这些应用的分析工作有的是基于RFC文档，有的是基于黑盒破解，需要网络、算法、密码学、逆向工程等多方面的综合知识。
5.8网页访问控制
在网络上，各种网站的内容浩如烟海，URL的数量每天都以数百万个的速度在增长，这些网站的内容良莠不齐。如何能够尽最大限度地控制有害信息通过网站传播，是各级网络管理部门乃至社会基本单元——每个家庭一直都想解决但没有解决好的难题。纵观当今市场上的歌各种上网行为管理产品，有的根据人工预设URL列表、有的根据预设内容关键字、有的根据URL预分类进行网页URL的访问控制，但是这些方法都不能够全面、精确地解决网页内容访问控制的难题。我们实事求是地认为，在目前资源有限、技术手段有限而URL站点却呈现爆炸性增长的强烈对比态势下，只有通过各种技术手段的有机、合理和高效结合，才有可能对网页内容访问控制实现尽可能合理的效果。任何单一控制方法的夸大宣传实际上并不能解决用户的实际困难。
任天行拥有分类齐全，数量庞大的分类站点库。站点库中包含有不良、娱乐休闲、行业网站、专业知识网站等共数十种分类站点，涉及URL总数超过数百万条。我们专业的分类站点收集团队每天收集互联网上出现的新站点，对这些站点进行分类，并提供客户提供实时更新，方便客户更有效地管理网络的使用。同时，任天行还支持用户自定义URL分类库，通过自己对网站内容的审查、分级和分类定义，实现对自己关注的网站进行针对性的个性化控制。另外，任天行还利用先进、高效的内容匹配引擎实现了根据内容关键字进行网页内容过滤的功能。通过基于状态机的多模匹配算法，系统在运行过程中对关键字匹配并实施封堵的响应时间仅为8毫秒以内。可以说，这样的响应速度完全不会对用户的网络传输速度造成影响。
任天行产品通过上述各种技术手段的合理分配和利用，在网页内容访问控制上能够达到令人满意的效果。
5.9海量数据全文检索
当系统用于管理千兆带宽网络时，每天将会产生数千兆的日志数据。这些数据大致可分为两类：结构化数据和非结构化数据，结构化数据主要包括行为日志和报警日
志等，而非结构化数据则主要包括内容审计数据。据统计，非结构化数据占有整个数据量的90%以上。对于结构化数据，用RDBMS（关系数据库管理系统）技术来管理是目前最好的一种方式。但是由于RDBMS自身底层结构的缘故使得它管理大量非结构化数据显得有些先天不足，特别是查询这些海量非结构化数据的速度较慢。而通过全文检索技术就能高效地管理这些非结构化数据。
任天行通过对数据存储，数据检索与及业务挖掘进行全面优化，使用了先进的全文检索引擎，实现了高带宽下审计数据检索在保持高度鲁棒性的同时具备高效率。产品的全文检索引擎具备以下技术优势：
?支持高速建立索引（最高可达10MB/秒）
?高性能检索（在2-4 GB的文本上检索，可达到平均秒内获得结果）
?高扩展性（可对数百GB的文本建立索引，单一索引可包含上亿条记录）
?支持分布式检索
?支持基于短语和基于统计的复合结果排序机制
?支持任意数量的文件字段（数值属性或全文检索属性）
?支持不同的检索模式（“完全匹配”，“短语匹配”和“任一匹配”）
5.10HTTP POST识别
对于HTTP POST应用，最常见的就是在网页上提交表单，在这次基础之上衍生出了许多应用，例如网页论坛、WEBMAIL、网页聊天等，如何准确的识别POST应用属于那种类型并记录其关键内容，已成为网络行为与内容审计产品的重点课题。传统的方法采用的是对逐个网站的表单进行特征分析的方法，久而久之就形成一个逐渐累积的清单，对网站的支持也是随着逐个分析的工作量累计而逐渐增多。这种方法的最大局限性在于无法及时响应网站的改版，往往会因为网站改版之后表单特征的改变而导致以前分析有效的网站变得不再有效，而技术人员要根据新改版的网站重新分析并在实际运行的系统上升级，耗时费力。
任天行采用了先进的特征匹配技术，通过这种特征匹配技术，使系统对POST应用的分析的广度得到了革命性的提高，彻底避免了传统逐个分析网站方法的弊端，并且在分析精度上达到了95%以上。在需要进行特征扩展时，无需再次开发，具备持续、快速高效的扩展能力，能够避免传统逐个网站分析方法带来的扩展效率低下问题。
5.11真正的64位系统
从32位到64 位架构的改变是一个根本的改变，因为大多数操作系统必须进行全面性修改，以取得新架构的优点。其它软件也必须进行移植，以使用新的性能；较旧的软件一般可借由硬件兼容模式（新的处理器支持较旧的32 位版本指令集）或软件模拟进行支持。或者直接在64 位处理器里面实作32 位处理器内核（如同Intel 的Itanium 处理器，其内含有x86 处理器内核，用来执行32 位x86 应用程序）。
支持64 位架构的操作系统，一般同时支持32 位和64 位的应用程序。
任天行产品高端型号不仅在操作系统层面转向了64位，同时在驱动层、协议层、
业务层、界面层等所有层面的程序全部进行了针对64位系统的改造和优化，不同于那种仅仅使用64位操作系统但应用程序仍使用32位兼容运行的“伪64位模式”，这种真正的64位运行，使产品的运行性能得到了整体的大幅提升。
5.12IPV6的支持
IPv6是Internet Protocol Version 6的缩写，其中Internet Protocol译为“互联网协议”。IPv6是IETF（互联网工程任务组，Internet Engineering Task Force）设计的用于替代现行版本IP协议（IPv4）的下一代IP协议。目前IP协议的版本号是4（简称为IPv4），它的下一个版本就是IPv6。从计算机技术的发展、因特网的规律和网络的传输速率来看，IPV4都已经不适用了。其中最主要的问题就是IPV4的32比特的IP地址空间已经无法满足迅速膨胀的因特网规模，IPv4地址已经于2011年春季彻底耗尽。据了解，目前中国电信已经提出了向IPv6过渡的计划，计划共分三步走：试商用阶段：启动网络和平台支持IPv6的改造，确定网络及业务过渡方案、现网商业化试点，基本具备引入IPv6业务的网络条件；规模商用阶段：IPv4/IPv6网络和业务共存，网络和平台规模改造，业务逐步迁移，新型应用和用户规模持续扩大；全面商用阶段：新型应用占据主导，IPv4网络和业务平台逐步退出。目前国内首先开展IPV6应用的是教育网和少数事业机构，目前仍处于试验性应用阶段。随着IPV4资源的耗尽，IPV6的应用进程必将加快，在这个领域面临的上网审计与管理真空也正在逐渐显现。
任天行产品在国内率先实现了对IPV6的支持，并同时能够兼容IPV4，为目前已经应用IPV6的单位和即将应用IPV6的单位提供了及时的应对方案。
5.13基于FPGA的专用网卡
任天行产品在高端型号全部可使用基于FPGA硬件加速的专用网卡。专用网卡实现的主要功能是两方面：（1）高效捕包；（2）应用卸载。采用专用网卡提升每台服务器的处理能力，可以减少服务器和网络设备，降低功耗，机房空间，散热，维护等成本。一般网卡从网络上捕获报文后，会通过中断告知主机CPU，CPU会把报文拷贝到操作系统的协议栈，协议栈经过层层分析，最后把报文提交给应用程序，这个过程会消耗大量的cpu资源，在小包情况下，一般千兆网卡很难实现线速捕包。基于FPGA 的专用网卡仍然采用零拷贝技术，网卡收到的报文不再经过操作系统协议栈的层层拷贝，而是直接DMA到应用的缓冲区中，避免了数据拷贝的开销。一般网卡中只有一个报文缓冲区队列，多应用从网卡的缓冲区队列中取包时，必须有同步操作，这会降低系统性能。专用网卡可以针对每个应用实现独立的缓冲区队列，从而避免同步，从而打通了普通网卡的带宽瓶颈，而且针对smp上不同cpu访问不同内存条的性能差异，把应用的报文缓冲区和应用运行的cpu相绑定，从而提升了应用访问内存的效率。下图是其原理说明：
专用网卡采用FPGA芯片，可以固化某些应用模块，通过软件硬化来降低主机负载，提高整个系统的性能，比如我们已经实现了五元组过滤，时间戳，硬件组包发包等应用模块的硬化，下图是专用网卡和普通网卡的功能对比，在目前研发的10G网卡中，我们还会把checksum校验、ip分片重组、tcp流还原等功能在网卡硬件中实现。
6功能介绍
针对用户对网络内容安全管理的需求，任天行网络安全管理系统提供如下主要功能以实现对网络使用的高效管理。
6.1网络行为审计
任天行系统能够全面详实地记录网络内流经监听出口的各种网络行为，并根据国家有关法规规定保存至少60天，以便进行事后的审计和分析。日志以加密的方式存放，只有管理者才能调阅读取。网络行为日志全面地记录了包括使用者、分组、访问时间、源IP地址、源端口、源MAC地址、目的IP地址、目的端口、访问类型、访问地址/标识等关键数据项。支持在三层交换网络环境下获取用户计算机真实MAC地址功能；支持GRE(通用路由协议封装）和MPLS（Multi-Protocol Label Switching，多协议标签交换）两种协议及其应用环境下的网络数据审计还原。产品支持的协议和应用数量达到260多种，为国内领先。主要包括以下类型的协议和应用：
标准协议及其衍生应用
基于HTTP协议的网页浏览（GET）、网页提交（POST），其中POST应用可细分为WEBMAIL、WEBBBS、WEBCHAT（聊天）、WEB登录等上网行为，对基于HTTPS加密协议的网页浏览行为也将记录其关键数据；基于TELNET协议的远程登录；基于FTP协议的文件传输；
基于SMTP/POP3的电子邮件收发、基于Samba协议的文件共享传输、基于HTTP的搜索引擎访问等。任天行系统将全面记录基于这些协议的行为日志和必要的帐号、文件名等关键信息。
即时通讯（IM）/网络电话应用
包括QQ、MSN、ICQ、雅虎通、新浪UC、网易泡泡、Google Talk、飞信、阿里旺旺、搜Q、E话通等10多种国内外流行的IM或网络电话应用软件，任天行系统将全面记录这些IM/网络电话应用的行为日志和必要的帐号信息。
流媒体/网络视频直播
标准的MMS、RTSP流媒体播放协议和主流视频网站和视频直播软件所使用的视频直播应用协议（QQLIVE、PPLIVE、PPStream、优酷、酷六、六间房、新浪视频、搜狐视频、网易视频、央视高清等）。
P2P下载应用
包括BT、eMule等国内外流行的P2P下载应用协议。
娱乐/游戏应用
包括国内外流行的数种娱乐游戏平台和大型网络游戏，例如：联众、浩方、边锋、QQ 游戏、中国游戏中心、游戏茶苑、远航、CS、魔兽世界、武林外传、征服、跑跑卡丁车、劲舞团、大话西游、冒险岛等数十种网络游戏，任天行系统将全面记录这些娱乐/游戏应用的行为日志和必要的帐号信息。
财经证券类
能够对国内流行的证券软件所使用的协议记录行为日志，主要包括以大智慧、钱龙、核
新同花顺、通达信、大福星、龙卷风等研发厂商为核心的国内各大证券商数十种OEM 版本，如安信证券、广发证券、国联证券、银河证券、招商证券、方正泰阳证券、湘财证券、国信证券等。
数据库访问
支持对MS-SQLSERVER、ORACLE等主流关系型数据库的远程访问和操作信息审计记录。
系统还提供了一系列的日志管理功能，包括存储管理、备份、恢复等，使用上具备高度的灵活性和专业性。
6.2网络内容审计
针对互联网上流行的可还原协议，任天行系统能够在记录网络内流经监听出口的各种网络行为产生的具体内容，包括正文、文件等信息，并根据国家有关法规规定保存至少60天，以便进行事后的审计和分析，我们称这个范畴的审计功能为内容审计。内容审计既能够无条件记录，又能通过策略指定访问者（IP地址/帐号/分组）、时间范围、内容关键字等条件下进行有条件的记录管理用户需要的访问内容。主要包括以下类型的协议和应用：标准电子邮件
标准电子邮件是指POP3 /SMTP两个使用最广泛的收发邮件协议。系统将详细记录访问者（IP地址/机器名/帐号）、目标IP地址、邮件时间、发件人、收件人、正文、附件等信息，并提供附件下载备份功能。
网页浏览
网页浏览是指基于HTTP协议的GET请求产生的查看网页内容。系统将详细记录访问者（IP地址/机器名/帐号）、目标IP地址、访问时间、网页URL、网页详细内容等信息，并提供模拟访问的功能以达到还原后的仿真浏览。支持对google, baidu, sogou, soso等常见搜索引擎的搜索关键字记录，并具备良好的扩展能力，支持用户自定义其它搜索引擎。
远程登录
远程登录是指基于TELNET协议的远程登录访问。系统将详细记录访问者（IP地址/机器名/帐号）、目标IP地址、访问时间、TELNET帐号、TELNET交互命令和执行回显等信息。
文件传输
文件传输是指基于FTP协议的文件传输、下载及其命令操作。系统将详细记录访问者（IP 地址/机器名/帐号）、目标IP地址、访问时间、FTP帐号、FTP交互命令和执行回显等信息，对FTP交互过程中发生的上传和下载文件操作，系统也将涉及的文件全部还原并提供下载备份功能。
即时聊天
目前能够捕获还原详细内容的即时聊天工具包括MSN（Windows Live Messenger）、Yahoo Messenger、中国移动飞信等。系统将详细记录访问者（IP地址/机器名/帐号）、目标IP 地址、访问时间、聊天帐号、详细聊天内容等数据，并将聊天内容按次分组保存和展示。
网页外发数据
网页外发数据是指基于HTTP协议的POST请求向外部的网站发布信息。由于HTTP的
POST应用非常灵活，往往被用来实现多种应用，因此对网页外发数据的处理有其特殊性。任天行系统使用了独有的表单特征匹配技术框架，摒弃了传统的逐个WEB网站分析方式，突破了逐个分析方式带来的有效网站数量限制，可以准确分析出100%的POST 外发信息和文件，对WEBMAIL、网页论坛等应用方式的识别率高达95%以上。系统针对应用HTTP-POST最为广泛的WEBMAIL、网页论坛、网页聊天、网页登录进行了应用方式识别并将其分类展示，对不能识别的其它POST应用则全部归类到“POST”中进行展示。系统记录的主要数据包括访问者（IP地址/机器名/帐号）、目标IP地址、URL地址、访问时间、外发文本内容、外发文件等数据，并提供外发文件的下载备份功能。
数据库访问
支持对MS-SQLSERVER、ORACLE、MySQL、DB2、Syabse、PostgreSQL、Informix等7种主流关系型数据库的远程访问和操作信息审计记录，能够记录详细的操作内容，包括对数据库的增删改等敏感操作语句。
6.3网络行为控制
对于多数企事业单位而言，如何通过有效的技术手段实现对单位职员上网行为进行规范的管理和控制是一个非常有意义的课题。任天行系统提供了丰富的网络行为控制功能，以协助管理者实现上述目标。
应用封堵策略
对局域网内的所有机器生效的外网访问权限控制。可根据人员帐号、机器、机器组对不同的时间段设置，可设置的应用封堵类型包括：
?网页类：可根据URL关键字、下载类型、搜索关键字、IP网站、网页内容关键字、POST网址、HTTPS加密网页、自定义站点等组合条件进行设置。
?邮件类：对于SMTP/POP3/IMAP标准电子邮件协议，可根据服务器、邮箱地址、邮件标题、邮件正文、附件名、附件内容等多中关键字组合条件进行设置。
?即时通讯：针对流行的10多种即时通讯应用，可根据应用类型和内容关键字进行设置，针对MSN、QQ文件传输、雅虎通、飞信等明文传输的即时通讯应用可根据
内容关键字封堵。
?网络游戏：支持近百种流行网络游戏的封堵设置。
?P2P下载：支持流行的BT、eMule等典型P2P下载进行设置。
?文件传输：主要针对FTP文件传输，可根据服务器、文件类型、帐号、传输内容等关键字进行设置。
?远程登录：主要针对TELNET，可根据服务器与和账号进行封堵设置。
?音视频：支持流行的近20种网络音视频应用进行设置。
?财经股票：支持流行的20多种财经股票行情与交易应用进行封堵设置。
?自定义协议：可以自己根据需要基于特殊IP、端口的自定义协议设置封堵。
?分类站点：系统内置1000多万URL分类站点库，可根据这些分类设置封堵。
流量限制
可对任意用户对象或团体设置每日、每周、每月的上下行流量或总流量进行上限设置，超出设置的上限之后将禁止上网。
IP/MAC绑定
可以灵活设置多种形式的IP/MAC绑定，用于限制非法修改IP地址与移动办公的应用场景，包括单一绑定、一个IP绑定多个MAC、多个IP绑定一个MAC等方式。
黑白名单
?机器黑白名单：可基于IP或MAC设置，对于被设为黑名单的机器，系统将无条件禁止其与外网的一切通讯。对于被设为白名单的机器，则其的网络访问不受全局或
局部策略的影响，在任何条件下都不对其进行封堵，其网络日志可灵活设置为是否
记录。
?站点黑白名单：可基于目标IP或网址设置，对于被设为黑名单的站点，则网络内的所有机器（白名单机器除外）都不能访问此站点。对于被设为白名单的站点，则
网络内的所有机器（黑名单机器除外）都可以访问此站点。
?帐号黑白名单：在帐号控制模式下应用，对于被设为黑名单的帐号，系统将无条件禁止其与外部网络的一切通讯。对于被设为白名单的帐号，则其的网络访问不受全
局或局部策略的影响，在任何条件下都不对其进行封堵，但其网络日志仍将被记录。
基于帐号的控制可有效避免动态IP地址环境或IP人为变更造成的网络控制漏洞。
?免审计KEY：给特殊用户配置上网时豁免审计与控制的USBKEY。
6.4上网用户管理
局域网内的上网用户管理，在任天行系统中是重要的一个环节。它不仅为管理者提供了方便的管理功能，而且在配合网络行为控制与审计策略的配置实施过程中起到基础性的关键作用。对于上网用户的组织架构，可以对自动或手动搜索生成的设备列表采用多层多组方式划分组别，最大层次可达16级。用户管理部分的主要功能包括：
组织管理自动分组
用户可根据实际的网络规划，对系统管理的IP地址段、IP段分组规划进行事先设置。根据事先设定的搜索范围，任天行系统将自动获取指定范围内的机器信息资料，包括机器名、分组、IP地址、MAC地址等，也可进行手工搜索，在机器管理功能中可对这些信息进行增、删、改、导入、导出、设置控制方式等操作。随着系统总的识别方式的设置不同，机器管理也将以IP地址或MAC地址字段为机器的唯一标识。
在认证识别方式下，系统还提供帐号管理功能，可对上网认证的帐号进行增、删、改、注销上网、本地文件导入、帐号分组管理等各种操作；对基于USB锁的上网认证器则提供对应的上网认证器的配置、密钥导入等管理功能。
用户识别方式
?企事业单位接入外部网络的方式各不相同，其内部局域网的组网方式、设备等环境也千差万别。任天行系统能够针对各种不同的网络环境，结合用户的组网规划和对
网络控制的不同需求，采取灵活的上网控制方式设置，应对各种差异化需求。
?任天行系统支持的上网识别方式包括认证识别和透明识别。认证识别是指用户上网之前必须经过上网认证操作才能接入互联网；透明识别是指不需经过认证，系统可
适应复杂多变的网络环境，根据IP、MAC、各种外部认证帐号等多种方式自动识别
用户特征，实现上网实名审计。