分布式入侵检测系统设计与实现毕业.doc

分布式入侵检测系统设计与实现分布式入侵监测系统设计与实现摘 要随着黑客入侵事件的日益猖獗，人们发现只从防御的角度构造安全系统是不够的。入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施后新一代的安全保障技术。他对计算机和网络资源上的恶意使用行为进行识别和响应，它不仅检测来自外部的入侵行为，同时也监督内部用户的未授权活动。本文提出一种基于部件的入侵检测系统，具有良好的分布性能和可扩展性。他将基于网络和基于主机的入侵检测系统有机地结合在一起，提供集成化的检测、报告和响应功能。在网络引擎的实现上，使用了协议分析和模式匹配相结合的方法，有效减小目标的匹配范围，提高了检测速度。同时改进了匹配算法，使得网络引擎具有更好的实时性能。在主机代理中的网络接口检测功能，有效地解决了未来交换式网络中入侵检测系统无法检测的致命弱点。关键字 入侵检测；模式匹配AbstractWith more and more site intruded by hackers, security expert found than only use crypt technology to build a security system is not enough. The Intrusion Detection is a new security technology, apart from tradition security protect technology, such as firewall and data crypt. IDSs watch the computer and network traffic for intrusive and suspicious activities. they not only detect the intrusion from the Extranet hacker, but also the intranet users.We design a component-based Intrusion Detection System, which has good distribute and scalable ability. It combine the network-based IDS and host-based IDS into a system, and provide detection, report and respone together.In the implement of the network engine, the combination of network protocol analyze and pattern match technology is used, and reduce scope to search. We also improved pattern match algorithm, the network engine can search intrusion signal more quickly. We use network interface detection in host agent, which will enable the IDS work on switch network fine.Keyword IDS; pattern match毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日目 录引言1第一章 入侵检测系统概述21.1 TCSEC难以适应新的网络环境21.2 P2DR：动态安全模型41.3 入侵检测系统51.3.1 入侵检测系统的分类51.3.2 入侵检测系统的发展趋势81.4 CIDF模型11第二章 分布式入侵检测系统122.1 现有入侵检测系统的不足122.2 主要功能要求132.3 系统概述142.4 系统部署15第三章 网络引擎和主机代理193.1 网络引擎的设计193.1.1 检测匹配方法的改进193.1.2 网络引擎设计213.2 主机代理253.2.1 数据来源253.2.2 代理结构26第四章 存储系统和分析系统294.1 存储系统294.1.1 数据载入294.1.2 数据缩减304.1.3 推与拉技术314.2 分析系统324.2.1 基于行为的检测324.2.2 基于知识的检测34第五章 控制台与响应系统375.1 控制台375.1.1 事件管理375.1.2 安全管理385.1.3 报告生成385.1.4 部件管理385.1.5 误报警管理395.2 响应系统395.2.1 常用响应技术40第六章 系统自身的安全436.1对付攻击446.2 安全通信45第七章 网络引擎实现527.1 检测规则527.1.1 规则格式527.1.2 规则选项557.2 匹配算法59结束语62致谢63参考文献64分布式入侵检测系统设计与实现引言在计算机安全的发展中，系统安全模型在逐步的实践中发生变化。由一开始的静态的系统安全模型逐渐过渡到动态的安全模型，如PDR2模型。PDR2表示Protection、Detection、Recovery和Response，即保护、检测、恢复和响应。检测已经是系统安全模型中非常重要的一部分。入侵检测作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出发，入侵检测理应受到人们的高度重视，这从国外入侵检测产品市场的蓬勃发展就可以看出。在国内，随着上网的关键部门、关键业务越来越多，迫切需要具有自主版权的入侵检测产品。但现状是入侵检测还不够成熟，处于发展阶段，或者是防火墙中集成较为初级的入侵检测模块。可见，入侵检测技术应该进行进一步的研究。本课题是网络安全实验室自拟课题“网络数据分析”的一部分。我们的目标是设计一个分布式的入侵检测系统，它具有可扩展性、跨平台性、安全性和开放性，并实现了其中的网络引擎部分。目前入侵检测品主要厂商有ISS公司（RealSecure）、Axent公司（ITA、ESM）， 以 及NAI（CyberCop Monitor）。他们都在入侵检测技术上有多年的研究。 其中ISS公司的RealSecured的智能攻击识别技术是当前IDS系统中最为先进的。入侵检测系统在未来的网络安全和军事斗争中将起到非常重要的作用。在经济领域中它可以及时发现、阻拦入侵行为，保护保护企业来自不满员工、黑客和竞争对手威胁，保证企业信息信息平台的正常运转。入侵检测系统作为一种商品也具有非常大的市场和效益。第一章 入侵检测系统概述信息系统的安全问题是一个十分复杂的问题，可以说信息系统有多复杂，信息系统安全问题就有多复杂；信息系统有什么样的特性，信息系统安全就同样具有类似的特性。信息安全是一种很难量化的概念，我们可以把信息系统的“性能”与“安全”做一个简单的对比。针对网络吞吐量、主机的运算速度、数据库的TPC指标等这类性能问题，用户可以根据自己的业务要求、资金条件等方面考虑取舍。系统性能的高低在一定程度上可以通过量化指标来表现。换句话说，系统性能的提高，用户虽然摸不到，但却是可以看到的。而“安全”是一个非常难于量化的指标，真正是一个看不见摸不着的东西。因此安全问题很容易表面上受到重视，而实际上没有真正得到重视。“什么事情也没有”实际上就是安全的最高境界。但是，“什么事情也没有”也正是导致忽视安全问题的原因所在。实际上，安全就是防范潜在的危机。1.1 TCSEC难以适应新的网络环境在信息安全的发展史上有一个里程碑，这就是1985年美国国防部（DoD）国家计算机安全中心（NCSC）发布的可信计算机安全评估准则（TCSEC）1。这个准则的发布对操作系统、数据库等方面的安全发展起到了很大的推动作用。但是随着网络的深入发展，这个标准已经不能完全适应当前的技术需要，因为这个主要基于HostTerminal环境的静态安全模型和标准无法完全反应分布式、动态变化、发展迅速的Internet安全问题。传统的信息安全技术都集中在系统自身的加固和防护上。比如，采用B级操作系统和数据库、在网络出口配置防火墙、在信息传输和存储中采用加密技术、使用集中的身份认证产品等。然而，单纯的防护技术有许多方面的问题：首先，单纯的防护技术容易导致系统的盲目建设，这种盲目包括两方面：一方面是不了解安全威胁的严峻和当前的安全现状；另一方面是安全投入过大而又没有真正抓住安全的关键环节，导致不必要的浪费。举例来说，一个水库的大坝到底应当修多高？大坝有没有漏洞？修好的大坝现在是否处在危险的状态？实际上，我们需要相应的检测机制，例如，利用工程探伤技术检查大坝的质量是否符合要求、观察当前的水位是否超出了警戒水位。这样的检测机制对保证大坝的安全至关重要。当发现问题之后就需要迅速做出响应，比如，立即修补大坝的漏洞并进行加固；如果到达警戒水位，大坝就需要有人24小时监守，还可能需要泄洪。这些措施实际上就是一些紧急应对和响应措施。其次，防火墙策略对于防范黑客有其明显的局限性4。防火墙技术是内部网最重要的安全技术之一，其主要功能就是控制对受保护网络的非法访问，它通过监视、限制、更改通过网络的数据流，一方面尽可能屏蔽内部网的拓扑结构，另一方面对内屏蔽外部危险站点，用以防范外对内、内对外的非法访问。但也有其明显的局限性，诸如：.防火墙难于防内。防火墙的安全控制只能作用于外对内或内对外，即：对外可屏蔽内部网的拓扑结构，封锁外部网上的用户连接内部网上的重要站点或某些端口，对内可屏蔽外部危险站点，但它很难解决内部网控制内部人员的安全问题。即防外不防内。而据权威部门统计结果表明，网络上的安全攻击事件有70%以上来自内部攻击。.防火墙难于管理和配置，易造成安全漏洞。防火墙的管理及配置相当复杂，要想成功的维护防火墙，要求防火墙管理员对网络安全攻击的手段及其与系统配置的关系有相当深刻的了解。防火墙的安全策略无法进行集中管理。一般来说，由多个系统（路由器、过滤器、代理服务器、网关、堡垒主机）组成的防火墙，管理上有所疏忽是在所难免的。根据美国财经杂志统计资料表明，30%的入侵发生在有防火墙的情况下。.防火墙的安全控制主要是基于IP地址的，难于为用户在防火墙内外提供一致的安全策略。许多防火墙对用户的安全控制主要是基于用户所用机器的IP地址而不是用户身份，这样就很难为同一用户在防火墙内外提供一致的安全控制策略，限制了企业网的物理范围。.防火墙只实现了粗粒度的访问控制。防火墙只实现了粗粒度的访问控制，且不能与企业内部使用的其它安全机制（如访问控制）集成使用，这样，企业就必须为内部的身份验证和访问控制管理维护单独的数据库。再次，保证信息系统安全的经典手段是“存取控制”或“访问控制”，这种手段在经典的以及现代的安全理论中都是实行系统安全策略的最重要的手段。但迄今为止，软件工程技术还没有达到A2级所要求的形式生成或证明一个系统的安全体系的程度，所以不可能百分之百地保证任何一个系统（尤其是底层系统）中不存在安全漏洞。而且，无论在理论上还是在实践中，试图彻底填补一个系统的安全漏洞都是不可能的，也还没有一种切实可行的办法解决合法用户在通过“身份鉴别”或“身份认证”后滥用特权的问题。1.2 P2DR：动态安全模型-针对日益严重的网络安全问题和越来越突出的安全需求，“可适应网络安全模型”和“动态安全模型”应运而生5。图11 P2DR模型P2DR模型包含4个主要部分：Policy（安全策略）Protection（防护）Detection（检测）Response（响应）-P2DR模型是在整体的安全策略（Policy）的控制和指导下，在综合运用防护工具（Protection，如防火墙、操作系统身份认证、加密等手段）的同时，利用检测工具（Detection，如漏洞评估、入侵检测等系统）了解和评估系统的安全状态，通过适当的响应（Response）将系统调整到“最安全”和“风险最低”的状态。防护、检测和响应组成了一个完整的、动态的安全循环。1.3 入侵检测系统入侵检测具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和系统相关的补丁、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统。由于入侵检测和响应密切相关，而且现在没有独立的响应系统，所以决大多数的入侵检测系统都具有响应功能。1.3.1 入侵检测系统的分类按获得原始数据的方法可以将入侵检测系统分为基于网络的入侵检测和基于主机的入侵检测系统。1基于主机的入侵检测系统基于主机的入侵检测出现在80年代初期，那时网络还没有今天这样普遍、复杂，且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的检验记录是很常见的操作。由于入侵在当时是相当少见的，在对攻击的事后分析就可以防止今后的攻击。现在的基于主机的入侵检测系统保留了一种有力的工具，以理解以前的攻击形式，并选择合适的方法去抵御未来的攻击。基于主机的IDS仍使用验证记录，但自动化程度大大提高，并发展了精密的可迅速做出响应的检测技术。通常，基于主机的IDS可监测系统、事件和Window NT下的安全记录以及UNIX环境下的系统记录。当有文件发生变化时，IDS将新的记录条目与攻击标记相比较，看它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标报告，以采取措施。基于主机的IDS在发展过程中融入了其它技术。对关键系统文件和可执行文件的入侵检测的一个常用方法，是通过定期检查校验和来进行的，以便发现意外的变化。反应的快慢与轮询间隔的频率有直接的关系。最后，许多产品都是监听端口的活动，并在特定端口被访问时向管理员报警。这类检测方法将基于网络的入侵检测的基本方法融入到基于主机的检测环境中。尽管基于主机的入侵检查系统不如基于网络的入侵检查系统快捷，但它确实具有基于网络的系统无法比拟的优点。这些优点包括： l 性能价格比高 在主机数量较少的情况下，这种方法的性能价格比可能更高。尽管基于网络的入侵检测系统能很容易地提供广泛覆盖，但其价格通常是昂贵的。配置一个入侵监测系统要花费$10,000以上，而基于主机的入侵检测系统对于单独代理标价仅几百美元，并且客户只需很少的费用用于最初的安装。l 更加细腻 这种方法可以很容易地监测一些活动，如对敏感文件、目录、程序或端口的存取，而这些活动很难在基于网络的系统中被发现。基于主机的IDS监视用户和文件访问活动，包括文件访问、改变文件权限、试图建立新的可执行文件并且或者试图访问特许服务。例如，基于主机的IDS可以监督所有用户登录及退出登录的情况，以及每位用户在联接.到网络以后的行为。基于网络的系统要做到这个程度是非常困难的。基于主机技术还可监视通常只有管理员才能实施的非正常行为。操作系统记录了任何有关用户帐号的添加、删除、更改的情况。一旦发生了更改，基于主机的IDS就能检测到这种不适当的更改。基于主机的IDS还可审计能影响系统记录的校验措施的改变。最后，基于主机的系统可以监视关键系统文件和可执行文件的更改。系统能够检测到那些欲重写关键系统文件或者安装特洛伊木马或后门的尝试并将它们中断。而基于网络的系统有时会检测不到这些行为。l 视野集中 一旦入侵者得到了一个主机的用户名和口令，基于主机的代理是最有可能区分正常的活动和非法的活动的。l 易于用户剪裁 每一个主机有其自己的代理，当然用户剪裁更方便了。l 较少的主机 基于主机的方法有时不需要增加专门的硬件平台。基于主机的入侵检测系统存在于现有的网络结构之中，包括文件服务器、Web服务器及其它共享资源。这些使得基于主机的系统效率很高。因为它们不需要在网络上另外安装登记、维护及管理的硬件设备。l 对网络流量不敏感 用代理的方式一般不会因为网络流量的增加而丢掉对网络行为的监视。 l 适用于被加密的以及切换的环境 由于基于主机的系统安装在遍布企业的各种主机上，它们比基于网络的入侵检测系统更加适于交换的以及加密的环境。交换设备可将大型网络分成许多的小型网络段加以管理。所以从覆盖足够大的网络范围的角度出发，很难确定配置基于网络的IDS的最佳位置。业务镜像和交换机上的管理端口对此有帮助，但这些技术有时并不适用。基于主机的入侵检测系统可安装在所需的重要主机上，在交换的环境中具有更高的能见度。某些加密方式也向基于网络的入侵检测发出了挑战。根据加密方式在协议堆栈中的位置的不同，基于网络的系统可能对某些攻击没有反应。基于主机的IDS没有这方面的限制。当操作系统及基于主机的系统发现即将到来的业务时，数据流已经被解密了l 确定攻击是否成功 由于基于主机的IDS使用含有已发生事件信息，它们可以比基于网络的IDS更加准确地判断攻击是否成功。在这方面，基于主机的IDS是基于网络的IDS完美补充，网络部分可以尽早提供警告，主机部分可以确定攻击成功与否2基于网络的入侵检测系统基于网络的入侵检测系统使用原始网络包作为数据源。基于网络的IDS通常利用一个运行在随机模式下网络的适配器来实时监视并分析通过网络的所有通信业务。它的攻击辩识模块通常使用四种常用技术来识别攻击标志：l 模式、表达式或字节匹配l 频率或穿越阀值l 次要事件的相关性l 统计学意义上的非常规现象检测一旦检测到了攻击行为，IDS的响应模块就提供多种选项以通知、报警并对攻击采取相应的反应。反应因产品而异，但通常都包括通知管理员、中断连接并且/或为法庭分析和证据收集而做的会话记录。 基于网络的IDS有许多仅靠基于主机的入侵检测法无法提供的功能。实际上，许多客户在最初使用IDS时，都配置了基于网络的入侵检测。基于网络的检测有以下优点：l 侦测速度快 基于网络的监测器通常能在微秒或秒级发现问题。而大多数基于主机的产品则要依靠对最近几分钟内审计记录的分析。l 隐蔽性好 一个网络上的监测器不像一个主机那样显眼和易被存取，因而也不那么容易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务，可以不响应其他计算机。因此可以做得比较安全。l 视野更宽 基于网络的入侵检测甚至可以在网络的边缘上，即攻击者还没能接入网络时就被发现并制止。l 较少的监测器 由于使用一个监测器就可以保护一个共享的网段，所以你不需要很多的监测器。相反地，如果基于主机，则在每个主机上都需要一个代理，这样的话，花费昂贵，而且难于管理。但是，如果在一个交换环境下，就需要特殊的配置。l 攻击者不易转移证据 基于网络的IDS使用正在发生的网络通讯进行实时攻击的检测。所以攻击者无法转移证据。被捕获的数据不仅包括的攻击的方法，而且还包括可识别黑客身份和对其进行起诉的信息。许多黑客都熟知审记记录，他们知道如何操纵这些文件掩盖他们的作案痕迹，如何阻止需要这些信息的基于主机的系统去检测入侵。l 操作系统无关性 基于网络的IDS作为安全监测资源，与主机的操作系统无关。与之相比，基于主机的系统必须在特定的、没有遭到破坏的操作系统中才能正常工作，生成有用的结果。l 占资源少 在被保护的设备上不用占用任何资源。 1.3.2 入侵检测系统的发展趋势基于网络和基于主机的入侵检测系统都有各自的优势，两者相互补充。这两种方式都能发现对方无法检测到的一些入侵行为。从某个重要服务器的键盘发出的倍地攻击并不经过网络，因此就无法通过基于网络的入侵检测系统检测到，只能通过使用基于主机的入侵检测系统来检测。基于网络的入侵检测系统通过检查所有的数据包的包头（header）来进行检测，而基于主机的入侵检测系统并不查看包首标。许多基于IP的拒绝服务攻击和碎片攻击，只能通过查看它们通过网络传输时的包首标才能识别。基于网络的入侵检测系统可以研究负载的内容，查找特定攻击中使用的命令或语法，这类攻击可以被实时检查包序列的入侵检测系统迅速识别。而基于主机的系统无法看到负载，因此也无法识别嵌入式的负载攻击。联合使用基于主机和基于网络这两种方式能够达到更好的检测效果。比如基于主机的入侵检测系统使用系统日志作为检测依据，因此它们在确定攻击是否已经取得成功时与基于网络的检测系统相比具有更大的准确性。在这方面，基于主机的入侵检测系统对基于网络的入侵检测系统是一个很好的补充，人们完全可以使用基于网络的入侵检测系统提供早期报警，而使用基于主机的入侵检测系统来验证攻击是否取得成功。在下一代的入侵检测系统中，将把现在的基于网络和基于主机这两种检测技术很好地集成起来，提供集成化的攻击签名、检测、报告和事件关联功能。相信未来的集成化的入侵检测产品不仅功能更加强大，而且部署和使用上也更加灵活方便。对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。从技术上，入侵检测分为两类：一种基于模式匹配（signature-based）的入侵检测系统，另一种基于异常发现(anomaly-based)的入侵检测系统。对于基于模式匹配的检测技术来说，首先要定义违背安全策略的事件的特征，如网络数据包的某些头信息。检测主要判别所搜集到的数据特征是否在所收集到的入侵模式库中出现。此方法非常类似杀毒软件。而基于异常发现的检测技术则是先定义一组系统“正常”情况的阀值，如CPU利用率、内存利用率、文件校验和等（这类数据可以人为定义，也可以通过观察系统、并用统计的办法得出），然后将系统运行时的数值与所定义的“正常”情况比较，得出是否有被攻击的迹象。这种检测方式的核心在于如何分析所系统运行情况。按照所使用的分析方法，可以分为以下几种入侵检测系统：1 基于审计的攻击检测基于审计信息的攻击检测工具以及自动分析工具可以向系统安全管理员报告计算机系统活动的评估报告，通常是脱机的、滞后的。对攻击的实时检测系统的工作原理是基于对用户历史行为的建模，以及在早期的证据或模型的基础之上。审计系统实时地检测用户对系统的使用情况，根据系统内部保持的用户行为的概率统计模型进行监测，当发现有可疑的用户行为发生时，保持跟踪并监测该用户的行为。系统应具备处理自适应的用户参数的能力。能够判断使用行为的合法或可疑。系统应当能够避免“肃反扩大缩小化”的问题。这种办法同样适用于检测程序的行为以及对数据资源（如文件或数据库）的存取行为。2基于神经网络的攻击检测技术12如上所述，基于审计统计数据的攻击检测系统，具有一些天生的弱点，因为用户的行为可以是非常复杂的，所以想要准确匹配一个用户的历史行为和当前的行为是相当困难的。错发的警报往往来自于对审计数据的统计算法所基于的不准确或不贴切的假设。SRI的研究小组利用和发展神经网络技术来进行攻击检测。神经网络可能用于解决传统的统计分析技术所面临的以下几个问题：难于建立确切的统计分布难于实现方法的普适性算法实现比较昂贵系统臃肿难于剪裁目前，神经网络技术提出了对基于传统统计技术的攻击检测方法的改进方向，但尚不十分成熟，所以传统的统计方法仍将继续发挥作用，也仍然能为发现用户的异常行为提供相当有参考价值的信息。3基于专家系统的攻击检测技术进行安全检测工作自动化的另外一个值得重视的研究方向就是基于专家系统的攻击检测技术，即根据安全专家对可疑行为的分析经验来形成一套推理规则，然后再在此基础之上构成相应的专家系统。由此专家系统自动进行对所涉及的攻击操作的分析工作。所谓专家系统是基于一套由专家经验事先定义的规则的推理系统。例如，在数分钟之内某个用户连续进行登录，且失败超过三次就可以被认为是一种攻击行为。类似的规则在统计系统似乎也有，同时应当说明的是基于规则的专家系统或推理系统也有其局限性，因为作为这类系统的基础的推理规则一般都是根据已知的安全漏洞进行安排和策划的，而对系统的最危险的威胁则主要是来自未知的安全漏洞。实现一个基于规则的专家系统是一个知识工程问题，而且其功能应当能够随着经验的积累而利用其自学习能力进行规则的扩充和修正。4基于模型推理的攻击检测技术攻击者在入侵一个系统时往往采用一定的行为程序，如猜测口令的程序，这种行为程序构成了某种具有一定行为特征的模型，根据这种模型所代表的攻击意图的行为特征，可以实时地检测出恶意的攻击企图，尽管攻击者并不一定都是恶意的。用基于模型的推理方法人们能够为某些行为建立特定的模型，从而能够监视具有特定行为特征的某些活动。根据假设的攻击脚本，这种系统就能检测出非法的用户行为。一般为了准确判断，要为不同的入侵者和不同的系统建立特定的攻击脚本。当有证据表明某种特定的攻击模型发生时，系统应当收集其他证据来证实或者否定攻击的真实，以尽可能的避免错报。基于模式匹配的检测技术和基于异常发现的检测技术，所得出的结论有非常大的差异。基于异常的检测技术的核心是维护一个入侵模式库。对于已知得攻击，它可以详细、准确的报告报告出攻击类型，但是对未知攻击却效果有限，而且入侵模式库必须不断更新。基于异常发现的检测技术则无法准确判别出攻击的手法，但它可以（至少在理论上可以）发现更广泛的、甚至未知的攻击分法。如果条件允许，两者结合的检测会达到更好的效果。1.4 CIDF模型Common Intrusion Detection Framework (CIDF)阐述了一个入侵检测系统（IDS）的通用模型。它将一个入侵检测系统分为以下组件：l 事件产生器（Event generators）l 事件分析器（Event analyzersl 响应单元（Response units ）l 事件数据库（Event databases ）CIDF将入侵检测系统需要分析的数据统称为事件（event）,它可以是基于网络的入侵检测系统中网络中的数据包，也可以是基于主机的入侵检测系统从系统日志等其他途径得到的信息。他也对于各部件之间的信息传递格式、通信方法和标准API进行了标准化。事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果作出作出反应的功能单元，它可以作出切断连接、改变文件属性等强烈反应,甚至发动对攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文件。在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来分别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代事件数据库。CIDF标准还没有正式确立，也没有一个入侵检测商业产品完全所用该标准,但因为入侵检测系统的特殊性，其实各种入侵检测系统的模型都有很大的相似性。各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各厂商都在按照CIDF进行信息交换的标准化工作。第二章 分布式入侵检测系统2.1 现有入侵检测系统的不足入侵检测系统不能很好的检测所有的数据包：基于网络的入侵检测系统难以跟上网络速度的发展。借或网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要花费时间和系统资源。现有的入侵检测系统在10M网上检查所有数据包中的几十种攻击特征时可以很好地工作。现在很多网络都是50M、100M甚至千兆网络，网络速度的发展远远超过了数据包模式分析技术发展的速度。攻击特征库的更新不及时：绝大多数的入侵检测系统都是适用模式匹配的分析方法，这要求攻击特征库的特征值应该是最新的。但现在很多入侵检测系统没有提供了某种如“推技术”的方法来时刻更新攻击特征。在如今每天都有新漏洞发布、每天都有新的攻击方法产生的情况下显然不能满足安全需求。检测分析方法单一：攻击方法的越来越复杂，单一的基于模式匹配或统计的分析方法已经难以发现某一些攻击。另外，基于模式匹配和基于统计的分析方法各有所长，入侵检测系统的发展趋势是在同一个系统中同时使用不同的分析方法。现在几乎所有的入侵检测系统都使用了单一的分析方法。不同的入侵检测系统之间不能互操作：在大型网络中，网络不同的部分可能使用了不同的入侵检测系统，但现在的入侵检测系统之间不能能够交换信息，使得发现了攻击时难以找到攻击的源头，甚至给入侵者制造了攻击的漏洞。不能和其他网络安全产品互操作：入侵检测不是安全的终极武器，一个安全的网络中应该根据安全政策使用多种安全产品。但入侵检测系统不能很好的和其他安全产品协作。比如，一个网络中每两个小时自动运行一次漏洞扫描程序，如果他们不能够互操作，入侵检测系统将每两个小时产生一次警报。结构存在问题：现在的很多入侵检测系统是从原来的基于网络或基于主机的入侵检测系统不断改进而得来的，在体系结构等方面不能满足分布、开放等要求。2.2 主要功能要求一个成功的入侵检测系统至少要满足以下五个主要功能要求：1、实时性要求：如果攻击或者攻击的企图能够尽快的被发现，这就使得有可能查找出攻击者的位置，阻止进一步的攻击活动，有可能把破坏控制在最小限度，并能够记录下攻击者攻击过程的全部网络活动，并可作为证据回放。实时入侵检测可以避免常规情况下，管理员通过的对系统日志进行审计以查找入侵者或入侵行为线索时的种种不便与技术上的限制。2、可扩展性要求：因为存在成千上万种不同的已知和未知的攻击手段，它们的攻击行为特征也各不相同。所以必须建立一种机制，把入侵检测系统的体系结构与使用策略区分开。一个已经建立的入侵检测系统必须能够保证在新的攻击类型出现时，可以通过某种机制在无需对入侵检测系统本身进行改动的情况下，使系统能够检测到新的攻击行为。并且在入侵检测系统的整体功能设计上，也必须建立一种可以扩展的结构，以便系统结构本身能够适应未来可能出现的扩展要求。3、适应性要求：入侵检测系统必须能够适用于多种不同的环境，比如高速大容量计算机网络环境，并且在系统环境发生改变，比如增加环境中的计算机系统数量，改变计算机系统类型时，入侵检测系统应当依然能够不作改变正常工作。适应性也包括入侵检测系统本身对其宿主平台的适应性，即：跨平台工作的能力，适应其宿主平台软、硬件配置的各种不同情况。4、安全性与可用性要求：入侵检测系统必须尽可能的完善与健壮，不能向其宿主计算机系统以及其所属的计算机环境中引入新的安全问题及安全隐患。并且入侵检测系统应该在设计和实现中，因该能够有针对性的考虑几种可以预见的，对应于该入侵检测系统的类型与工作原理的攻击威胁，及其相应的抵御方法。确保该入侵检测系统的安全性与可用性。5、有效性要求：能够证明根据某一设计所建立的入侵检测系统是切实有效的。即：对于攻击事件的错报与漏报能够控制在一定范围内。2.3 系统概述ODIDS系统是基于部件的分布式入侵检测系统。系统中的部件(Component)是具有特定功能的独立的应用程序、小型的系统或者仅仅是一个非独立的应用程序的功能模块。在部署时，这些部件可能在同一台计算机上，也可以各自分布在一个大型网络的不同地点。总之，部件能够完成某一特定的功能，并且是ODIDS的一部分。部件之间通过统一的网络接口进行信息交换，这样既简化了部件之间的数据交换的复杂性，使得部件非常容易地分布在不同主机上，也给系统提供了一个扩展的接口。图21 ODID系统框图ODIDS的主要部件有：网络引擎(Network Engine)、主机代理(Host Agent)、存储系统(Storage System)、分析系统(analyzer)、响应系统(Response System)、控制台（Manager Console）。网络引擎和主机代理属于CIDF中的事件产生器（Event generators）。网络引擎截获网络中的原始数据包，并从其中寻找可能的入侵信息或其他敏感信息。主机代理在所在主机以各种方法收集信息，包括分析日志、监视用户行为、分析系统调用、分析该主机的网络通信等。但他们也具有数据分析功能，对于已知的攻击，在这些部件中所用模式匹配的方法来检测可以大大提高系统的处理速度，也可以减少分析部件的工作量及系统网络传输的影响。存储系统的作用是用来存贮事件产生器捕获的原始数据、分析结果等重要数据。储存的原始数据在对发现入侵者进行法律制裁时提供确凿的证据。存储系统也是不同部件之间数据处理的共享数据库，为系统不同部件提供各自感兴趣的数据。因此，存储系统应该提供灵活的数据维护、处理和查询服务，同时也是一个安全的日志系统。分析系统是对事件发生器捕获的原始信息、其他入侵检测系统提供的可疑信息进行统一分析和和处理的系统。分析系统注重于高层次的分析方法，如基于统计的分析方法、基于神经网络的分析方法等。同时负责分布式攻击进行检测。分析系统是整个入侵检测系统的大脑，分析方法则是该系统的思维能力。各种分析方法都有各自的优势和不足，因此，系统中分析方法应该是可以动态更换，并且多种算法可以并存的。响应系统是对确认的入侵行为采取相应措施的子系统。响应包括消极的措施，如给管理员发电子邮件、消息、传呼等。也可以采取保护性措施，如切断入侵者的TCP连接、修改路由器的访问控制策略等。也可以采取主动的反