毕业论文入侵检测技术分析与应用.doc

入侵检测技术分析与应用Analysis and Application of Intrusion Detection Technology目录摘要IAbstractII前言1第1章 绪论31.1 论文研究的背景31.2 入侵检测的历史41.3 入侵检测的未来及发展趋势51.3.1 分布式入侵检测技术与通用入侵检测架构61.3.2 应用层的入侵检测保护61.3.3 融合多种IDS进行检测61.3.4 智能化的全面检测6第2章 入侵检测技术的原理及应用82.1 入侵检测系统的工作流程82.1.1 数据收集82.1.2 数据提取82.1.3 数据分析82.1.4 结果处理82.2 入侵检测技术的检测模型82.2.1 异常检测模型92.2.2 误用检测模型92.3 入侵检测系统的分类102.3.1 基于主机的入侵检测系统102.3.2 基于网络的入侵检测系统102.3.4 基于代理的入侵检测系统11第3章 入侵检测的功能和关键技术123.1 入侵检测的功能123.2 入侵检测的作用123.3 异常检测技术133.3.1统计学方法133.3.2入侵检测的软计算方法133.3.3基于专家系统的入侵检测方法133.4 误用检测技术143.4.1 基于专家系统的误用入侵检测143.4.2 基于模型推理的误用入侵检测153.4.3 基于状态转换分析的误用入侵检测153.4.4 基于条件概率的误用入侵检测163.4.5 基于键盘监控的误用入侵检测16第4章 入侵检测技术的信息收集和分析174.1 入侵检测技术信息的收集174.2入侵检测技术信息的分析174.2.1 模式匹配184.2.2统计分析184.2.3 完整性分析18第5章 入侵检测技术的数据处理205.1 入侵检测技术处理的内容205.1.1 系统和网络日志文件205.1.2 目录和文件中的不期望的改变205.1.3 程序执行中的不期望行为205.1.4 物理形式的入侵信息215.2 入侵检查对数据的处理215.2.1入侵检测数据处理存在的问题215.2.2入侵检测数据处理的发展趋势22第6章 入侵检测技术的缺点和改进发展246.1 入侵检测技术所面临的问题246.2 入侵检测技术的改进发展246.2.1 改进方法提高准确率256.2.2 检测和防范分布式攻击与拒绝服务攻击266.2.3 实现IDS与其他安全部件的互动276.2.4 IDS的标准化工作276.2.5 IDS的测试和评估28结论29总结与体会30谢辞31参考文献32附录一33附录二38入侵检测技术的分析与应用摘要近年来随着计算机网络的迅速发展，网络安全问题越来越受到人们的重视。从网络安全角度来看，防火墙等防护技术只是被动安全防御技术，只是尽量阻止攻击或延缓攻击，只会依照特，定的规则，允许或是限制传输的数据通过。在网络环境下不但攻击手段层出不穷，而且操作系统、安全系统也可能存在诸多未知的漏洞，这就需要引入主动防御技术对系统安全加以补充，目前主动防御技术主要就是入侵检测技术。本文从入侵检测技术的发展入手，研究、分析了入侵检测技术和入侵检测系统的原理、应用、信息收集和分析、数据的处理及其优缺点和未来的发展方向。关键词：网络安全，网络入侵，入侵检测技术，入侵检测系统Analysis and Application of Intrusion Detection TechnologyAbstractRecent years, with the rapid development of computer networks, network security issues more and more attention. From the perspective of network security, firewall and other security protection technology is a passive defense technology, but as far as possible to prevent attacks or slow the attack, only under special, set rules that allow or restrict the transmission of data through. In the network environment is not only endless means of attack, and the operating system, security system, there may be many unknown vulnerabilities, which requires the introduction of proactive technologies to be added to the system security, the current is mainly proactive intrusion detection technology. From the start the development of intrusion detection technology, research, analysis of intrusion detection and intrusion detection systems theory, application, information collection and analysis, data processing and its advantages and disadvantages and future direction of development.Key Words: Network security , Network Intrusion ,Intrusion detection technology ,Intrusion detection system前言随着计算机技术的迅速发展，在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出。网络上的攻击事件越来越多，入侵方式也层出不穷，网络安全风险系数不断提高。个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。曾经作为最主要安全防范手段的防火墙，已经不能满足人们对网络安全的需求。仅仅是简单的规则性的被动防御技术无法适应当前的网络，需要引入主动防御技术对系统安全加以补充。任何程序都不可避免的存在BUG，甚至连安全工具本身也可能存在安全的漏洞。每天都有新的BUG被发现和公布出来，程序设计者在修改已知的BUG的同时又可能使它产生了新的BUG。系统的BUG经常被黑客利用，而且这种攻击通常不会产生日志，几乎无据可查。比如说现在很多程序都存在内存溢出的BUG，现有的安全工具对于利用这些BUG的攻击几乎无法防范。黑客的攻击手段在不断地更新，几乎每天都有不同系统安全问题出现。然而安全工具的更新速度太慢，绝大多数情况需要人为的参与才能发现以前未知的安全问题，这就使得它们对新出现的安全问题总是反应太慢。当安全工具刚发现并努力更正某方面的安全问题时，其他的安全问题又出现了。因此，黑客总是可以使用先进的、安全工具不知道的手段进行攻击。 在最近一次黑客大规模的攻击行动中，SONY公司数据服务器被入侵，各种服务被迫长时间停止运行，损失超过了十亿美金。7700万在线游戏用户的资料被盗，其中包括姓名、出生日期，信用卡号等重要信息。对于游戏机始终是龙头的索尼公司，这一泄漏机密信息事件将严重挫伤该公司。“网络还安全吗？" 这一问题摆在了我们面前，很多组织正在致力于提出更多的更强大的主动策略和方案来增强网络的安全性，然而另一个更为有效的解决途径就是入侵检测。在入侵检测之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。 第1章 绪论1.1 论文研究的背景随着Intemet的发展，社会对网络信息和网络应用系统的需求和依赖日益增强，计算机网络系统正在成为一个国家极为关键的政治、经济、军事和文教资源，同时，它也正在成为一个国家实力的新的象征和社会发展的重要保证。在计算机网络中存在着大量重要的、敏感的甚至是机密的信息，如国家的军事能源信息、政府的调控决策信息、科研机构的研究技术信息和商业企业的技术经济信息等等；在计算机网络中还存在着大量重要的应用系统，如金融、证券、商务、税务、文教等电子系统。然而一个国家的政府、组织、公司和个人在利用Internet提高了效率的同时，在保卫它们的系统免受网络入侵和网络攻击方面也正面临着巨人的风险和挑战，越来越多的安全问题正在对网络应用造成巨大的威胁。世界著名的商业网站，如Yahoo、Buy、EBay、Amazon、CNN都曾被黑客入侵，造成巨大的经济损失。甚至连专门从事网络安全的RSA网站也受到黑客的攻击。据美国GAO、DISA、FBI、NSA以及其它一些网络安全组织的统计调查表明，世界上黑客袭击计算机网络的事件每年以30的速度增长，商业信息被窃取的事件以每月260的速率在增加。与此同时，网络入侵者的经验正在变得越来越丰富，攻击工具和技术水平不断提高，攻击方法也在不断地创新和更加丰富多样化。这些攻击轻则造成一些麻烦和经济上的损失，重则严重地威胁到国家政治经济环境的稳定和国防安全。对入侵攻击的检测与防范、保障计算机系统、网络系统及整个信息基础设施的安全已经成为刻不容缓的重要课题。从一开始，人们就企图先构筑某种安全的系统模型，然后想方设法地去实现。继而，人们制定了一系列的安全法则和评测标准，用来构筑一个相对稳固的安全系统。无论是安全模型，还是系统安全等级评估标准，人们主要是从身份认证和访问控制这两个方面来保证系统的安全性。但是，传统的身份认证技术j包括Kerberos技术，并不能抵制脆弱性的口令，字典攻击、特洛伊木马、网络窥探工具以及电磁辐射等攻击手段。对于访问控制，入侵者也可以利用脆哈尔滨理工大学工学硕士学位论文弱性程序或系统漏洞绕过访问控制，或者提升用户权限，或者非法读写文件等。网络防火墙虽然为网络服务提供了较好的身份认证和访问控制技术，但是防火墙并不能阻挡所有的入侵行为，对于内部攻击更是无能为力。入侵检测作为一种积极主动的安全防护技术，被认为是防火墙之后的第一道安全闸门。它能在不影响网络性能的情况下对网络进行监听，可以识别入侵者、识别入侵行为、检测和监视已经成功的入侵，并进行入侵响应，从而提供对内部攻击、外部攻击和误操作的实时保护。入侵检测是指“通过对行为、安全日志或审计数据或其它网络上可以获得的信息进行操作，检测到对系统的闯入或闯入的企图”。入侵检测是检测和响应计算机误用的学科，其作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安全策略行为的技术。1.2 入侵检测的历史1980年4月，JnamesP.Aderson为美国空军做了一份题为“Computer Security ThreatMonitoring and Sureillance”（计算机安全威胁监控与监视）的技术报告，第一次详细的阐述了入侵检测的概念。他提出了一种对计算机系统风险和威胁的分类方法，并将威胁分为了外部渗透、内部渗透和不法行为三种，还提出了利用审计跟踪数据监视入侵活动的思想。这份报告被公认为是入侵检测的开山之作。 1984年-1986年，乔治敦大学的Dorothy Denning和SRI/CSL（SRI公司计算机科学实验室）的PeterNeumann研究出了一种实时入侵检测系统模型，取名为IDES（入侵检测专家系统）。 该模型独立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵系统提供了一个通用的框架。1988年，SRI/CSL的Teresa Lunt等改进了Denning的入侵检测模型，并研发出了实际的IDES。 1989年，加州大学戴维斯分校的Todd Heberlein写了一篇论文A Network Security Monitor，该监控器用于捕获TCP/IP分组，第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机，网络入侵检测从此诞生。1990年时入侵检测系统发展史上十分重要的一年。这一年，加州大学戴维斯分校的L.T.Heberlein等开发出了NSM(Network Security Monitor)。该系统第一次直接将网络作为审计数据的来源，因而可以在不将审计数计转化成统一的格式情况下监控异种主机。同时两大阵营正式形成：基于网络的IDS和基于主机的IDS。入侵检测是一门综合性技术，既包括实时检测技术，也有事后分析技术。尽管用户希望通过部署IDS来增强网络安全，但不同的用户需求也不同。由于攻击的不确定性，单一的IDS产品可能无法做到面面俱到。因此，IDS的未来发展必然是多元化的，只有通过不断改进和完善才能更好地协助网络进行安全防御。入侵检测技术的发展已经历了四个主要阶段：第一阶段是以基于协议解码和模式匹配为主的技术，其优点是对于已知的攻击行为非常有效，各种已知的攻击行为可以对号入座，误报率低；缺点是高超的黑客采用变形手法或者新技术可以轻易躲避检测，漏报率高。第二阶段是以基于模式匹配+简单协议分析+异常统计为主的技术，其优点是能够分析处理一部分协议，可以进行重组；缺点是匹配效率较低，管理功能较弱。这种检测技术实际上是在第一阶段技术的基础上增加了部分对异常行为分析的功能。第三阶段是以基于完全协议分析+模式匹配+异常统计为主的技术，其优点是误报率、漏报率和滥报率较低，效率高，可管理性强，并在此基础上实现了多级分布式的检测管理；缺点是可视化程度不够，防范及管理功能较弱。第四阶段是以基于安全管理+协议分析+模式匹配+异常统计为主的技术，其优点是入侵管理和多项技术协同工作，建立全局的主动保障体系，具有良好的可视化、可控性和可管理性。以该技术为核心，可构造一个积极的动态防御体系，即IMS入侵管理系统。1.3 入侵检测的未来及发展趋势随着计算机技术的发展在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，很多组织正在致力于提出更多的更强大的主动策略和方案来增强网络的安全性，然而另一个更为有效的解决途径就是入侵检测。在入侵检测之前，大量的安全机制都是根据从主观的角度设计的，他们没有根据网络攻击的具体行为来决定安全对策。因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系 统策略以加强系统的安全性。入侵检测的发展方向随着信息系统对一个国家的社会生产与国民经济的影响越来越大，再加上网络攻击者的攻击工具与手法日趋复杂化，信息战已逐步被各个国家重视。近年来，入侵检测有如下几个主要发展方向：1.3.1 分布式入侵检测技术与通用入侵检测架构分布式入侵检测与通用入侵检测架构传统的IDS一般局限于单一的主机或网络架构，对异构系统及大规模的网络的监测明显不足，再加上不同的IDS系统之间不能很好地协同工作。为解决这一问题，需要采用分布式入侵检测技术与通用入侵检测架构。1.3.2 应用层的入侵检测保护 应用层入侵检测许多入侵的语义只有在应用层才能理解，然而目前的IDS仅能检测到诸如Web之类的通用协议，而不能处理Lotus Notes、数据库系统等其他的应用系统。许多基于客户服务器结构、中间件技术及对象技术的大型应用，也需要应用层的入侵检测保护。43 智能的入侵检测入侵方法越来越多样化与综合化，尽管已经有智能体、神经网络与遗传算法在入侵检测领域应用研究，但是，这只是一些尝试性的研究工作，需要对智能化的IDS加以进一步的研究，以解决其自学习与自适应能力。1.3.3 融合多种IDS进行检测入侵检测的评测方法用户需对众多的IDS系统进行评价，评价指标包括IDS检测范围、系统资源占用、IDS自身的可靠性，从而设计出通用的入侵检测测试与评估方法与平台，实现对多种IDS的检测。1.3.4 智能化的全面检测 全面的安全防御方案结合安全工程风险管理的思想与方法来处理网络安全问题，将网络安全作为一个整体工程来处理。从管理、网络结构、加密通道、防火墙、病毒防护、入侵检测多方位全面对所关注的网络作全面的评估，然后提出可行的全面解决方案。综上所述，入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，使网络系统在受到危害之前即拦截和响应入侵行为，为网络安全增加一道屏障。随着入侵检测的研究与开发，并在实际应用中与其它网络管理软件相结合，使网络安全可以从立体纵深、多层次防御的角度出发，形成人侵检测、网络管理、网络监控三位一体化，从而更加有效地保护网络的安全。 第2章 入侵检测技术的原理及应用入侵检测是指通过对行为、安全日志或审计数据或其它网络上可以获得的信息进行操作，检测到对系统的闯入或闯入的企图。进行入侵检测的软件与硬件的组合便是入侵检测系统(Intrusion Detection System，简称IDS)。入侵检测系统通过收集、分析有关网络安全的信息，发现网络系统的不正常模式或未授权访问尝试。2.1 入侵检测系统的工作流程入侵检测系统由数据收集、数据提取、数据分析、事件处理等几个部份组成。 2.1.1 数据收集入侵检测的第一步是数据收集，内容包括系统、网络运行、数据及用户活动的状态和行为，而且，需要在计算机网络系统中的若干不同关键点（不同网段和不同主机）收集数据。入侵检测很大程度上依赖于收集数据的准确性与可靠性，因此，必须使用精确的软件来报告这些信息，因为黑客经常替换软件以搞混和移走这些数据，例如替换被程序调用的子程序、库和其它工具。数据的收集主要来源以下几个方面：系统和网络日志文件、目录和文件不期望的改变、程序不期望的行为、物理形式的入侵数据。2.1.2 数据提取从收集到的数据中提取有用的数据，以供数据分析之用。2.1.3 数据分析对收集到的有关系统、网络运行、数据及用户活动的状态和行为等数据通过三种技术手段进行分析：模块匹配、统计分析和完整性分析。2.1.4 结果处理记录入侵事件，同时采取报警、中断连接等措施。 2.2 入侵检测技术的检测模型从技术上划分，入侵检测有两种检测模型： 2.2.1 异常检测模型异常检测模型：检测与可接受行为之间的偏差。如果可以定义每项可接受的行为，那么每项不可接受的行为就应该是入侵。首先总结正常操作应该具有的特征（用户轮廓），用户轮廓是指各种行为参数及其阈值的集合。当用户活动与正常行为有重大偏离时即被认为是入侵。这种检测模型漏报率低，误报率高。因为不需要对每种入侵行为进行定义，所以能有效检测未知的入侵。异常检测的模型如图2-1所示。系统审计比较用户轮廓是否低于阈值正常行为入侵行为YN图2-1 异常检测模型2.2.2 误用检测模型误用检测模型：检测与已知的不可接受行为之间的匹配程度。如果可以定义所有的不可接受行为，那么每种能够与之匹配的行为都会引起告警。收集非正常操作的行为特征，建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵。这种检测模型误报率低、漏报率高。对于已知的攻击，它可以详细、准确地报告出攻击类型，但是对未知攻击的效果有限，而且特征库必须不断更新。误用检测的模型如图2-2所示。系统审计比较攻击特征库 是否匹配正常行为入侵行为NY图2-2 误用检测模型2.3 入侵检测系统的分类一般来说，入侵检测系统可分为基于主机型入侵检测系统、基于网络型入侵检测系统和基于代理型入侵检测系统。2.3.1 基于主机的入侵检测系统 基于主机的入侵检测系统通常以系统日志、应用程序日志等审计记录文件作为数据源。它是通过比较这些审计记录文件的记录与攻击签名(Attack Signature，指用一种特定的方式来表示已知的攻击模式)以发现它们是否匹配。如果匹配，检测系统向系统管理员发出入侵报警并采取相应的行动。基于主机的IDS可以精确地判断入侵事件，并可对入侵事件及时做出反应。基于主机的入侵检测系统对系统内在的结构却没有任何约束，同时可以利用操作系统本身提供的功能，并结合异常检测分析，更能准确的报告攻击行为。 基于主机的入侵检测系统存在的不足之处在于：会占用主机的系统资源，增加系统负荷，而且针对不同的操作平台必须开发出不同的程序，另外所需配置的数量众多。 2.3.2 基于网络的入侵检测系统 基于网络的入侵检测系统把原始的网络数据包作为数据源。利用网络适配器来实时地监视并分析通过网络进行传输的所有通信业务。它的攻击识别模块进行攻击签名识别的方法有：模式、表达式或字节码匹配；频率或阈值比较；次要事件的相关性处理；统计异常检测。一旦检测到攻击，IDS的响应模块通过通知、报警以及中断连接等方式来对攻击行为做出反应。然而它只能监视通过本网段的活动，并且精确度较差，在交换网络环境中难于配置，防欺骗的能力也比较差。2.3.4 基于代理的入侵检测系统基于代理的入侵检测系统用于监视大型网络系统。随着网络系统的复杂化和大型化，系统弱点趋于分布式，而且攻击行为也表现为相互协作式特点，所以不同的IDS之间需要共享信息，协同检测。整个系统可以由一个中央监视器和多个代理组成。中央监视器负责对整个监视系统的管理，它应该处于一个相对安全的地方。代理则被安放在被监视的主机上(如服务器、交换机、路由器等)。代理负责对某一主机的活动进行监视，如收集主机运行时的审计数据和操作系统的数据信息，然后将这些数据传送到中央监视器。代理也可以接受中央监控器的指令。这种系统的优点是可以对大型分布式网络进行检测。 第3章 入侵检测的功能和关键技术3.1 入侵检测的功能一个入侵检测系统的功能结构至少包含事件提取、入侵分析、入侵响应和远程管理四部分功能。 事件提取功能负责提取与被保护系统相关的运行数据或记录，并负责对数据进行简单的过滤。 入侵分析的任务就是在提取到的运行数据中找出入侵的痕迹，将授权的正常访问行为和非授权的不正常访问行为区分开，分析出入侵行为并对入侵者进行定位。 入侵响应功能在分析出入侵行为后被触发，根据入侵行为产生响应。 由于单个入侵检测系统的检测能力和检测范围的限制，入侵检测系统一般采用分布监视集中管理的结构，多个检测单元运行于网络中的各个网段或系统上，通过远程管理功能在一台管理站点上实现统一的管理和监控。3.2 入侵检测的作用防火墙是Internet网络上最有效的安全保护屏障，防火墙在网络安全中起到大门警卫的作用，对进出的数据依照预先设定的规则进行匹配，符合规则的就予以放行，起到访问控制的作用，是网络安全的第一道闸门。但防火墙的功能也有局限性，防火墙只能对进出网络的数据进行分析，对网络内部发生的事件完全无能为力。它是尽量阻止攻击或延缓攻击。在网络环境下不但攻击手段层出不穷，而且操作系统、安全系统也可能存在未知的漏洞，这就需要引入主动防御技术对系统安全加以补充，目前主动防御技术主要就是入侵检测技术。 同时，由于防火墙处于网关的位置，不可能对进出攻击作太多判断，否则会严重影响网络性能。如果把防火墙比作大门警卫的话，入侵检测就是网络中不间断的摄像机，入侵检测通过旁路监听的方式不间断的收取网络数据，对网络的运行和性能无任何影响，同时判断其中是否含有攻击的企图，通过各种手段向管理员报警。3.3 异常检测技术3.3.1统计学方法 统计模型常用于对异常行为的检测,在统计模型中常用的测量参数包括审计事件的数量、间隔时间、资源消耗情况等。目前提出了可用于入侵检测的5种统计模型包括： 操作模型:该模型假设异常可通过测量结果与一些固定指标相比较得到,固定指标可以根据经验值或一段时间内的统计平均得到,举例来说,在短时间内的多次失败的登录很可能是口令尝试攻击。 方差:计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常。 多元模型:操作模型的扩展,通过同时分析多个参数实现检测。 马尔柯夫过程模型:将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,若对应于发生事件的状态矩阵中转移概率较小,则该事件可能是异常事件。 时间序列分析:将事件计数与资源耗用根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。 入侵检测的统计分析首先计算用户会话过程的统计参数,再进行与阈值比较处理与加权处理,最终通过计算其"可疑"概率分析其为入侵事件的可能性。统计方法的最大优点是它可以"学习"用户的使用习惯,从而具有较高检出率与可用性。但是它的"学习"能力也给入侵者以机会通过逐步"训练"使入侵事件符合正常操作的统计规律,从而透过入侵检测系统。 3.3.2入侵检测的软计算方法 入侵检测的方法可有多种,针对异常入侵行为检测的策略与方法往往也不是固定的,智能计算技术在入侵检测中的应用将大大提高检测的效率与准确性。所谓软计算的方法包含了神经网络、遗传算法与模糊技术。 3.3.3基于专家系统的入侵检测方法 基于专家系统的入侵检测方法与运用统计方法与神经网络对入侵进行检测的方法不同,用专家系统对入侵进行检测,经常是针对有特征的入侵行为。 所谓的规则,即是知识。不同的系统与设置具有不同的规则,且规则之间往往无通用性。专家系统的建立依赖于知识库的完备性,知识库的完备性又取决于审计记录的完备性与实时性。特征入侵的特征抽取与表达,是入侵检测专家系统的关键。将有关入侵的知识转化为if-then结构(也可以是复合结构),if部分为入侵特征,then部分是系统防范措施。 运用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性,建立一个完备的知识库对于一个大型网络系统往往是不可能的,且如何根据审计记录中的事件,提取状态行为与语言环境也是较困难的。例如,ISS公司为了建立比较完备的专家系统,一方面与地下组织建立良好关系,并成立由许多工作人员与专家组成的X-Force组织来进行这一工作。 由于专家系统的不可移植性与规则的不完备性。现已不宜单独用于入侵检测,或单独形成商品软件。较适用的方法是将专家系统与采用软计算方法技术的入侵检测系统结合在一起,构成一个以已知的入侵规则为基础,可扩展的动态入侵事件检测系统,自适应地进行特征与异常检测,实现高效的入侵检测及其防御。3.4 误用检测技术又称为基于知识的检测。其基本前提是：假定所有可能的入侵行为都能被识别和表示。首先， 对已知的攻击方法进行攻击签名(攻击签名是指用一种特定的方式来表示已知的攻击模式)表示，然后根据已经定义好的攻击签名，通过判断这些攻击签名是否出现来判断入侵行为的发生与否。这种方法是依据是否出现攻击签名来判断入侵行为，是一种直接的方法。3.4.1 基于专家系统的误用入侵检测专家系统是基于知识的检测中运用最多的一种方法。该方法将有关入侵的知识转化成if-then结构的规则，即将构成入侵所要求的条件转化为if部分，将发现入侵后采取的相应措施转化成then部分。当其中某个或某部分条件满足时，系统就判断为入侵行为发生。其中的if-then结构构成了描述具体攻击的规则库。条件部分，即if后的规则化描述，可根据审计事件得到，然后根据规则和行为进行判断，执行then后的动作。在具体实现中，专家系统需要从各种入侵手段中抽象出全面的规则化知识，需处理大量数据，在大型系统上尤为明显。因此，大多运用与专家系统类似的特征分析法。特征分析不是将攻击方法的语义描述转化为检测规则，而是在审计记录中能直接找到的信息形式。这样大大提高了检测效率。这种方法的缺陷也和所有基于知识的检测方法一样，即需要经常为新发现的系统漏洞更新知识库，而且由于对不同操作系统平台的具体攻击方法和审计方式可能不同，特征分析检测系统必须能适应这些不同。3.4.2 基于模型推理的误用入侵检测模型推理是指结合攻击脚本来推断入侵行为是否出现。其中有关攻击者行为的知识被描述为：攻击目的，攻击者为达到此目的可能的行为步骤，以及对系统的特殊使用等。基于模型推理的误用检测方法工作过程如下：（1）根据攻击知识建立攻击脚本库，每一脚本都由一系列攻击行为组成；（2）用这些攻击脚本的子集来匹配当前行为模式，发现系统正面临的可能攻击；（3）将当前行为模式输入预测器模块，产生下一个需要验证的攻击脚本子集，并将它传给决策器；（4）决策器根据这些假设的攻击行为在审讨记录中的可能出现方式，将它们转换成与特定系统匹配的审计记录格式，然后在审计记录中寻找相应信息来判断这些行为模式是否为攻击行为。假设的初始攻击脚本子集应易于在审计记录中识别，并且出现频率很高。随着一些脚本被确认的次数增多，另一些脚本被确认的次数减少，从而攻击脚本不断地得到更新。模型推理方法对不确定性的推理有合理的数学理论基础，同时决策器使得攻击脚本可以与审计记录的上下文无关。另外，这种检测方法减少了需要处理的数据量。但其创建入侵检测模型的工作量比较大，并且决策器转换攻击脚本比较复杂。3.4.3 基于状态转换分析的误用入侵检测状态转换分析是将状态转换图应用于入侵行为分析，它最早由RKemmerer提出。状态转换法将入侵过程看作一个行为序列，这个行为序列导致系统从初始状态转到被入侵状态。分析时首先针对每一种入侵方法确定系统的初始状态和被入侵状态，以及导致状态转换的转换条件，即导致系统进人被入侵状态必须执行的操作(特征事件)；然后用状态转换图来表示每一个状态和特征事件，这些事件被集成于模型中，所以检测时不需要一个个地查找审计记录。但是，状态转换是针对事件序列分析，所以不宜于分析十分复杂的事件，而且不能检测与系统状态无关的入侵。3.4.4 基于条件概率的误用入侵检测基于条件概率的误用入侵检测方法将入侵方式对应于一个事件序列，然后通过观测事件发生的情况来推测入侵的出现。这种方法的依据是外部事件序列，根据贝叶斯定理进行推理。基于条件概率的误用入侵检测方法是在概率理论基础上的一个普遍方法。它是对贝叶斯方法的改进，其缺点是先验概率难以给出，而且事件的独立性难以满足。3.4.5 基于键盘监控的误用入侵检测该方法假设入侵对应特定的击键序列模式，然后监测用户击键模式，并将这一模式与入侵模式匹配，即能检测入侵。这种方法在没有操作系统支持的情况下，缺少捕获用户击键的可靠方法，而且同一种攻击存在无数击键方式表示。另外，假如没有击键语义分析，用户使用别名命令很容易欺骗这种检测技术。例如，用户注册的SHELL提供了简写命令序列工具，可以产生所谓的别名，类似宏定义。因为这种技术仅仅分析击键，所以不能够检测到恶意程序执行结果的自动攻击。但该方法相对容易实现。 第4章 入侵检测技术的信息收集和分析4.1 入侵检测技术信息的收集入侵检测技术需要收集系统、网络、数据及用户活动的状态和行为的信息。一般采用分布式结构，在计算机网络系统中的若干不同关键点(不同网段和不同主机)收集信息，一方面扩大检测范围，另一方面通过多个采集点的信息的比较来判断是否存在可疑现象或发生入侵行为。当然，入侵检测技术很大和度上依赖于收集信息的可靠性和下确性，因此，很有必要只利用 当前的优秀软件来报告这些信息。因为黑客经常替换软件以搞混和移走这些信息，例如替换被程序调用的子程序、库和其它工具。黑客对系统的修改可能使系统功能失常并看起来跟正常的一样，而实际上不是。4.2入侵检测技术信息的分析入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。入侵分析过程需要将提取到的事件与入侵检测规则进行比较，从而发现入侵行为。一方面入侵检测系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方面由于入侵行为的千变万化而导致判定入侵的规则越来越复杂，为了保证入侵检测的效率和满足实时性的要求，入侵分析必须在系统的性能和检测能力之间进行权衡，合理地设计分析策略，并且可能要牺牲一部分检测能力来保证系统可靠、稳定地运行并具有较快的响应速度。 分析策略是入侵分析的核心，系统检测能力很大程度上取决于分析策略。在实现上，分析策略通常定义为一些完全独立的检测规则。基于网络的入侵检测系统通常使用报文的模式匹配或模式匹配序列来定义规则，检测时将监听到的报文与模式匹配序列进行比较，根据比较的结果来判断是否有非正常的网络行为。这样以来，一个入侵行为能不能被检测出来主要就看该入侵行为的过程或其关键特征能不能映射到基于网络报文的匹配模式序列上去。有的入侵行为很容易映射，如ARP欺骗，但有的入侵行为是很难映射的，如从网络上下载病毒。对于有的入侵行为，即使理论上可以进行映射，但是在实现上是不可行的，比如说有的网络行为需要经过非常复杂的步骤或较长的过程才能表现其入侵特性，这样的行为由于具有非常庞大的模式匹配序列，需要综合大量的数据报文来进行匹配，因而在实际上是不可行的。而有的入侵行为由于需要进行多层协议分析或有较强的上下文关系，需要消耗大量的处理能力来进行检测，因而在实现上也有很大的难度。 4.2.1 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统已有模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。一般来讲，一种进攻模式可以用一个过程（如执行一条指令）或一个输出（如获得权限）来表示。该方法的一大优点是只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。它与防火墙采用的方法一样，检测准确率和效率都相当高。但是，该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击手法，不能检测到从未出现过的黑客攻击手段。 4.2.2统计分析 统计分析方法首先给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如