入侵检测系统.doc

入侵检测系统(ids)是近十多年发展起来的新一代安全防范技术，它通过对计算机网络或系统中的若干关键点收集信息并对其进行分析，从中发现是否有违反安全策略的行为和被攻击的迹象。这是一种集检测、记录、报警、响应的动态安全技术，不仅能检测来自外部的入侵行为，同时也监督内部用户的未授权活动。ids技术主要面临着三大挑战。一、如何提高入侵检测系统的检测速度，以适应网络通信的要求。网络安全设备的处理速度一直是影响网络性能的一大瓶颈，虽然ids通常以并联方式接入网络的，但如果其检测速度跟不上网络数据的传输速度，那么检测系统就会漏掉其中的部分数据包，从而导致漏报而影响系统的准确性和有效性。在ids中，截获网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要花费大量的时间和系统资源，因此大部分现有的ids只有几十兆的检测速度，随着百兆、甚至千兆网络的大量应用，ids技术发展的速度已经远远落后于网络速度的发展。二、如何减少入侵检测系统的漏报和误报，提高其安全性和准确度。基于模式匹配分析方法的ids将所有入侵行为和手段及其变种表达为一种模式或特征，检测主要判别网络中搜集到的数据特征是否在入侵模式库中出现，因此，面对着每天都有新的攻击方法产生和新漏洞发布，攻击特征库不能及时更新是造成ids漏报的一大原因。而基于异常发现的ids通过流量统计分析建立系统正常行为的轨迹，当系统运行时的数值超过正常阈值，则认为可能受到攻击，该技术本身就导致了其漏报误报率较高。另外，大多ids是基于单包检查的，协议分析得不够，因此无法识别伪装或变形的网络攻击，也造成大量漏报和误报。三、如何提高入侵检测系统的互动性能，从而提高整个系统的安全性能。在大型网络中，网络的不同部分可能使用了多种入侵检测系统，甚至还有防火墙、漏洞扫描等其他类别的安全设备，这些入侵检测系统之间以及ids和其他安全组件之间如何交换信息，共同协作来发现攻击、作出响应并阻止攻击是关系整个系统安全性的重要因素。例如，漏洞扫描程序例行的试探攻击就不应该触发ids的报警；而利用伪造的源地址进行攻击，就可能联动防火墙关闭服务从而导致拒绝服务，这也是互动系统需要考虑的问题。上海广电应确信有限公司()作为专业的网络安全设备厂商，在ids技术上，采用了高速网络数据采集技术，结合独特的硬件和软件优化，提高了检测分析速度，同时以模式匹配技术为主，结合异常发现技术，采用基于主机和基于网络两种方式兼备的分布式系统，并使用先进的“基于上下文分析”技术，提供了更准确的可互动的入侵检测。本贴来自天极网群乐社区-基于改进的BM算法在IDS中的实现摘  要入侵检测技术是一种主动保护自己免受攻击的网络安全技术，是继防火墙、数据加密等传统安全保护措施后新一代的安全保障技术，作为防火墙的合理补充，入侵检测技术能够帮助系统对付网络攻击，扩展系统管理员的安全管理能力，提高信息安全基础结构的完整性。本文首先对入侵检测现状、入侵检测系统组成进行了分析和总结，重点研究了网络入侵检测的核心技术入侵检测算法。模式匹配算法是基于特征匹配的入侵检测系统中的核心算法，是当前入侵检测设备中普遍应用的算法。模式匹配的效率决定了入侵检测系统的性能。通过对开放源代码的snort中模式匹配技术的改进，提出了一种更快的模式匹配算法，该算法可以加快入侵检测系统的检测速度，提高现有入侵检测系统的检测能力。关键词：BM算法；入侵检测系统；模式匹配；单模式匹配算法 Implementation of Improved BM Algorithm in IDSAbstractIntrusion Detection Technology is such a kind of safe technologies that can make one avoid being attacked by network practices voluntarily, a new generation of security technology after the traditional security protective measure, such as fire wall, data encrypted etc. As a rational supplement of fire wall, Intrusion Detection Technique can help the system to deal with attacks from network and expand security managerial ability of system manager, and raise the integrality of the security infrastructure of the information.First, this dissertation analyses and summarizes the current status of intrusion research, focuses on research and practice on intrusion detection system (IDS) algorithm which is technique difficulties in network intrusion detection. Pattern Matching Algorithm is central algorithm in signature based on IDS. The effect of these IDS is dominated by pattern matching algorithm used. By means of improving the pattern matching technique in open source code-snort, an even faster algorithm of pattern matching is presented so that the detection speed of IDS can be increased and the detective ability of available IDS is proved.Key words: BM Algorithm; IDS; Pattern-matching; Single Pattern-matching Algorithm 目  录1  引言 11.1 课题背景 11.2 本课题研究的意义 22  入侵检测系统概述 22.1 入侵检测的概念 22.2 入侵检测系统的组成及部署 22.2.1 入侵检测系统的组成 22.2.2 入侵检测系统的部署 32.3 网络入侵检测系统Snort 32.3.1 Snort系统概述 32.3.2 Snort系统简要分析 42.3.3 Snort系统部分源码简介 63  BM算法 63.1 BM算法 63.1.1 BM算法具体介绍 63.1.2 BM算法预处理 83.1.3 BM算法查找 93.2 BM算法字符匹配实例 94  BM算法的改进和实现 124.1 BM算法的改进思想 124.2 改进的BM算法 144.3 改进的BM算法与BM算法的性能比较 164.3.1 性能实例比较 164.3.2 性能测试比较 174.4改进的BM算法在Snort系统中的实现 18结    论 19参考文献 19致    谢 20声    明 21 1  引言1.1 课题背景由于计算机网络自身存在的局限性和信息系统的脆弱性，使得计算机网络系统上的硬件资源，通信资源，软件及信息资源等因为可预见或不可预见的甚至恶意的原因而遭到破坏、更改、泄露或功能失效，使得信息系统处于异常状态，甚至引起系统的崩溃瘫痪，造成巨大的经济损失。在这样的形式下，以保护网络中的信息免受各种攻击为目的的网络安全变得越来越重要，对安全方面的考虑提高到了越来越重要的地位上。在设计现有防护系统的时候，只可能考虑到已知的安全威胁与有限范围的未知安全威胁。防护技术只能做到尽量阻止攻击企图的得逞或者延缓这个过程，而不能阻止各种攻击事件的发生，这时就需要引入入侵检测手段加以弥补。入侵检测系统（IDS）就是按照一定的安全策略建立相应的安全辅助措施的保障系统。目前IDS软件的开发方式基本上就是按照这个思路进行的。对IDS的要求是：如果系统遭到攻击，IDS应尽可能的检测到，甚至是实时的检测到入侵攻击，然后采取适当的处理措施。入侵检测系统一般不是采取预防的措施以防止入侵事件的发生，入侵检测作为安全技术其作用在于：(1)识别入侵者；(2)识别入侵行为；(3)检测和监视已成功的安全突破；(4)为对抗入侵及时提供重要信息，阻止事件的发生和事态的扩大。从这些角度看待安全问题，入侵检测非常必要，它将弥补传统安全保护措施的不足。从目前入侵检测技术的研究来看，一个重要的环节是对入侵行为特征进行匹配，即规则匹配。规则匹配的过程就是对从网络上捕获的每一条数据报文和预先定义的入侵规则树进行匹配的过程。如果发现存在某条规则匹配这个报文，就表示检测到一个攻击，然后按照规则指定的行为进行处理；如果搜索完所有的规则都没有找到匹配的规则，就表示报文是正常的报文。BM算法和KMP算法是情报学中应用范围最广的一种字符匹配算法，近年来在入侵检测系统中也得到应用，典型的入侵检测系统Snort就采用了BM算法。但由于BM算法自身存在的缺陷，导致在高速网络环境下入侵检测的速度可能跟不上数据包到达速率，进而可能导致丢包现象。本文提出了BM算法的改进算法，充分利用了Badchar函数在匹配过程中起到的移动指针的主导作用，去掉了GoodSuffix函数的烦琐计算，并对Badchar函数进行了一定程度的修改，提高了匹配速度。在1998年,Martin Roesch先生用C语言开发了开放源代码(Open Source)的入侵检测系统Snort.直至今天,Snort已发展成为一个多平台(Multi-Platform),实时(Real-Time)流量分析,网络IP数据包(Pocket)记录等特性的强大的网络入侵检测/防御系统(Network Intrusion Detection/Prevention System),即NIDS/NIPS.Snort符合通用公共许可(GPLGUN General Pubic License),在网上可以通过免费下载获得Snort,并且只需要几分钟就可以安装并开始使用它.snort基于libpcap。Snort有三种工作模式：嗅探器、数据包记录器、网络入侵检测系统。嗅探器模式仅仅是从网络上读取数据包并作为连续不断的流显示在终端上。数据包记录器模式把数据包记录到硬盘上。网路入侵检测模式是最复杂的，而且是可配置的。我们可以让snort分析网络数据流以匹配用户定义的一些规则，并根据检测结果采取一定的动作。 编辑本段相关条目Snort最重要的用途还是作为网络入侵检测系统(NIDS)。 使用简介 Snort并非复杂难以操作的软体。 Snort可以三个模式进行运作： 侦测模式（Sniffer Mode）：此模式下，Snort将在现有的网域内撷取封包，并显示在萤幕上。封包纪录模式（packet logger mode）：此模式下，Snort将已撷取的封包存入储存媒体中（如硬碟）。上线模式（inline mode）：此模式下，Snort可对撷取到的封包做分析的动作，并根据一定的规则来判断是否有网路攻击行为的出现。 基本指令：侦测模式 若你想要在萤幕上显示网路封包的标头档（header）内容，请使用 ./snort -v 如果想要在萤幕上显示正在传输的封包标头档内容，请使用 ./snort -vd 如果除了以上显示的内容之外，欲另外显示资料连结层（Data link layer）的资料的话，请使用 ./snort -vde 编辑本段基本指令 封包记录模式在记录封包之前，您必须先指定一个目录来储存该资料。举例而言，若您在您目前的目录下建立了一个名为log的目录，欲存纪录资料于该目录下的话，请使用 ./snort -dev -l ./log 若想要以二进位码（binary code）的方式来储存封包资料的话，请使用 ./snort -l ./log -b 若欲读取某已储存的封包记录档案（假设其档名为packet.log），请使用 ./snort -dvr packet.log 若欲读取该档案中特定网路协定的资讯（假设是tcp协定），请使用 ./snort -dvr packet.log tcp 编辑本段基本指令 入侵侦测模式若欲使用入侵侦测模式，请使用 ./snort -dev -l ./log -h 192.168.1.0/24 -c snort.conf 其中snort.conf是封包的签章档案 若不需要得知资料连结层的资讯，请使用 ./snort -d -h 192.168.1.0/24 -l ./log -c snort.conf 以下是Snort在入侵侦测模式的指令选项： -A fast快速警告模式 -A full完整警告模式（预设） -A unsock将警告讯息送至UNIX的socket上，供其他装置检视 -A none关闭警告功能 -A console将警告讯息送至终端机（Console） 线上模式 封包的抓取不透过libcap，而是透过防火墙，并可告知防火墙是否让此封包通过。启用线上模式使用./snort -Qd -h 192.168.0.0/16 -l ./log -c snort.conf 防火墙的设定 * Linux o iptables -t nat -A PREROUTING -j QUEUE 编辑Snort侦测规则 以下是一种编辑侦测规则（Snort rule）的例子： alert tcp any any ->192.168.1.0/24 111 依次分为以下几个部份： 标头 标头的部份指的是此规则欲执行的动作。以上的例子为"alert"，即警示。完整的标头选项列表如下： alert产生警示 log纪录该封包 pass忽略该封包 activate产生警示，并开启另一个动态规则 dynamic被activate指令触发后所执行的规则 drop让iptable丢弃该类型封包并记录下来 reject让iptable丢弃该类型封包，并送出TCP重新启动（TCP Reset）的封包 sdrop让iptable丢弃该类型封包，但不记录 通讯协定 通讯协定指出执行该规则的协定为何。上述的例子是tcp协定。 目前snort支援四种通讯协定： tcp, udp, icmp, ip 并计划在未来支援以下的协定： ARP, IGRP, GRE, OSPF, RIP, IPX等等 进阶规则编辑 Includes: include允许指令的规则档包含其他的规则档。 include: 请注意，在该行结尾处没有分号。被包含的规则档会把任何预设的变数值替换为其本身的变数。 Variables : 在Snort中定义的变数。 var: 例子： var NET 192.168.1.0/24 alert tcp any any -> $NET any (flags: S; msg: "FIN packet") 变数名称可以用多种方法修改。可以在"$"符号之后定义变数。 "?"和"-"可用于变数修改符号。 $var -定义变数。 $(var) -用变数"var"的值替换。 $(var:-default) -用变数"var"的值替换。若"var"没有定义，则使用"default"替换。 $(var:?messageXXX) -用变数"var"的值替换，或列印出错误讯息"messageXXX"。例子： var NET $(NET:-192.168.1.0/24) log tcp any any -> $(NET:?NET is undefined!) 23 Config Snort的很多配置和命令行选项都可以在配置档中设置。 config : 编辑本段主要指令order改变规则顺序( snort -o ) alertfile建立警告输出档，例如：config alertfile: alertlog classification将规则分类。 decode_arp开启arp解码功能。 （snort -a） dump_chars_only开启字元撷取功能。 （snort -C） dump_payload撷取应用层资料。 (snort -d) decode_data_link解码资料连结层的标头档。 (snort -e) bpf_file指定BPF筛检程式（snort -F）。例如：config bpf_file: filename.bpf set_gid改变GID (snort -g)。例如：config set_gid: snort_group daemon以背景方式执行。 (snort -D) reference_net设置该区域的网路。 (snort -h)。例如：config reference_net:192.168.1.0/24 interface设置网路介面（snort i）。例如：config interface: xl0 alert_with_interface_name警示时附加上介面资讯。 (snort -I) logdir设置记录目录(snort -l)。例如：config logdir: /var/log/snort umask设置snort输出档的权限。 (snort -m). Example: config umask: 022 pkt_count处理n个封包后，退出。 (snort -n). Example: config pkt_count: 13 nolog关闭记录功能（警示仍然运作）。 (snort -N) quiet安静模式，不显示状态报告。 (snort -q) checksum_mode计算checksum的协定类型。类型值：none, noip, notcp, noicmp, noudp, all utc在时间纪录上，用UTC时间代替本地时间。 (snort -U) verbose将详细记录资讯列印到标准输出。 (snort -v) dump_payload_verbose撷取资料连结层的封包( snort -X ) show_year在时间纪录上显示年份。 (snort -y) stateful为stream4设置保证模式。 min_ttl设置一个snort内部的ttl值以忽略所有的流量。 disable_decode_alerts关闭解码时发出的警示。 disable_tcpopt_experimental_alerts关闭tcp实验选项所发出的警示。 disable_tcpopt_obsolete_alerts关闭tcp过时选项所发出的警示。 disable_tcpopt_ttcp_alerts关闭ttcp选项所发出的警示。 disable_tcpopt_alerts关闭选项长度确认警示。 disable_ipopt_alerts关闭IP选项长度确认警示。 detection配置侦测引擎。 （例如：search-method lowmem） reference帮Snort加入一个新的参考系统。