基于免疫机理的入侵检测系统的研究.ppt

《基于免疫机理的入侵检测系统的研究.ppt》由会员分享，可在线阅读，更多相关《基于免疫机理的入侵检测系统的研究.ppt（53页珍藏版）》请在三一办公上搜索。

1、安徽大学博士学位论文开 题 报 告,论文题目：基于免疫机理的入侵检测系统的研究研究方向：智能软件课题来源：安徽省高等学校自然科学基金“Snort入侵检测系统的研究与优化”(kj2007B242),Outline,Context of Network Security ProblemSignificance of Studying Intrusion Detection TechniqueAdvance in IDSAdvance in AIS and its application to computer securityMain research workStudy methodology

2、and notionInnovations and features of the dissertationReferences,1.Context of Network Security Problem,Context of Network security Problem,随着计算机网络技术的飞速发展，Internet逐渐成为整个社会基础设施之一。计算机信息系统安全的重要性日益突出。,Context of network security Problem,黑客攻击技术与病毒技术日趋融合,Context of network security Problem,攻击者需要的技能日趋下降,Con

3、text of network security Problem,传统的安全技术如Firewall,User Authentication,Authorization and Access Control技术不能对系统是否被真正入侵有任何保证,2.Significance of Studying Intrusion Detection Technique,美国国际互联网安全系统公司（ISS）提出的P2DR安全系统理论。,Significance of Studying Intrusion Detection Technique,Significance of Studying Intrusio

4、n Detection Technique,研究入侵检测技术具有巨大的市场价值。美国DARPA出资资助了一系列的入侵检测研究项目（如CDIS），日本、德国也都拨巨款开展信息安全的研究，中国也启动了国家863信息安全应急计划资助信息安全方面特别是入侵检测方面的研究工作。,Significance of Studying Intrusion Detection Technique,安全软件销售,Significance of Studying Intrusion Detection Technique,随着各种攻击手段的不断提高，网络流量持续增大，迫切要求新型的具有自学习和自适应能力的智能入侵检测

5、系统的出现，所以入侵检测技术的研究涉及到计算机、数据库、通信、网络、密码学和人工智能等综合知识，具有重要的理论研究意义。,Significance of Studying Intrusion Detection Technique,根据MIT Lincoln实验室对入侵检测系统的评估结果，以及当前商用入侵检测系统的使用情况调查，可以了解到当前的入侵检测系统在检测性能（如检测新型攻击能力）、自适应性、灵活性、分布式等多方面远远不能满足当前社会的需要。所以本论文主要是借鉴生物的自然免疫系统的特性，进行基于免疫机理的入侵检测系统的研究，以解决当前入侵检测系统的问题。,Significance of

6、Studying Intrusion Detection Technique,NIS是一个分布式的、具有自适应性和自学习能力的分类器，它通过学习、记忆和联想提取来解决识别和分类任务。IDS与自然免疫系统非常类似，这种类似主要表现在下面三方面:NIS与IDS的任务类似；NIS与IDS所处的环境类似；NIS与IDS所采用的检测方法类似。NIS对入侵检测技术在分布性、自适应性、多样性、联想记忆等方面的启示，吸引了很多计算机安全研究者和人工智能研究者。,3.Advance in IDS technique,Advance in IDS technique,入侵检测系统的数学描述：U：universe

7、set,S:normal/legitimate/acceptable pattern set(self set),N:anomalous/illegitimate/unacceptable pattern set(nonself set),SN=U,SN=IDS=（f,M),f is a nonlinear classification function,M is detection range of detection system,f:U*Unormal,anomalous,Nonself,Self,M,False positives,False negatives,U,Advance i

8、n IDS technique,1980 年James Anderson 在论文“计算机安全威胁监控与监视”中首次提出了入侵检测的概念 1987 年Dorothy Denning 发表了重要论文“入侵检测模型”S.Stanfod-Chen 等于1998 年提出了入侵检测通用框架CIDF（Common Intrusion Detection Framework）将软件构件理论应用到入侵检测系统中。,Advance in IDS technique,SRI 公司研究的基于专家系统的EMERALD 系统，它是一个广泛的基于专家系统的特征分析机，利用P-BEST 进行入侵特征推理。Purdue 大学C

9、ERIAS 研制的分布入侵检测系统AAFID，它是使用自治Agent 进行入侵检测的第一个框架结构。Columbia 大学的Wenke Lee 等人进行了实时环境下基于数据挖掘的入侵检测的研究。,Advance in IDS technique,Ghosh 等人于1999年利用神经网络来学习程序轨迹中的局部模式，这种方法与用户反复无常的更改其工作习惯无关，并能克服当恶意用户察觉到被检测时故意逐渐改变其行为，而使其入侵的行为被编码到正常的轮廓中去的缺点。Tim Bass 认为应当将数据融合的思想应用到入侵检测系统中去，他提出下一代入侵检测系统的输入应包括传感器数据、命令、已建立的数据库中的先验数

10、据，输出是对威胁源的身份估计、入侵的分类、速率估计等，并给出了初步的入侵检测数据融合信息流图。,Advance in IDS technique,国内许多大学和研究机构也投入了对入侵检测技术的研究，如中科院软件所提出的基于Agent的分布入侵检测系统模型框架、清华大学设计了基于SVM 分类机的入侵检测系统、北京航空大学提出的基于资源监视的入侵检测概念、西安电子科技大学提出的基于神经网络的入侵检测等等、东北大学对基于应用的高速网络入侵检测系统的研究，李之棠等人建立了一种基于模糊专家系统的入侵检测框架模型，将模糊证据理论引入到入侵检测中。,4.Advance in AIS and its appl

11、ication in computer security field,Advance in AIS and its application in computer security field,1990年，H.Bersini等人首次将免疫算法应用于求解问题。1991年，我国靳蕃等指出“免疫系统所具有的信息处理与肌体防卫功能，从工程角度来看，具有非常深远的意义”。1994年，Stephanie.Forrest等人将免疫算法用于计算机安全。90年代中期，J.Hunt 等人将免疫算法用于机器学习。,Advance in AIS and its application in computer secu

12、rity field,1996年12月，在日本举行了基于免疫系统的国际专题讨论会，首次提出了“人工免疫系统”的概念。90年代后半期开始，在国内，焦李成（西安电子科大）、王煦法（中国科大）、孟繁桢（天津大学）等人也提出了很多免疫算法。02年至今召开的国际会议有：International Conference on Artificial Immune Systems(ICARIS).Special Session on Artificial Immune Systems at the IEEE Congress on Evolutionary Computation(CEC)03年至今召开的国际

13、会议有：Special Track on Artificial Immune Systems at Genetic and Evolutionary Computation Conference(GECCO).Panelist on Biologically Inspired/Motivated Computational Modelsat International Joint Conference on Neural Networks(IJCNN)Offered tutorial on Immunological Computation at International Joint Con

14、ference on Artificial Intelligence(IJCAI),Advance in AIS and its application in computer security field,AIS方面重要的算法：(1)负选择算法（Negative Selection Algorithm，Forrest 1994）(2)免疫遗传算法（A Novel Genetic Algorithm Based on Immunity，Jiao 2000）(3)克隆选择算法（Clonal Selection Algorithm，Kim,de Castro presented）(4)免疫网络模型

15、（Immune Network Models.Timmis等的资源受限人工免疫系统(Resource Limited Artificial Immune System）和de Castro等的aiNet）,Advance in AIS and its application in computer security field,将AIS应用于计算机安全领域的研究者：除了New Mexico大学的Forrest领导的团队研究AIS-Based computer security之外，2000年Kim等也提出他们的网络入侵检测模型。它包括主IDS(等效于胸腺或骨髓)和从IDS（等效于淋巴节点），主

16、IDS 负责生成检测器，而从IDS 执行检测。利用三种进化过程即基因库进化学习，阴性选择和克隆选择并通过网络相互合作以满足网络入侵检测系统分布、自组织和轻型的要求。一直从事建立一种入侵检测的人工免疫系统的研究的还有Dipankar Dasgupta（Memphis Univ.），他提出用基因搜索方法进化新型模式检测器，该模式检测器能够区分网络流量的异常程度。,5.Main study work,Main study work,一、在研究自然免疫系统的机制及其功能的基础上，建立一个完全是分布式的入侵检测系统模型，设计一个基于免疫机理的入侵检测系统的体系结构。该分布式模型是在不同的计算机上放置不同

17、的IDS，每个IDS有自己的基因库（Genes library）,独立地进行基因库进化，每个IDS检测器群体独立地进行Clone selection。每个IDS有一个通信与协同组件（communicator），实现和其它计算机上的IDS的协同刺激（co-stimulation)。并计划从理论上证明该分布式模型具有可扩缩性(scalability)、鲁棒性(robustness)、自适应性（adaptability）。,Main study work,二、在以往文献的克隆选择算法中，关于检测器（抗体）亲和力进化，只用到了变异和选择算子，所以论文欲研究抗体进化的免疫算法，首次提出在该算法中增加了多

18、克隆算子（McAb Operator）和接种疫苗算子(Vaccination Operator)，目的是产生的检测器具有多样性、特异性、自学习性，能检测未知攻击。,Main study work,三、在前面工作的基础之上，研究实现一个基于免疫机理的入侵检测系统，该检测系统不仅能检测网络层、传输层的攻击（IP探测、端口扫描、Dos攻击等），而且能检测应用层的攻击（如CGI、FTP、PHP注入漏洞攻击等）。在此过程中从理论上对检测率（detection rate）、漏检率(false positive error rate)、检测器覆盖(detector cover)、检测漏洞(detection

19、 hole)、检测器冗余进行分析。,Main study work,四、在NIS中，“自我”是指机体的自身组成成份；在IDS中，“自我”是指合法的、可接受的操作模式或网络连接模式。利用免疫原理进行入侵检测研究的一个基础就是自我集的构造，根据negative selection算法的思想，检测器的产生依据就是自我集。在目前的研究中，自我集的构造是静态的，未考虑其动态进化，而且构造方法主要是在假定自我集的构造阶段不存在入侵事件的基础上，通过观察来定义。另外，由于自我集的构造是静态的，导致构造的自我集具有不备性，因此，论文准备对更精确的自我集构造算法和进化算法进行研究，目的是提高IDS的整体性能。,

20、Main study work,五、在Forrest&Hofmeyr研究的LISYS系统中使用了协同信号，所采用的协同信号是由系统管理员所发送的确认是入侵的信号如电子邮件，其缺点是不能自动进行协同。这之后CDIS系统提供的协同信号是检测器与其它检测器一起交叉检验输入的数据包，直到多个检测器检测到攻击才产生报警，其缺点是如果一个IDS中的检测器群体中的个体相互匹配（相近）的话，仍然不能改进虚警率。因此，论文准备在自然免疫系统原理的基础上研究一种新的协同机制，来克服以上缺点并减少异常检测过程中虚警率。,6.Research methodology and thought,Research meth

21、od and thought,（1）构建LAN实验环境。安装Web,Ftp等服务器软件、安装黑客工具如Xscan,Smurf，Fluxay，teardrop,ping of death等。（2）数据收集。第一种方法是在广播式的LAN中或交换式的网络中（要求交换机有端口镜像功能）收集网络数据包，可以利用Winpcap for Windows或Libpcap for Unix/Linux的抓包库中的函数进行编程，从以太网卡获取原始的数据包。第二种方法是从MIT的Lincoln实验室下载入侵检测数据，包括training data set,test data set,real-time data s

22、et。,Research method and thought,（3）包头解析与特征提取。对于以上收集到的数据，对网络层和传输层数据只对包头进行解析，进行特征的选择和提取（如基本特征、统计特征、连接频率特征等）。对应用层的数据，根据RFC1700对包进行解析，提取连接频率、应用层包头、应用层包的内容等特征。检测特征的确定对后续的检测性能影响非常大，过多的检测特征不仅会占据大量资源，使得实时性难以保障，特征选取不充分，又会增加漏检而且并不一定能得到好的检测效果。而且自身群体和检测器群体中个体的结构是依据提取的特征的。,Research method and thought,（4）基因库的生成与进

23、化。（5）自身群体的生成与进化。（6）检测器（抗体）群体的生成、检测、免疫进化。检测器的结构与自身的结构是一样的，都是由若干个基因组成的。首先根据随机基因组合、基因重组成检测器（pre-detectors），然后通过negative selection算法生成成熟的检测器（mature detectors），组成这些成熟检测器的基因又被注册到基因库中。在检测网络流量数据的过程中（实际就是将每个检测器与网络流量数据进行匹配），对于亲和力（适应度）高的个体检测器执行Clonal selection算法和immune evolutionary算法进行增殖和进化，以产生更高亲和力的检测器，并能检测未知

24、的相似的攻击行为。,Research method and thought,（7）理论上分析检测率（detection rate）、漏检率(false positive error rate)、检测器覆盖(detector cover)、检测漏洞(detection hole)、检测器冗余等。（8）协同机制的实现。（9）实验结果、分析，检测结果与MIT入侵检测评估、与他人研究结果的比较。,7.Main innovation and features of dissertation,研究一个真正分布式的入侵检测模型，设计一个基于免疫机理的入侵检测系统的体系结构。实现一个能检测应用层攻击的基于免疫

25、机理的入侵检测系统。3.对更精确的自我集构造算法和进化算法进行研究，以提高IDS的整体性能。4.在研究自然免疫的协同刺激原理的基础上，研究一种新的协同机制来减少异常检测中的虚警。5.在检测器进化中提出了使用免疫进化算法，即引入了Vaccination Operator和McAb Operator。,References,References,http:/Taxonomy=%2fpr%2f5e3,2004CERT/CC Statistics 1998-2002.http:/www.cert.org/stats/,2003康勇建，姚京松，林鹏.“基于P2DR模型的银行计算机网络动态适应安全系统”.

26、中国金融电脑2001年第2期IDC有关网络安全产品市场研究报告信息安全与通信保密2001.12第12期(总12期):66-67Richard.Lippmann,Joshua W.Haines.The 1999 Darpa Off-Line Intrusion Detection Evaluation.Computer Networks,34(4),p5 79-595,2000Stephanie Forrest,Steven A.Hofineyr.John Hollands Invisible Hand:An Artificial Immune System.2000.Steven A.Hofi

27、neyr.An Interpretative Introduction to the Immune System Design Principles for the Immune System and other Distributed Autonomous Systems”.Oxford University Press,Eds,I.Cohen and L.Segel.2000.J.PAnderson.“Computer security threat monitoring and surveillance”.Technical,James P.Anderson Company,Fort W

28、ashington,Pennsylvania,April 1980.Dorothy E.Denning.An Intrusion Detection Model.IEEE TRANSACTIONS on Software Engineering VoL SE-13,No.2,FEBRUARY pp.222-232,1987.,References,Henry S.Teng,Kaihu chen，stephen c-y lu.Adaptive Realtime Anomaly Detection Using Inductively Generated Sequential Paterns.Pro

29、ceeding of the 1990 IEEE Symposium on security and Privacy 1990.S.Stainford-Chen.“Common intrusion detection framework”.http:/1998.Nicholas J.Puketza,Kui Zhang Mandy chung,Biswanath Mukheriee,Ronald A.Oisson.A Methodology for Testing Intrusion Detection Systems.IEEE Transaction of Software Engineeri

30、ng Vol.22,No.10,pp719-729,1996.Kristopher Kendall.A Database of Computer Attacks for the Evaluation of Intrusion Detection Systems.MIT Master Thesis 1999.Ulf Lindqvist Phillip A.Porras.Detecting Computer and Network Misuse Through the Production-Based Expert System Tool set(P-BEST).IEEE Symposium on

31、 Security and Privacy pp.146-166,1999.Eugene H.Spaford,Diego Zamboni.“Intrusion Detection Using Autonomous Agents”.Computer Network 34(2000)pp.547-570,2000.Weake Lee Salvatore J.Stolfo Kui W.Mok A Data Mining Framework for Building Intrusion Detection Models.IEEE Symposium on Security and privacy pp

32、.120-132,1999.,References,S.Staniford-Chen,S.Cheung,R.Crawford,M.Dilger,J.Frai水J.Hoagland,K.Levitt,C.Wee,R.Yip,and D.Zerkle.“GrIDS一A Graph Based Intrusion Detection System for large networks”.In Proceedings of the 20th National Information Systems Security Conference volume 1,pages 361-370,October 1

33、996.Anup K.Ghosh and Aaron Schwartzbard.A Study in Using Neural Networks for Anomaly and Misuse Detection.Proceeding of the 8th USENIS Security Symposium on Washington,D.C.,USA.pp.23-26,1999.Tim Bass Multi sensor Data Fusion for Next Generation Distributed Intrusion Detection System.1999 IRIS NATION

34、AL SYMPOSIUM 1999.马恒太,蒋建春，陈伟锋，卿斯汉.“基于AGENT的分布式入侵检测系统模型”.软件学报Vol.1l pp.1312-1319,2000.蒋建春，马恒太，任党恩，卿斯汉.“网络安全入侵检测:研究综述”.软件学报 Vol.11,pp.1460-1465,2000.陈光英，张千里，李星.“基于SVM分类机的入侵检侧系统”，通信学报，Vol.23,No.5,2002夏春和 张欣.“网络入侵检测系统的研究”.系统仿真学报,VOL.12,NO.4:pp.375-399,2000.李鸿培 王新梅.“基于神经网络的入侵检测系统模型，西安电子科技大学学报,Vol.26,No.5

35、,1999.李鸿培.“入侵检测中几个关键问题的研究”.博士学位论文西安电子科技大学2001.,References,李信满,赵大哲,赵宏,刘积仁.“基于应用的高速网络入侵检测系统研究”.通信学报Vo1.23 No.9 2002 pp.l-7.李之堂,杨红云.“模糊入侵检侧模型”.计算机工程与科学,Vol.22,No.2,pp.49-53,2000李之棠,李家春.“模糊神经网络在入侵检测中的应用”.小型微型计算机系统2002 Vol.23 No.10:pp.1235-1238.S.Forrest,A.S.Perelson,L.Allen and R.Cherukuri.“Self-nonself

36、 discrimination in a computer”.In Proceedings of the IEEE Symposium on Research in Security and Privacy.1994.J.E.Hunt and D.E.Cooke,“An Adaptive and distributed Learning System based on the Immune System”.In Proc.of the IEEE International Conference on SMC,pp.2494-2499,1995.L.C.Jiao and L.Wang.“A no

37、vel genetic algorithm based on immunity”.IEEE Trans.Systems,Man and Cybernetics.30(5):pp.552-561.2000.张军，刘克胜，王煦法.一种基于免疫调节算法的BP网络设计，安徽大学学报（自然科学版），1999，23（1）：63-66.张军，刘克胜，王煦法.一种基于免疫调节和共生进化的神经网络优化设计方法，计算机研究与发展，2000，37（8）：924-930.Forrest,S.,Hofmeyr,S.A.,&Somayaji,A.(1997).“Computer immunology”.Communica

38、tions of the ACM,40(10),8896.,References,36 Jiao L C,Wang L.“A novel genetic algorithm based on immunity”.IEEE Trans.On Systems,Man,And Cybernetics-Part A:System and Humans,2000,30(5):552561.37 J.Kim,EBentley.“Immune Memory in the Dynamic Clonal Selection Algorithm”.In:Proc of the 1st International

39、Conference on Artificial Immune Systems,Canterbury,UK,2002:57-65.38Tarakanov A,Dasgupta D.“A formal model of an artificial immune system”.BioSystems,2000,55:151158.39Tarakanov A O.“Towards immunocompute”.http:/,2004.40Timmis J,Neal M.“A resource limited artificial immune system for data analysis”.Kn

40、owledge Based Systems,2001,14(3-4):121130.41Nunes de Castro L,Von Zuben F J.“An evolutionary immune network data clustering”.Proceeding of the sixth Brazilian Symposium on Neural networks,2000,8489.42 Stephanie Forrest,Alan s.Perelson,Lawrence Allen.Self-Nonself Discrimination in a Computer.In proce

41、edings of the 1994 IEEE symposium on Research in Security and privacy,LosAlamos,CA,1994.43Stephanie Forrest,Thomas A.Longstaf steven A.Hofmeyr.A sense of self for Unix processes.In proceeding of the 1996 IEEE Symposium on security and Privacy.,References,44Steven Andrew Hofmeyr.An Immunological Mode

42、l of Distributed Detection and its Application to Computer Security.Ph.D.Dissertation.University of New Mexico,1999.45Paul D.Williams,Kevin P Anchor,John L.Bebo,Gregg H.Gunsch,Gray D.Lamout.CDIS:Towards a Computer Immune System for Detecting Network Intrusions.Proceedings 4th International Symposium

43、,RAID 2001 Davis,CA,USA,October 10-12,2001.46Kim and Bentley P.The Human Immune System and Network Intrusion Detection,7th European Congress on Intelligent Techniques and Soft Computing(EUFIT 99),Aachen Germany,September 13-19.47Kim,J.and Bentley,P.,(1999),The Artificial Immune Model for Network Int

44、rusion Detection.7th European Congress on Intelligent Techniques and Soft Computing(EUFIT99),Aachen,Germany,September 13-19.48Kim,J.and Bentley,E J.(1999).Negative Selection and Niching by an Artificial Immune System for Network Intrusion Detection，Genetic and Evolutionary Computation Conference(GEC

45、CO 99),Orlando,Florida,Ju ly13-17.pp.149-158.,References,49Jungwon Kim,Peter J.Bertley.“An Evaluation of Negative Selection In an Artificial Immune System for Network Intrusion Detection”.Genetic and evolutionary computation conference 2001(GECCO-2001),San Francisco,pp.1330-1337,July 7-11,2001.50Jun

46、gwon Kim,Peter J.Bertley.“Towards an artificial immune system for network intrustion detection:an investigation of clonal selection with a negative selection operator”.Congress on evolutionary computation(CEC-2001),Seoul,Korea,pp.1244-1252,May 27-30,2001.51Dipankar Dasgupta,Fabio A.Gonzalez.An Immun

47、ogenetic Approach to Intrusion Detection.Technical Report No.CS-01-001 May,2001.52Fabio A.Gonzalez,Dipankar Dasgupta.An Immunogenetic Technique to Detect Anomalies in Network Traffic.In Gecco 2002:proceedings of the genetic and evolutionary computation coference,pages1081-1088,NewYork,9-13 July 2002

48、.Morgan Kaufmann Publishers.53Fabio A.Gonzalez,Dipankar Dasgupta,Robert Kozma.Combining Negative Selection and Classification Technique for Anomaly Detection.In Proceedings of the Congress on Evolutionary Computation.Pages 705-710,Honolulu,HI,May 2002.IEEE.,References,54Dipankar Dasgupta,Fabio Gonza

49、lez An Immunity-Based Technique to Characterize Intrusions in Computer Networks IEEE Transactions on Evolutionary Computation Vol 6 No.3 June 2002:281-291.55LUO Wen-jian,ZHANG Si-hai，LIHANG Wen,CAO Xian-bin,WANG Xu-fa,“NIDS Research Advance Based on Artificial Immunology”,Journal of University of Sc

50、ience and Technology,Vol.35,No 5,Oct.2002.56张四海,罗文坚,曹先彬,王煦法.用于网络入侵检测的免疫学习子系统.小型微型计算机系统,Vol.24 No.8,Aug.2003.57罗文坚.面向入侵检测的人工免疫模型和算法研究,中国科技大学博士论文，2003.558闫巧.基于免疫机理的入侵检测系统研究.西安电子科技大学博士学位论文,2003.4.59杨华玲.基于改进Kim模型的检测器生成算法研究.燕山大学硕士学位论文,2006.260Cohen F.Computer viruses.Computer&Security,1987,22-35.,Thanks