基于数据挖掘的异常检测模型

电子工程师计算机应用Ｖｏｆ．２９～ｏ．６２（）０３

基于数据挖掘的异常检测模型４

ＡｎｏｍａｌｙＤｅｔｅｃｔｉｏｎＭｏｄｅｌＢａｓｅｄｏｎＤａｔａＭｉｎｉｎｇ

黄莹

（江苏省软件产品检测中心江苏南京２１０００２）

【摘要ｌ提出了一种基于数据挖掘的异常检测模型，按此模型建成的系统具有可扩展一｜生、白适

应性和准确性等特点。另外，对模型的关键技术进行了详细的阐述，包括：数据预处理技术、数据挖掘

算法、规则库建立和维护技术、决策等。

关键词：异常检测，数据挖掘．网络安全，分类器丁ｐ；７；，喵多

【Ａｂｓｔｒａｃｔ】Ｉｎｔｈｉｓｐａｐｃｒ，ａｎｏｍａｌｙｄｅｔｅｃｔｌｏｌｌｍ。山ｌｂａｓｅｄｏｎ。ｄａｔＩｍ；ｎｉｎｇｌｓｐｒｏｐ。ｓｅｄ．Ｔｈｅｓｙｓ

ｔｅｍｗｊｌｈＩｈｌｓｍｏｄｅｌｊｓｅｘｔｅｎｓｌｂｌｅ，ａｃｃｕｒａｔｅａｎｄａｄａＩ）“ｖｅＭｏｒｅｏｖｅｒ．ｔ｝１【ｓＩ）ａ畔ｒｄｉｓｃｕｓｓｅｓｓｏｍｅｋｅｙ

ｔｅｃｈｎｏＩｏｇｌｅｓｉｎｔ¨ｓｍｏｄｄ，ｗｈｉｃｈＬｎｃｌｕｄｅｔｈｅｄａｔａｐｒｅｐｒｏｃｅｓ刚“ｇｌｃｃｈｌｌｏｌｏｇｙ，ａｌｇｏｎｔｈｍｓｏｆｄａｌａ

ｎｌｌｎｉｎｇ，ｒｕｌｅｓ１ｌｂｒａｒｖｓｅｓｔａｂｌｉｓｈｍｅｎｔａｎ（１ｕｐｄａｔｅ．ｄｅｃｉｓｉｏｎｎ】ａｋｍｇａｎｄｓｏｏｎ．

Ｋｅｙｗｏｒｄｓ：ａ【ｌｏｍａｌｙｄｅｔｅｃｔｉｏｎ，ｄａｌａｍｉｎｉｎｇ，ｎｅｔｗｏｒｋｓｅ“Ｉｎｔｙ．ｃｌａｓｓｍｅｒ

ｌ引吉法律责任的有效证据。

入侵检测作为安全技术主要功能有：识别人侵者；

随着网络技术的发展，嗍络环境变得越来越复杂，识别人侵行为；舱测和监视已成功的安全突破；为对抗对于网络安全来说，防火墙、加密、身份认证等传统技措施及时提供重要信息。从这些方面来看，人侵榆测术已暴露出明娃的不足和弱点．如无法解决安全后门非常必要，它将弥补传统安全保护措施的不足。人侵问题，不能阻止网络内部攻击（而调查发现，８０％以上检测将成为系统安全的第二道防线．并目，它已经成为的攻击都来自内部），不能提供实时入侵检测能力，对近几年很多研究的中心。

于病毒等束手无策等。凶此，很多组织致力于提ｍ更

多更强大的＝Ｉ三动策略和方巢，来增强剐络的安全性，其２异常榆测概述

中一个有效的解决途径就是入侵检测。入侵检测技术目前，入侵榆测系统主要分为基于知识的和基于是为保证计算机系统的安全而设计与配臀的一种能够行为的入侵榆测。

及时发现并报告系统中未授权或异常现象的技术，是基于知识的入侵检测也被称为违规检测（ｍｉｓｕｓｅ一种用于检测计苒机网络巾违反安全策略行为的技ｄｅｔｅｃｔｉｏｎ），这・检测假设人侵者活动可以用一种模式术。它通过对计尊机网络或计算机系统中的若干关键来表示，系统的目标是检测主体活动是否符合这些模点收集信息并进行分析，从中发现嘲络或系统中是台式。它可以将已有的入侵方法检查出来，但对新的入有违反安全策略的行为和被攻击的迹象。进行入侵检侵方法无能为力。其难点在于如何设计模式，使之既测的软件与硬件的组合就是入侵检测系统（ＩｎＩｒｕｓ・ｏｎ能够表达“入侵”现象，又不会将正常的活动包含进来。Ｉ）ｅｔｅｒｌｉｏｎｓｙｓｔｅｍ，１１）ｓ）。｝袤系统能够识别出任何不基于行为的入侵检测也称为异常检测（ａｎｏｎ・ａｌｙ希望有的活动，从而达到限制这些活动，保护系统安全ｄｅｔｅｃｔｉｏｎ），基于异常的检测方法主要来源于这样的思的目的。入侵检测系统的应Ｉ｝¨，能在八侵攻击对系统想：任何人的止常行为都有一定的规律性，并且，可眦发生危害前，就检油ｌ到八经攻盘．并和ｌ用报警与防护系通过分析这些行为产生的Ｒ志信息总结出这些规律，统驱逐入侵攻击；在入侵攻击过程中，能减少人侵攻击而人侵和滥用行为则通常和正常的行为存在比较大的所造成的损失；在铍入侵攻击后，收集人侵攻击的相关差异，通过检查这些差异就可以检测入侵。例如，如果信息，作为防范系统的知识，添加入知识库，以增强系用户ｘ仅仅是在早上９点到下午５点之问在办公室统的防范能力。系统可以弥补防火墙的不足．为网络使用计算机，则用户在晚上的活动是异常的，就有町能安全提供实时的入侵检测并采墩相应的防护手段，它是入侵。这样我们就可以检测出非法的入侵行为．此不仅能榆测来自外部的入侵行为，同时也能指出内部外．不属于人侵的异常行为（滥用自己的权限）也能被用户的未授权活动。入侵检测运用了以攻为守的策检测到。异常检测的难题在于，如何建立“川户止常使略，它所提供的数据不仅有可能用来发现合法用户足用模式”以及如何设计统计算法，从而不把正常的操作否滥用特权，还有可能在一定程度上提供追究入侵者作为“入侵”或忽略真正的“入侵”行为。＊收稿日期：２００３一０４一０８

・１１・

万　方数据

黄莹：基于数据挖掘的异常检测模型

枉ｒ述曲种八侵榆测模型中，异常检测是一个非

常ｆ．‘蹶的入侵榆测方法．它具有的优点包括与系统相

对尤关．通崩性较强．可以检测出以前术出现过的攻山

方法等。常川的异常检测方法和技术包括：闽值检

测．统汁方法．纂ｒ规则的方法．其它的力法（如：数据

挖掘、神经Ｉ叫络、遗传苒法、免疫系统力法、模糊识圳

等）。这些方法｜Ｊ前邯停留在理沦研究阶段。

３数据挖抛１ｊ异常检测

异常榆测是日『ｊｉ』人侵检测系统的｛．要研究方向，

ｊ｛；特点址通过对系统干ｊ为的检测．可以发现未知的攻

＾｛ｊ为。异常检测技术寅质上归结为对安全审汁数据

的处删．这种处理叫以针列网络数据．也可以引对上机

的’＃计Ｉｔ录或应川程序的日志殳件．其Ｒ的在于止常

他川模式的建一以及如何利州这些模式对当前的系统

或川户于Ｊｈ为进行比较，从ｍ判断小与正常模式的偏离

狂喽。然而．操作系统的１ｊ益复杂化和网络数据流星

的急剧膨胀．导致ｒ安全审计数据同样以惊人的速度

递增。．激增的数据背后蕴藏着汁多重要的信息．例如

川ｐ或系统的ｌＪ二常使刚模式等，人们希望能够对其进

，亍更高抽象层次的分析，以便更好地利用这些数据。

｝ｊ前的１订¨系统ｒ，ｌ以・岛效地实观安伞审计数据的输

入、古澍、统汁等功能．仉无法发现数据。ｐ存住的关联、

关系、规则和川ｐ或系统行为模式等．尤法根据现有的

数据坝测术束的发展趋势，缺乏挖掘数据背后蕴藏的

知炽的｝＝｜段．导致ｒ¨数据爆炸似知识贫乏”的现象。

如何从赶齄的审计数据中提取具有代表件的系统

或川户特征模式，川于刘程序或川ｊ户行为作出捕述，是

’实现安全。卦蚪审计系统的，ｊ乏键。为了对审计数据进行

争∞Ｊ、商速和准确的分析．ｒｔＪ以使用数据挖掘方法来处

理安全事件数据。数据挖掘（ｄａｔａｍ１１ｗ、ｇ）是一种特定

啦朋的数据分析过群，可以从包等人墙冗余信息的数

据巾提取堪”ｒ能多的盟藏的安全信息．抽象出有利于

进ｆｊ判断和比较的特征模删．这些特征模型可以是基

Ｊ＿芹常榆洲的行为描述模型，也ｉ＿丁以足基于异常榆洲

的衍为捕述模巧９。根据这些特征向量模型和行为描述

模型．叮以Ｆ｝ｊ计算机利用相应的算法判断ｍ当前行为

的‘盹质。

“。聋命审计数据的处理上．ｆ＝１前应ＪＴｊ较多的数据

挖掘算法她火联规｜ｌ！｜Ｊ（ａｓｓｏｃｌａｔｌｏｎａ㈨ｌｙｓｌｓ）、序列挖掘

（州Ⅲ、ｎ（ｃｎ¨】１ｌｎｇ）和数据分类（（Ｉａｔａｃｌａ删‰ａＩｌｏｎ），哥

伦比业夫学的ｗ¨－ｋｅＩ麒、在这方面已进行ｒ较长时

ｍ…ｌ研究

４培｝二数船挖掘的异常检测模理

丛ｊ：数据挖挑｛的异常揄洲模型主要有数据采集预

处弹馍块、敬据挖掘模块、模式更新模块以及决策模块

等．挂型结构如阁１１听小其巾数据源可以来ｆ＿｜应ＩＬ｝ｊ

程序、Ｉ・机或网络．前本文的研究中．数据源主要来自

ｊ：网络数据。网络数据是¨简商业异常检测系统最为

・１２・

万　方数据通用的信息来源，其摹本原理是：、≮网络数据在网段中传播时。采取特殊的数据提取技术，收集网络传播的数据．作为异常检测的数据源。黑蔫ｐｌ数据采集Ｈ叫模式卜－ＬＪＩ及预处理Ｉｏ—Ｉ更新Ｉ圈１基于数据挖掘的异常检测模型图各模块的主要功能如下：（１）数据采集及预处婵模块：主要埘数据源进行处理，产乍符合关联规则挖掘要求的特定格式的事件序列。它是基于数据挖掘的异常检测模型巾的一个重要组成部分，在此模型巾，将使用Ｂｒｏ作为网络数据包过滤及鼋组弓ｌ擎．该程序可以对刚络中的数据流进行过滤并产生一系列丰Ｈ腑的事件。ｌ｛ｒｏ的系统结构如图２所示．数据包过［二型口数据帧图２Ｂｒｏ的体系结构（２）数据挖掘模块：数据挖掘模块利用关联分析和序列分析算法对事件库进行挖掘，发现关联规则和频繁序列模式。由于事件库中的事件数量庞大，且属性较多．利用一般的频繁模式挖掘算法会产牛大量无用的规则。罔此必须用基于轴属性的频繁模式挖掘算法，便了获取有效的规则。最后，用一个分类算法，如ＲＩＰＰＦＲ算法，对挖掘出的频繁模式进行分类，得到正常和异常行为模式。需要强调的是特征属性的选择对Ｒ１ＰＰＥＲ算法至关重要，可根据已挖掘ｍ的关联规则和频繁序列所涉及的属性进行选择。在此模型巾．我们将使用如Ｆ一些算法：（ａ）分类。把一个数据集映射成定义好的几个类。这类算法的输ｍ结果就是分类器，常用决策树或规则集的形式来表示。在异常检测巾的主要应用就足埘川户或应用程序收集足够“正常”和“异常”的审计数据，然后用分类算法得到一个分类，

电子工程师计算机应用ｖｊｚ．２９Ｎ。．６２００３标｝己或预测新的审汁数据属丁证常还是异常类。（ｈ）误用检测技术各自的优点．提高Ｊ’结求的准确性关联分析。决定数据库记录巾属性问的关系。利用审

汁数据ｔｐ系统属性问的相关性作为构建正常使用模式５结束语

的基础。（ｃ）序列分析。获取序列模式模型。这类箅建立异常检洲系统是一个人型的、复杂的系统【法可以发现审计事什中频繁发生的时间序列。这此频程。本系统的没汁考虑到了数据源的多样性，利用数繁事件模式为构建人侵检测模型叫选择统汁特征提供据挖掘技术在处王！｝！海量数据方面的优势，由数据挖掘ｒ指导准则。算法自动挖拙出有效规则，并能对规则库进行及时更

（３）模式更新模块：该模块用来小断修正引更新用新，提高了系统的自动化程度。但对丁～个完善的异户或系统的正常规则或模式。在现实网络世界中，安常榆测系统来说．还有很多丁作受做，例如：改进数据全审｝卜数据是随时间的变化ｍＪ变化的．用户行为的模挖拙箅法，提高系统的自适应能力．以榆洲新犁入侵和式很可能随时间呈现“；某种发展趋势．使得当前已发已知入侵的变种：检测结果的ｎＪ视化．把榆洲结果以现的用户行为模式。ｒ能不再生效，而ｎＪ能存在新的川直观的形式表达出来．便于刚络管理人员分析决策；户行为模式有待于进一步去发现。闭此，不仪需要有提高系统检测的实时性和准确性等。

高效的算法来挖掘｛ｎ用户行为模式，而Ｈ也迫切需耍参考文献

有高效的算法米更新、维护和管理已挖掘出来的州户

行为模式。ｌＷＬｅｅ，ＳＪＳ１０１ｆｏＤａＩａＭ…１【１９Ａｐｐｒｏａｃｌｌｅｓ［ｏｒＩＩｎｒＬ¨Ｉ。Ｉｌ

（４）决策模块：将埘规则库中的历史行为模式和当Ｄｅｔｅ“ｊｏＩ】Ｐｒｏｃｅｅｄｌｎｇｏｆ１ｈｅ７ｌｈＵＳＥＮｌＸＳ㈣ｒｌＬｖＳｖｍｐｏ前行为模式进行比较．以检测用户行为是否呈现异常。ｓｌｕｍ．ＳａｎＡｎｔｏｎⅢ，ＴＸ，１９９８

埘｝＿｝Ｉ数据挖掘模块输入的已分类的“正常”和“异常”规２ＨａｎＪ．ＫａｍｈｃｒＭ数据挖掘概念与技术范明，孟小峰．则，根据规则庠巾的正常和异常规则．用ｒ述的相似度译北京：机械丁业出版丰十，孙０ｊ

３蒋建眷．７ｔ§登圈．Ｉ硪洛Ａ慢检洲原理与技术北京：Ｉ到防１・№

来检测规则之间的匹配程度。相似度的取值范围勾０出版社．２。０ｌ

～１．取值越丸．说明两个规则越吻合，若为１蜕明两者４杨ｍ荣，采擒豹．孙均毅基十数据挖掘的智能化八侵检测完全相同．若为ｆ）说日，Ｊ两扦完全柏异。列两个规则采系统计算机Ｔ程，２∞１．２７（ｑ）：Ｉ７一一１８

刚模式比较算法求得相似度。对“正常”规则，与规则５ＷＩ，ｅｅ，Ｓ』Ｓｔｏｌｆｏ．ＫＷＭ。ｋ．Ｍ１儿¨培Ａｕｄ“Ｄ“ｔＨｔｏＢｕｌＩｄ库巾的止常规则进行模式比较，若相似度大于用户规ＩＩｎｒＬＩｓＬｏｎ【）ｅｔｅｃＬｌｏｎＭｏｄｅｌ＊ＰｒｏｃｃｃｄＩｎⅡｓｕｆｔｈｃ４ｒｈＩｎｔｃｒｎａ定的晦伉，淡用户行为可能是正常行为，再把该规则与ｔｌｏｎ￡１ＩＣｏｎｆｃ㈣ｃｃ（）ｎＫｎｏｗＩｃｄｇｃＤｌｓⅢｅｒｖａｎｄｎａｔａＭ１ｎ规则ｊ辛中的异常规ｍＩＪ进行模式比较，若相似度小于规ｔｎｇ，ＮｅｗＹｏｒｋ，１９０８

定的阀值，划可断定该川户行为是止常行为．菪卡Ｈ似度６ＷＰｎｋｅＩ。ｅｅ．Ｓａｌｖａｔｏｒｅｊ野ｏｌＩｏ．Ａ【）ａｌａＭ１ＩｕＩｌｇＦｒ。【ＴＩ【Ｐｗｏｒｋ

ｆｏｒｍＩｎｒ儿ｌｓｌｏＩ】Ｉ）ｅｌｅｃｌｌｏ【１ＭｏｄＰｌＫ．｝ｌ

大丁规定的阀值．可标记为可疑行为。血ｕ“正常”规则Ｌ１［ＩｌＴｌｇＬｔｐ：…Ｌ■

Ｃｏ｜ＬｌｌｎｂｌａｅｄＬｌ，Ｉｄｓ．２００２．１０

与圭见则库・＋・的正常规则比较得到的相似度小于用户指７Ｗｅｎｈｌ。ｅｅ，Ｓａｌｖａｔ㈣ＪＳｔｏｌｆｏ．ＭｍｌｎＨＡＩｌ（ｉｌｔｍｔａ“１ｍ１１Ｉｄ定的阀值，该行为可能是异常行为，再把该规ｊ１１１Ｊ呵异常Ｉｎｔｒｕｓｌｕｎ１］ｃｔｃｃｔｌ（）ｎＭ（）ｄｅｌｓｈｔｔ口：＋，Ⅵｗｗ．Ｌ’ｓ．（ｏｌｕｎ崩ａ．规则进行比较，苔州似度大丁规定的阀值，』Ｉ！｜ｊ口ｊ断定该ｃｄｕ¨ｄｓ．２（）【）２．¨）

行为是异常行为，俞则标记为町疑行为。对”异常”规８连一峰，戴英伙，王航．壤于模式挖掘的用户行却异常榆则，枪测原理类似。这种检测力法利用了异常检测和测｝ｆ算机学报，２００２，２５（３）．３２７、，３●

、，＋“。．，ｏ，！・…，≮掉・，＿１…０，■。。”。ｊ、《．川。。：Ｉ二■，＾ｔ＋二。§？。＆。；《ｊｇ

（上接第２页）

；ｗｒ）Ｔ为定时器模式＋定时时｜Ｔｉ】ｌｓ构简单、成本低、寿命长、节水效果明显等特点。实际ｂ眠ｂ＃ｗＤｌｆＥ．＆ＩＥｊ：开ｗ【）１、中断

川１＇Ｔ作情况表明：使用５号碱性电池供电．每灭阀门开断；丌‘Ｉｌ断ｌｏＯ次．电池工作寿命可在１年以上。

ｂｈｗ＃Ｉ。Ｐ＿Ⅵ３，ｓＲ；进入Ｉ。ＰＭ３

参考文献

削大ｕｒＭｓＰ４３０系列Ｈ，ＡｓＨ型超低功耗ｌ６位单片机北

京：北京航空航天大学出版社，２ｆ１（）ｌ一

：ｗｎＴ巾断服务程序

ｍｎｖ．ｗ＃｜１．０（ＳＰ）：一一々。ｔｏｖ。ｏ。ｚｏｔｏ＊ｚｏ＿ｏ＊ｔ≮ｒ．■ｒ｝■；｛■ｒ幽ｓ★ｏ９ｔ９‘；。＇。＋｛》一“。ｒ“１：退出ｆ，Ｉ’Ｍ３投稿时；ｐ

４结束语

ＭＳＰＡ３０Ｆｌｌ０１单片机具有超低功耗、低成本等特

点，预¨在今后会有更广泛的应用。荩于

ＭｓＰ４３０Ｆｕ０１没计的低功耗智能水阀具有功耗小、结

万　方数据

基于数据挖掘的异常检测模型

作者：

作者单位：

刊名：

英文刊名：

年，卷(期)：

被引用次数：黄莹江苏省软件产品检测中心,江苏,南京,210002电子工程师ELECTRONIC ENGINEER2003,29(6)4次

参考文献(8条)

1. 连一峰;戴英侠;王航 基于模式挖掘的用户行为异常检测[期刊论文]-计算机学报 2002(03)

2. Wenke Lee;Salvatore J Stolfo Mining Audit Data to Build Intrusion Detection Models 2002

3. Wenke Lee;Salvatore J Stolfo A Data Mining Frameworkfor Building Intrusion Detection Models 2002

4. W Lee;S J Stolfo;K W Mok Mining Audit Data to Build Intrusion Detection Models. Proceedings of the4th International Conference on Knowledge Discovery and Data Min ing 1998

5. 杨向荣;宋擒豹;孙均毅 基于数据挖掘的智能化入侵检测系统[期刊论文]-计算机工程 2001(09)

6. 蒋建春;冯登国 网络入侵检测原理与技术 2001

7. HANJ;Kamber M;范明;孟小峰 数据挖掘-概念与技术 2001

8. W Lee;S J Stolfo Data Mining Approaches for Intrusion Detection 1998

引证文献(4条)

1. 李丽. 岳鹏 办公室局域网异常点入侵检测模型[期刊论文]-电脑编程技巧与维护 2009(4)

2. 杨静. 张绍兵. 张健沛 数据挖掘技术在优化与机械设备故障诊断中的应用[期刊论文]-煤矿机械 2005(9)

3. 刘洪涛. 童德利. 陈世福 一种基于属性的异常点检测算法[期刊论文]-计算机科学 2005(5)

4. 童德利 数据挖掘中异常点检测技术的研究[学位论文]硕士 2004

本文链接：http://d.g.wanfangdata.com.cn/Periodical_dzgcs200306005.aspx