第24卷 第2期
2006年3月吉林大学学报(信息科学版) Journal of J ilin University (I nf or mati on Science Editi on ) Vol . 24 No . 2Mar . 2006文章编号:167125896(2006) 0220113207
电信综合数据网络管理系统
蒋 海, 刘淑芬, 兰庆国, 包 铁, 庞世春11111, 2
(11吉林大学计算机科学与技术学院, 长春130012; 21空军航空大学基础部, 长春130022)
摘要:为了对大型电信数据网进行综合统一管理, 设计并开发了基于S NMP (Si m p le Net w ork M anage ment Pr o 2t ocol ) 的综合数据网络管理系统(Sp len NM S:Sp len Net w ork M anage ment Syste m ) 。从网络资源、性能、故障3个方面, 着重论述了该系统实现的关键技术, 叙述了网络故障信息采集方法和S p len NM S 。针对资源信息种类繁多、差异性大的采集问题, 提出一种改进的性能数据采集及存储方案, Traffic Grap 2her ) 软件相比, 该方案减小了最小执行周期; , 使性能告
警的处理在形式上与设备告警一致。, 该系统能适应2000关键词:; ; ; 故障管理
中图分类号:07:A
I ntegrated Data 2Net w ork Manage ment 2Syste m in Telecom
J I A NG Hai , L I U Shu 2fen , LAN Q ing 2guo , BAO Tie , P ANG Shi 2chun
(11College of Computer Science and Technol ogy, J ilin University, Changchun 130012, China;
21Depart m ent of Funda ment, Aviati on University of China A irf orce, Changchun 130022, China ) 11111, 2
Abstract:I n order t o manage the large 2scale data net w ork in teleco m , the i m p le mentati on method of an integrat 2ed data net w ork manage ment syste m is p resented . The p ivotal technol ogies of Sp lenNMS (Sp len Net w ork Man 2age ment Syste m ) are described in detail . The algorith m s of discovering net w ork devices and t opol ogy are shown, and a model based on task rules is als o p r oposed in collecting net w ork res ource infor mati on, which overcomes the difficult p r oble m in res ource collecti on . A sche me of collecting and st oring perf or mance data is p resented, which res olves the p r oble m s in manage ment of large 2scale data, and it can reduce the i m p le mentati on cycle in the com 2paris on t o MRTG (Multi Router Traffic Grapher ) . The definiti on of extended Trap types is app lied t o handle perfor mance alerts . Finally, a method of collecting fault manage ment infor mati on is given, and the architecture of Sp len NMS is described . A s shown in our p ractical app licati on, Sp lenNMS can meet the require ment of net w ork with about 2000devices .
Key words:computer net w ork; net w ork manage ment;
manage ment t opol ogy discovery; perf or mance monit oring; fault
引 言
随着计算机和网络通信技术的飞速发展, 电信数据网规模不断扩大、复杂性不断增加、异构性越来越普遍, 基于数据网的各种应用业务也越来越广泛, 因此网络管理的难度也随之增大。近几年, 综合数
收稿日期:2005206208
基金项目:国家科技攻关基金资助项目(2004BA907A20) ; 吉林省科技发展计划基金资助项目(20040304)
作者简介:蒋海(1980— ) , 男, 广西全州人, 吉林大学硕士研究生, 主要从事计算机网络、网络管理技术研究, (Tel ) 8624312
5166473(E 2mail ) jianghai@mail1jlu 1edu 1cn; 刘淑芬(1950— ) , 女, 长春人, 吉林大学教授, 博士生导师, 主要从
事计算机网络安全、网络管理技术、网络系统集成、计算机支持协同研究, (Tel ) [1**********]473(E 2mail ) liusf@
mail 1jlu 1edu 1cn 。
据网络管理系统已成为国内电信网管领域的一个关注热点, 各运营商在这方面投入了大量的人力和物力。它要求对庞大的数据网建立一个综合的网络管理平台, 这个平台所管理设备涉及到诸多不同设备提供商的不同型号的设备, 管理的内容包括网络资源、网络性能、网络故障以及相关的一些应用业务。
在网络管理领域, 国内外许多组织和公司进行了大量的研究和系统开发工作, 许多新技术和新方法被应用[1], 一些商品化的网络管理平台被推出, 国内如清华大学的Super Domain98[2], 国外如S UN 公司的SunNetManager, HP 公司的OpenV ie w, I B M 的Net V ie w 等。对大型电信数据网络的综合管理有两个特点:1) 设备种类的多样性和复杂性, 网络规模庞大, 以及电信运营业务具体需求的巨大差异; 2) 管理内容的范围广, 需要管理网络资源、性能、故障等多个不同方面。这些因素导致目前流行的管理平台一直不能取得令人满意的效果。
[3, 4]笔者对基于S NMP (Si m p le Net w ork Manage ment Pr ot ocol ) 的综合数据网络管理系统实现方法进行
了较全面的研究, , 型电信综合数据网络管理系统(Sp len NMS:Sp len Net w Sp lenNMS 的网络资源、性能、故障管理关键技术, 阐述了Sp len 析。在某市城域网上实际运行表明, 。1 S plen N , 主要包括拓扑关系管理和设备资源配置信息管理。Sp len 2NMS 采用了一种网络设备和网络拓扑的发现方法, 可以自动发现所管理的所有设备和部分网络拓扑结构; 并提出一种基于任务规则的设备资源信息采集方法。
111 网络设备发现
11111 基于I C M P Ping 的网络设备探测
I C MP Ping 是典型的用于探测网络设备是否存活的工具, 其原理是能被Ping 设备返回一个回应报文, 当能捕获到回应报文时, 就认为被测设备存活, 否则视为不存活。为了提高效率, 也可以使用广播Ping 方法。当探测一个活着的设备时, 其往返时延往往在几十毫秒左右, 但当探测一个不存在主机, 需要等待到超时, 一般还伴随着若干次重试, 时间开销会很大。该方法的主要缺点是, 被测设备可能出于安全考虑而禁止I C MP Ping 服务, 即不会发送回应报文, 这种方法会误认为该设备不可用。
11112 基于S NM P 的Ping 方法
基于S NMP 网络管理协议, 管理站(Manager ) 向被测设备发送一个GET 2Request 报文后, 如果能够收到被测设备中代理(Agent ) 返回的GET 2Res ponse 报文, 则可认为该被测设备是存活的, 至于请求报文中的O I D (Object I dentifier ) , 只要选取一个所有设备都支持的公有M I B (Manage ment I nf or mati on Base ) 信息即可。在这种Ping 方法中, 需要被测设备启动S NMP 服务, 同时管理站需知道被测设备的团体名(Community ) 。
11113 一台设备所配I P 地址集发现
对于一台网络设备(如路由器) , 每个端口可配置一个I P 地址, 因此设备可拥有一个由多个I P 地址组成的集合。如果已知该设备的一个I P 地址, 则可使用S NMP GET 2Request 和GET 2NEXT 2Request 操作, 从设备获取该I P 地址集合, 因为在M I B 信息I P 组中存在i pAddrTable, 它记录有每个端口所配I P 地址信息。
11114 Sp lenNMS 网络设备发现算法
该算法通过给定要探测的网络范围(多个I P 地址段) , 发现这个范围内的设备。设这些I P 地址段中所有的I P 地址组成的集合为A ; 在实际网络管理中, 为了方便维护, 网络管理者通常只使用很有限的Community 个数, 设这些Community 组成的集合为C 。算法过程描述如下。
1) 对每个I P 地址a ∈A, 使用基于I C MP Ping 的方法进行探测, 如果探测结果为存活, 则P =P ∪{a};同时, 依次使用每个c ∈C, 对a 进行基于S NMP 方法的匹配探测, 如探测结果为存活, 则S =S
∪{a}, R =R ∪{〈a, c 〉}。
2) P ′=P -S 表示虽然存活着, 但不能使用S NMP 访问到的设备集合, 原因可能是设备没有启动S NMP 服务, 或其Community 不属于集合C 中; S ′=S -P 表示虽然存活着, 但不能收到Ping 回应报文的设备集合, 原因可能是设备禁止I C MP Ping 服务。P ′与S ′为网络管理人员检查设备配置提供了依据。
3) 判断S 是否为空。如果为空, 算法结束; 否则, 从S 中取一元素s 。
4) 对s 进行所配I P 地址集发现。设得到的集合为I, 从I 中选取一个地址作为该设备的地址, 原则是尽量选取l oop back 地址, 设所选取地址为i 。
5) S =S -I, D =D ∪{i}, M =M ∪{〈x, y 〉—x =i, 〈x, y 〉∈R }。
6) 转3) 。
上述算法中集合S, R, D, M , I 初始化时都为空, 算法的运行结果是:集合D 中保存被发现的网络设备(系统要求设备支持S NMP 采集) , 集合M 的对应关系。112 网络拓扑发现
[5～8]Sp lenNMS 要求网络拓扑准确地反映现实网络, 而不仅是设备与设备的连接。其目的是使网络性能、, , 系统采用如下简单、有效的拓扑发现方法。
11211路由器(包括3层交换机) 主要功能是接收和转发网络层数据包, 在路由表中记载着到达不同目的地需经过的本地端口和下一跳地址, 因此, 可通过获取路由器的路由表信息, 得到与其相邻路由器的连接关系。有相关的M I B 值记录路由表的主要信息, 以RFC12132M I B 为例, i pRouteTable 存储路由表信息, 其中i pRoute Next Hop 记录转发的下一跳地址, i pRoute I fI ndex 记录转发到下一跳要经过的本地端口索引。设所有路由器集合为R, 基于路由表的拓扑发现算法主要过程描述如下。
1) 对每路路由器r ∈R, 采集r 的路由表M I B 信息中的下一跳地址和本地转发端口索引, 所使用到的具体O I D 串可能会因为设备类型不同而有所区别, 设采集结果分别为next Hop 与ifI ndex, 则M =M∪{〈r , ifIndex, nextHop 〉}。
2) L ={〈r 1, ifIndex 1, r 2, ifIndex 2〉—〈r 1, ifIndex 1, r 2〉∈M , 〈r 2, ifIndex 2, r 1〉∈M , r 1
11212 基于CDP 的网络拓扑发现
CDP (Cisco D iscovery Pr ot ocol ) 是Cisco 3层网络设备所支持的协议, 可用于发现它们之间的连接关系。相关M I B 值位于Cisco CDP 组中, 从中能获得各端口所接对端的I P 地址, 以及它们的直连情况。由于Cisco 设备在数据骨干网上使用广泛, 因此该发现方式具有很大的现实意义。
11213 基于某些私有网络管理协议的拓扑发现
为便于对网络设备进行配置和维护, 有的设备提供商开发了一些私有协议, 比如华为的HG MP (Hua wei Gr oup Manage ment Pr ot ocol ) 和港湾的H 2L ink 。以HG MP 协议为例, 通过基于该协议的平台, 可在hw5200设备上对其所管的诸多h w5100设备进行管理。hw5200有相关的M I B 信息记录它所管理设备的连接关系, 可通过采集这些信息发现它们的拓扑。由于这种管理方式在国内电信领域使用较多, 因此, 这种发现方法也具有较大的实际意义。
113 设备资源配置信息采集
设备资源配置包括设备基本信息、端口信息和板卡信息等, 它们种类繁多, 不同型号设备有很大的差异, 且绝大多数存储在私有M I B 中, 因此, 资源信息采集一直是大型网管系统实现的一个难点。为了克服这个问题, Sp lenNMS 采用了基于任务规则的资源信息采集方法, 其过程如图1所示。数据采集模块只需按照任务规则完成采集工作, 不必关心设备的具体信息, 从而达到通用的目的; 另一方面, 基
于规则的任务配置保存在数据库中, 可方便地进行修改和维护。
当要采集一种新的设备信息时, 只需通过配置工具增加新的任
务, 而不必改动任何系统程序。Sp len NMS 采用了多种任务规则,
以满足不同采集需求。其中一个简单的任务规则如表1所示,
它指出了以什么方式采集所给定的M I B O I D 内容, 以及如何在
数据库中存储所采集到的结果。
表1 一个任务规则属性类型含义
Tab 11Ty pes and definiti ons of a si m p le task rule 类 型
厂商标识
设备类型标识
采集O I D
采集方式标识不同厂商的设备标识不同型号的设备需要采集的目标O I D 字符串分“S NM P 2Get ”S NM P 2alk ”, Get 2Request 操作获取
O I D , NMP O I D 所在子树的所有变量值。图1 基于任务规则的资源信息采集Fig 11Collecting res ource infor mati on based on task rules 含 义
, 主要分“D irect ”与“Serialize ”两种方式, 前
目标表名
目标字段名
Serial 字段名(由目标表名和目标字段名确定) , 后者表示还需要按Serial 字段进行格式化存储。存储采集结果的表名存储采集结果的字段名当采用“Serialize ”存储组织方式时有效, 它指出了按哪个字段进行格式化组合。它通常
用在S NMP 2W alk 方式采集, 存储的是各个实际采集变量O I D 去掉“采集O I D ”部分。
2 S plen N MS 网络性能管理
网络性能信息主要包括网络流量、资源利用率、资源可用性、端到端性能等。Sp lenNMS 提供一种改进方案, 用于网络流量、资源利用率的采集和存储, 可解决海量数据采集管理的困难; 采用基于Trap 的扩展定义处理网络性能告警, 使性能告警与源自设备的告警在格式上一致。
211 性能数据采集及存储方案
对于一个大型电信数据网络的管理, 如何组织和存储海量的性能数据是性能管理的最主要难题。传统数据网络管理系统通常都把性能数据直接存储在大型数据库中(见图2) , 这种方式造成了系统性能的极大下降, 甚至随着所管网络规模的增大, 导致系统瘫痪。以网络流量监测为例, 假如网络设备数为2000台, 则需要监测的端口数目一般在7000个以上。通常的数据采集粒度是5m in, 即每间隔5m in 进行一次轮循采集, 在5m in 内需要采集大于14000个变量值, 并往数据库写7000多条记录, 显然给系统带来了极大的负担, 频繁的数据库读写操作使数据库成为系统性能的瓶颈。
MRTG (Multi Router Traffic Grapher ) 使用一种日志文件以ASC II 文本形式记录测得的流量数据[9～11]。为了避免长期监测时的数据膨胀问题, MRTG 定期对数据进行整合, 根据记录数据日期的不同以不同的粒度保存数据, 随着时间的推移, 相应数据的粒度逐渐变大, 超过两年的数据不再保存。因此日志文件具有常量大小的特征, 能够支持长期的网络监测任务。采集存储方式如图3所示。但这种方式还存在两个主要缺点:1) 所存储的数据受到限制, 比如, 不能从中知道一个月前某一天的每半小时的平均数据; 2) 每次数据采集后, MRTG 都根据日志文件进行流量图形生成, 并以HT ML 格式呈现。而在实际应用场合, 一个端口的流量统计分析图形被用户调用查看的概率远远小于不被调用的概率, 因此浪费了大量用于生成图形的系统开销。
Sp lenNMS 采用了如图4所示的性能数据采集及存储方案, 主要用于网络流量、资源利用率等方面
的采集管理。以5m in 为周期进行数据采集, 采集结果采用类似MRTG 日志文件的形式存储, 但每30m in 向数据库写入一次粒度为半小时的性能数据, 供长期历史保存。与MRTG 另一个不同点是, Sp len 2NMS 并不是每次采集都生成图形, 而是引入了触发控制方式的“按需成图”。触发控制使用基于Socket 的控制报文实现。当客户端需要查看某统计分析图形时, 首先向成图控制模块发送控制报文, 报文中指出了要调用的图形, 成图控制模块收到控制报文后, 根据日志文件进行类似原MRTG 中的图形生成。生成图形完毕后, 向客户端发送控制反馈报文, 客户端收到控制反馈报文后, 即可调用新生成的流量分析统计图
。
图2 传统采集存储方式
Fig 12Sche me in traditi onal syste m 图3 MRTG 采集存储方式Fig 13Sche me in MRTG 图4 Sp lenNMS 采集存储方式 Fig 14Sche me in Sp len NMS 在实例测试中, 以监测端口流量为例, 将Sp len NMS 与MRTG 采集存储方式进行比较。性能数据比较如表2所示, 最小执行周期指对所有端口进行一次数据采集所需要的时间, 客户端响应时延是指从客户端发送调用命令到页面返回之间的时间延迟。由表2中数据可以看出, 尽管Sp lenNMS 的客户端响应有一定的延迟, 也大大减小了系统开销, 缩短了执行时间, 使流量监测最小执行周期明显缩小。其中, 硬件环境:2个主频900MHz 的CP U, 内存为2G Byte; 软件环境:HP 2Unix 操作系统, MRTG 211015, Perl 51812。
表2 Sp lenNMS 与MRTG 的测试结果比较
Tab 12Perfor mance comparis on bet w een Sp len NMS and MRTG
监测端口数
500
2000
7000最小执行周期T /s MRTG 本文方案40150950(µ300) 3080250客户端响应时延t /s MRTG 本文方案
212 性能超越阈值告警处理
当检测到性能数据超出设定阈值时, 需要向平台的告警处理系统发送性能告警。Sp len NMS 发送告警通过对Trap 的扩展定义实现, 通过模拟Trap 报文, 把告警通过事先的格式定义发送到告警处理系统。这种处理方式, 使告警处理在形式上达到统一, 性能告警被作为一种普通的Trap 告警源来对待。可根据性能超越阈值的程度, 为告警定义不同的级别, 从而实现S LA (Service Level Agree ment ) 服务。在告警处理系统中, 这些不同级别的告警可能会有不同的呈现效果, 可用不同的颜色区别。
Trap 的扩展定义, 以CP U 利用率为例, 其Variable 2B indings 部分O I D 串的表示形式如图5所示。例如:“[***********][***********]70180”表示是I P 为[1**********]8的网络设备的CP U 性能告警, CP U 的索引是2, 告警级别是3, 设定的阈值是70%, 当前值是80%。
图5 CP U 告警Trap 扩展O I D 表示形式Fig 15The extended trap O I D of CP U alert
3 S plen N MS 网络故障采集
故障管理为排除网络故障提供最直接的依据, 是网络运营商最为关注的内容之一。其中, 告警数据的采集是网络故障管理的主要难题, 因为在大型电信数据网中, 故障信息的来源类型较多, 而且各种故障信息的解析复杂且差异大。Sp lenNMS 的
故障采集系统结构如图6所示。
其中, 专业采集器负责采集原始的告警数
据。根据告警数据来源的不同, 类型(。
息, ; 告警处理器将格式化
后的告警进行告警压缩、告警关联、告警入库
等。由于告警信息本身的复杂性和多样性, 在
大型综合数据网络管理中, 告警解析变得更加[12]
困难。在Sp len NMS 中, 告警解析是基于规则配
置文件的, 从而使采集程序较为通用, 即对新
告警的解析只需在文件中增加新的配置信息, 而不需要修改任何采集程序。图6 Sp lenNMS 故障采集系统结构Fig 16The architecture of fault collecti on syste m in Sp lenNMS
4 S plen N MS 体系结构
Sp lenNMS 体系结构采用典型的J2EE 架构,
如图7所示的4层结构, 具有良好的可扩展
[13～15]性。业务逻辑层主要通过J2EE EJB 组件实
现, 为呈现层提供各种业务逻辑服务, 同时利用
J MS (Java Message Syste m ) 消息服务实现采集层
和逻辑层、逻辑层和呈现层之间的实时通信。采
用EJB (Enter p rise Java Bean ) 组件实现业务逻辑
的优点是:提高了应用程序的可重用性、可移植
性和可扩展性, 同时增强了系统的分布式特征。
5 结束语
网络规模的日益扩大, 使人们越来越认识到
综合网络管理系统对大型网络的重要性, 开发这
类系统具有极大的应用价值和良好的市场前景。图7 Sp lenNMS 体系结构Fig 17The syste m architecture of Sp lenNMS 近几年来, 笔者一直从事着这方面的技术研究和系统开发工作。系统的实际运行效果表明, Sp lenNMS 在综合数据网络管理方面具备实用、高效、有代表性等显著特点, 可以很好地满足大多数相关的业务需求。进一步改进和完善该系统是下一步的工作重点。
参考文献:
[1]沈俊, 顾冠群, 罗军舟. 网络管理的研究和发展[J ].计算机研究与发展, 2002, 39(10) :115321167.
SHE N Jun, G U Guan 2qun, LUO Jun 2zhou . Research and Devel opment of Net w ork Management [J ].Journal of Computer Research and Devel opment, 2002, 39(10) :115321167.
[2]杨家海, 李星, 吴建平. 一种基于W eb /Java的网络管理系统模型与实现[J ].清华大学学报:自然科学版, 2000,
40(5) :1182121.
Y ANG J ia 2hai, L I Xing, WU J ian 2p ing . Design and I m p le mentati on of a W eb /Java2Based Net w ork Manage ment System [J ].Journal of Tsinghua University:Science &Technol ogy, 2000, 40(5) :1182121.
[3]RFC[1**********]3. A Si m p le Net w ork M anage ment Pr ot ocol (S NMP ) [S].
[4]RFC[1**********]3. Ad m inistrative Model f or Versi on 2of the Si m p le Net w ork M anage ment Pr ot ocol (S NMPv2) [S].
[5]郑海, 张国清. 物理网络拓扑发现算法的研究[J ].计算机研究与发展, 2002, 39(3) :2642268.
ZHE NG Hai, ZHANG Guo 2qing . An A lgorith m f or Physical Net w ork Topol ogy D iscovery [J ].of Computer Research and Devel opment, 2002, 39(3) :2642268.
[6]都玉水, 周刚, 马世龙, 董卫宇. [J ]., 2004, 30
(1) :59263.
DU Yu 2shui, ZHOU Gang, MA Updating the Data of Aut omatic Topol ogy D iscovery
[J ].Journal of of A onautics, 2004, 30(1) :59263.
[7]王志刚, . [J ].通信学报, 2004, 25(8) :36243.
WANG Zhi 2Ru 2chuan . Research of A lgorith m f or Net w ork Topol ogy D iscovery [J ].Journal on Communica 2ti ons, 2004, 25(8) :36243.
[8]Y UR IBRE I T BART, M I N OS G AROF ALAKI S, BE N JA I . Topol ogy D iscovery in Heter ogeneous I P Net w orks:The NetI nvent o 2
ry System [J ].I EEE /ACM Transacti on on Net w orking, 2004, 12(3) :4012414.
[9]T OB I A S OETI KER, DAVE RAND. MRTG:The M ulti Router Traffic Grapher [E B /OL].
m rtg . org .
[10]丛锁, 吴甘沙. 网络状态参数监测与MRTG 的应用[J ].微型电脑应用, 2000, 16(4) :51255.
CONG Suo, WU Gan 2sha . M ulti Router Traffic GrapherApp lied in Net w orkMonit oring andMeasure ment of Net w ork Status Pa 2ra meters [J ].M icr ocomputer App licati ons, 2000, 16(4) :51255.
[11]谢喜秋, 梁洁. 网络流量采集工具的分析和比较[J ].电信科学, 2002, 18(4) :63266.
X I E Xi 2qiu, L I A NG J ie . Analysis and Comparis on of Net w ork Traffic Collecting Tools [J ].Science of Telecom, 2002, 18(4) :63266.
[12]杨家海, 吴建平, 王沛渝. 一个基于事件驱动的网络故障管理系统的设计与实现[J ].计算机工程与应用, 2003, 39
(23) :426.
Y ANG J ia 2hai, WU J ian 2p ing, WANG Pei 2yu . The Design and I m p le mentati on of an Event 2D riven Net w ork FaultM anage ment Syste m [J ].Computer Engineering and App licati on, 2003, 39(23) :426.
[13]寇雅楠, 廖志钢, 李增智. 基于Java 的网络管理系统的可扩展性研究[J ].小型微型计算机系统, 2003, 24(1) :
17219.
K OU Ya 2nan, L I A O Zhi 2gang, L I Zeng 2zhi . Research on the Scalable Technol ogies of Net w orkM anage ment Soft w are Based on Java [J ].M ini 2M icr o Syste m s, 2003, 24(1) :17219.
[14]袁满, 胡建平, 罗军. 基于JAVA 技术的网络管理系统软件体系结构[J ].计算机工程与应用, 2003, 39(12) :1802
183.
Y UAN M an, HU J ian 2p ing, LUO Jun . Net w ork M anage ment Soft w are A rchitecture Based on Java Technol ogy [J ].Computer Engineering and App licati on, 2003, 39(12) :1802183.
[15]刘立卫, 严磊. J2EE 架构下的电信网管系统[J ].电信科学, 2003, 19(5) :31233.
L I U L i 2wei, Y AN Lei . Telecom M anage ment Syste m with the J2EE Platf or m [J ].Science of Telecom, 2003, 19(5) :312
33. (Ed . :H ) [2004209].htt p://www.