网络流量模型及分析(最终思路)ppt课件.pptx

1,网络流量模型及分析,我们的工作,网络流量相关概念,网络流量的采集,网络流量模型,实例分析,1,2,3,4,网络流量概念分类测量网络流量的特点自相似性长相关性周期性、突发性、混沌性,网络流量相关概念,网络流量-概念,网络流量就是网络上传输的数据量 单位时间内通过网络设备或者传输介质的信息量报文数数据包数字节数,网络流量-分类,上述三种分类方法，流量的粒度由小到大递增。,广泛使用,参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平,网络流量-测量,主动测量会额外注入流量，被动测量涉及安全性与私密性问题,主动测量确定网络整体性能，被动测量故障定位！,理想的网络测量,不影响数据包转发的速度,完整的流量监控,占用资源少,不会泄露用户的隐私,速度,完整,资源,安全,网络测量的意义,Internet流量工程和网络行为学的研究的依据开发高性能网络设备和设计网络协议的理论基础开展Qos敏感应用提供Qos保证的前提条件诊断网络的运行状况，进行更好的管理保障网络安全，防范网络攻击运营商针对网络流量进行业务上的收费,网络流量的特点,自相似性长相关性周期性突发性混沌性,采集自台湾地区的台中教育大学网络主节点服务器Incming artides共计71天的每小时网络流量数据图,自相似性,局部结构与总体结构相比具有某种程度的一致性种类确定自相似性随机自相似性（网络流量）赫斯特指数（Hurst）,确定自相似性示例,自相似性-从分布的角度定义,令 t 代表时间，对于所有a0，一个随机过程Z(t)，如果Zat与 Z(t)具有相同的有限维分布，即那么Z(t)是自相似随机过程。n 是正整数，代表 n 维分布参数 H 称为 Hurst 参数,参考文献：基于时间相关的网络流量建模与预测研究_高波,自相似性-赫斯特指数（Hurst）,表征自相似特性的一个重要参数当0H0.5时，表示负相关，即不具备自相似性高低值交替的趋势持续一段时间（粗糙曲线）当H=0.5时，随机过程呈现为某种“随机游走”状态，即不同时间的状态转换是互不相关的当0.5H1时，表示正相关，即具有自相似性维持高值的趋势会持续一段时间（平滑曲线）,不同H的分形布朗运动轨迹,长相关性与自相似性,长相关：反映了自相似过程中的持续现象，即突发特性在所有的时间尺度上都存在的现象两者联系：H1/2的稳定自相似随机过程是长相关的，但长相关过程不一定就是自相似的。自相似性偏重于数学表述上的，长相关时侧重于业务量的统计特性。,周期性、混沌性、突发性,周期性反映了网络流量时间序列表现出随时间的规律变化混沌性在确定性系统中出现的一种类似随机的现象突发性业务量在某一时刻或者一段时间内变化悬殊,网络流量的采集方法6,NetFlowsFlowRMON端口镜像,参考文献：网络流量分析关键技术研究_任春梅,NetFlow,将数据报文聚类，汇聚成流，置于缓存中转发的时候对于属于同一个流的连续包，后续报文不做三层处理同步实现对高速转发的IP数据流的测量和统计集成在路由器中,NetFlow Analyzer,sFlow,采用数据流随机采样技术，详细、实时地分析网络流的性能、趋势以及存在问题收集到的数据通过sFlow代理进行编码，转交给中心采集器（已植入设备中）不仅可以对数据包进行IP层分析还可以进行二层分析处理,RMON,Remote Network MonitoringSNMPMIB两种方法收集数据通过RMON探测器，网管工作站直接获取全部MIB信息，并控制资源将RMON代理植入网络设备，网管工作站用SNMP交换数据,SNMP&MIB,SNMP（简单网络管理协议）体系结构被管理的设备SNMP管理器SNMP代理,SNMP与MIB,MIB（管理信息数据库）树形结构包含了管理代理中的有关配合和性能的数据对管理信息进行读写操作就可以完成管理,端口镜像,无损复制、镜像采集配置交换机或路由器把一个或者多个端口的数据转发到某一个端口来实现对网络监听要监听所有流量，难度巨大，性能要求高,四种流量采集技术的比较,NetFlow：对主机间流量描述精确性接近100%，但是无法做深度检测基于软件架构，配置方便、安装简单利用汇集方式监测，适用于广域网间sFlow：速度快，实时性好分析过程对性能有一定要求利用随机采样方式监测，适用于局域网间RMON/SNMP：信息准确，读取方便对每个数据帧都会进行分析，增加负载端口镜像方案简单，无传输延迟处理时性能要求高,网络流量建模原则,以流量的重要特性为出发点设计流量模型以刻画实际流量的突出特性进行数学上的研究,参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平,流量模型的发展历程,传统模型（短相关）,自相似模型（长相关）,流量模型的新发展,20时期70年代-1994年,1994年-2004年,2004 年泊松回归引发的争论至今,传统（短相关）模型,泊松(Poisson)模型马尔可夫(Markov)模型回归(regression)模型,泊松(Poisson)模型,时间序列t内，包到达的数量n（t）符合参数为t 的泊松分布：时间间隔序列T呈负指数分布：(泊松过程的强度)：单位时间间隔内出现包的数量的期望,即包到达的平均速率,泊松(Poisson)模型,泊松(Poisson)模型,前提：假设网络事件(如数据包到达)是独立分布的只与一个单一的速率参数有关.,泊松(Poisson)模型,马尔科夫(Markov)模型,对于一个给定的状态空间 , 表示在n 时刻状态的随机变量,如果 的概率只依赖于当前的状态， 就形成了一个Markov链,只有当前的状态用来预测将来，过去对于预测将来是无关的,马尔可夫过程-实例,33,贪吃蛇的两种规则,青蛙跳荷叶,马尔科夫(Markov)模型,传统模型的缺点,实际的数据包和大部分连接的到达是相关联的,并不严格服从泊松分布流量自相似性反映业务在较大时间尺度具有突发性,对缓存的占用较大,导致更大的延时当业务源数目增加时,突发性会被吸收,聚合业务会变得越来越平滑,但却忽略了流量的突发性,流量模型的发展历程,传统模型（短相关）,自相似模型（长相关）,流量模型的新发展,20时期70年代-1994年,1994年-2004年,2004 年泊松回归引发的争论至今,自相似（长相关）模型,构造建模（物理模型），利用已知的传输知识解释所观察到的数据特征：（重尾分布的）ON/OFF模型M/G/排队模型行为建模（统计模型），用数据拟合方法模拟所测真实数据的变化趋势：FBM/FGN模型FARIMA模型基于小波的模型,M/G/排队模型,M：顾客到达时间间隔，呈指数分布（改进后为泊松分布）G：顾客的服务时间，服从帕累托Pareto分布(重尾分布)：服务器数量，无限大适用于视频流量模型,M/G/排队模型,最早由 B. Mandelbrot 和 J. M. Berger两人于上世纪六十年代在有酬更新过程（reward renewal process）的基础之上构造出来，随后Taqqu 和 Levy扩展了该模型的构造方法。实质：将大量的ON/OFF 数据源生成的流量叠加在一起,ON/OFF模型,参考文献：基于时间相关的网络流量建模与预测研究_高波,ON/OFF模型,ON/OFF模型,ON/OFF模型：每个发送源都有两个周期交替的ON和OFF状态，即发送数据状态和不发送数据状态 ：发送数据包的速率,重尾分布,重尾分布：一种比正态分布还要广泛的的随机变量分布，体现在少量个体做出大量贡献Pareto法则（80/20法则）：最重要的通常只占其中一小部分直观特征：大头短 + 小尾长。,帕累托分布（Pareto）,在重尾分布当中，Pareto 分布是相对简单的一种分布，令参数 a0，k0，则 Pareto 分布概率密度函数 f(x)是如下描述的分段函数,结论：当多个独立同分布的 ON/OFF 数据源流量叠加时，如果 ON 状态或者 OFF 状态的持续时间服从重尾分布，那么叠加流量将具有自相似性39,帕累托分布（Pareto）,重尾分布的ON/OFF模型,C，即Convergence，表示趋同性网络趋同性说明：以往的 ON/OFF 模型中对于各个 ON/OFF 源之间独立同分布的假设变得不切实际，导致 ON/OFF 模型生成流量的合成流量的自相关函数并不满足实际网络流量的长相关特性,C-ON/OFF模型,1、根据 Internet 中广泛存在的趋同性改进现有的 ON/OFF 模型，使各源之间具有一定的相关性，讨论各源之间相关性与合成流量长相关性的关系2、建立基于 ON/OFF 模型的具有趋同性的新网络流量模型。3、使用归一化子协方差函数和Hurst参数验证,实验步骤,假设 ON/OFF 模型中有 N 个 ON/OFF 源，每个 ON/OFF 源产生的流量分别是 X1(m)、X2(m)、XN(m)，其中 m 为整数离散时间， m 0。这 N 个源生成流量的合成流量 X(m)为：设 n 为时间间隔，n 为大于等于零的整数，那么，X(m)的自相关函数为：,理论验证,N 个独立同分布 ON/OFF 源的合成流量的自协方差函数与每个源流量自协方差函数的关系：其中c(n)是合成流量的自协方差函数，ci(n)是每个源流量的自协方差,一系列数学推导,V. Paxson 等人34指出，ON 周期或 OFF 周期的持续时间具有轻尾分布的 ON/OFF 模型在独立同分布条件下产生的合成流量是短相关流量结论1：当 ON/OFF 结构模型满足独立同分布、ON 周期或 OFF 周期持续时间呈轻尾分布时，源产生的流量具有短相关性质,结论1,各个源产生流量的自协方差函数与互协方差函数说明：由于各个源之间不独立，因此第二项必不为零结论2：单个流量之间的互协方差是否可加将直接决定聚合流量自协方差函数是否可加，即各源生成流量之间的互相关性的强弱决定了合成流量自协方差的可加性,当On或者Off持续周期不独立,当 ON/OFF 结构模型满足独立同分布、ON 周期或 OFF 周期持续时间呈轻尾分布时，源产生的流量具有短相关性质只要满足独立同重尾分布这个条件，无论单个流量还是合成流量都是长相关流量如果各源之间不独立，具有一定相关性，那么，对于重尾分布来说，合成流量必然长相关,理论论证之结论,归一化自协方差函数，又称自相关系数Hurst参数估值,两种验证方法,实验条件控制,第一组：ON/OFF 模型各源的 ON、OFF 状态周期均呈轻尾分布，且各源之间相互独立。第二组：ON/OFF 模型各源的 ON、OFF 状态周期均呈轻尾分布（指数分布），但各源之间不独立，具有一定相关性第三组：ON/OFF 模型各源的 ON、OFF 状态周期均呈重尾分布（选取 Pareto 分布作为重尾分布的代表），且各源之间相互独立第四组：ON/OFF 模型各源的 ON、OFF 状态周期均呈重尾分布（Pareto 分布），各源之间不独立，具有一定相关性,实验条件设置,归一自协方差验证结论,Hurst参数估值验证结论,构造新模型C-On/off,条件设置1） 固定 n，观察 C-ON/OFF 模型生成流量的归一化自协方差随 N 值的变化情况；2） 固定 N，观察 C-ON/OFF 模型生成流量的归一化自协方差随 n 值的变化情况。,使用C-on/off模型测试,实验结果（n固定）,实验结果（N固定）,Hurst验证新模型,Hurst验证新模型,首先通过理论分析证明了如下结论：在经典ON/OFF 模型的基础上加入各 ON/OFF 源之间的相关性，可以在 ON 周期和OFF 周期持续时间分布为轻尾分布的条件下产生长相关性质的流量然后对上述结论进行了仿真验证，仿真结果表明：在 ON/OFF 模型各源之间增加相关性之后，即使 ON/OFF 模型的 ON 周期和 OFF 周期持续时间呈轻尾分布，合成流量依然具有长相关性；若 ON 周期和 OFF 周期持续时间呈重尾分布，那么各源之间的相关性将加剧合成流量的自相似程度，表现为 Hurst 参数值的增加,C-on/off结论,流量模型的发展历程,传统模型（短相关）,自相似模型（长相关）,流量模型的新发展,20时期70年代-1994年,1994年-2004年,2004 年泊松回归引发的争论至今,2004 年,Karagiannis 等人通过分析Tier 1 ISP 的骨干链路流量发现,目前高带宽和高聚合的链路流量在极小尺度下近似泊松过程,从而引发了人们对网络流量特征及建模的新思索和争论之所以这样划分,并不表示近时期的流量模型不具有自相似的特征,主要是为了更清晰地了解近些年网络流量模型的发展情况,流量建模新发展,近年其他模型的发展,流量预测模型基于神经网络的模型混沌理论模型模糊理论模型混合模型多分形模型,展望流量模型的发展,目前的网络模型基本都基于流量时间序列的自相似特性，未来是否还会有别的特性发现？目前的流量均基于时间特性，是否将来会考虑空间特性？网络流量的小尺度行为的研究新的物理模型的发展模型的简单和精确性发展,（1）节点1 ：为整个校区的网络出口处，是整个校区的流量总和，具有最高汇聚度（2）节点2： 为汇聚层中一个子网络结构的总流量，该子网络节点的总流量是3 个子网络中流量最小的（3）节点3： 为汇聚层中一个子网络结构的总流量，该子网络节点的流量是3 个子网络中流量最大的（4）节点4 ：为最下层路由器连接的交换机的流量总和,实例分析：校园网7,采用被动测量技术，并对采集的报文抽样统计。运用Solarwinds软件对校园网流量信息进行抽样测量。根据每30min的时间间隔来完成对校园网流量数据信息的采集。,校园网流量测量,参考文献：校园网络流量分析与预测研究_张昕,基于BP神经网络的流量预测,BP 神经网络算法的训练步骤如下：（1）样本分类。把样本分为训练样本和测试样本，训练样本用于训练网络，测试样本用于测试网络预测性能。（2）网络初始化。随机初始化 BP 神经网络的权值和阈值，设置网络学习速率 。（3）预测输出。把训练样本输入网络，计算网络预测输出并计算网络预测输出和期望输出的误差e。（4）权值修正。根据误差e修正网络权值和阈值，从而使网络预测值逼近期望值。（5）判断算法是否结束，如没有结束，返回步骤 3，继续运行。,sigmoid,基于BP神经网络的流量预测,学习速率 取 0.1,基于BP神经网络的流量预测,在网络训练达到 50 次时训练的均方误差为 0.108142，在训练达到 500 次时均方误差为 0.106294，实际上，当训练达到 220 次时均方误差基本没有变化，说明此时训练次数的增加并不能改善网络流量的预测性能。,基于小波神经网络的流量预测模型,将小波分析和神经网络直接结合，把神经网络隐含层的传输函数用小波函数代替，大多数前向多层神经网络都是基于 Sigmoid函数的基函数网络，用这种网络作函数逼近时，由于 Sigmoid 函数自身的局限性使得其是一种次优网络。把神经网络隐含层的传输函数用小波函数代替，这样的结合从本质上改变了预测模型的结构，在不影响预测精度的前提下，缩短了模型的训练时间，提高了训练的速度,克服了神经网络容易陷入局部次优的缺点，且算法易实现、易应用和易推广。,Morlet 母小波基函数：,基于小波神经网络的流量预测模型,基于小波神经网络的流量预测模型,基于小波神经网络的流量预测模型,本节实验采用松散型小波神经网络模型进行流量预测。首先运用小波对采集的数据流量序列进行小波分解，此处选择 haar 小波对流量进行 3 层小波分解,基于小波神经网络的流量预测模型,在本实验中采用的小波神经网络结构为 4-9-1。网络权值的初值是在参数初始化时随机得到。本实验对小波神经网络反复进行 500 次训练,校园网网络流量分析,流量分析步骤：选择一种方法采集流量选择一种或多种流量分析模型对采集到的流量的预处理划分训练集、测试集对元数据做必须的映射处理分解元数据，分面处理训练模型，分析并预测,参考文献（1）,基于时间相关的网络流量建模与预测研究高波Internet 流量模型分析与评述张宾, 杨家海, 吴建平自相似网络流量模型研究王晖，季振洲，朱素霞网络流量模型与流量预测技术研究张久坤校园网络流量分析与预测研究张昕网络流量分析关键技术研究任春梅校园网络流量自相似性分析与研究张浩,参考文献（2）,Wide Area Traffic: The Failure of Poisson Modeling Paxson V, Floyd S. A New Model for Error Clustering in Telephone Circuits Berger J M, Mandelbrot B Renewal Reward Processes with Heavy-Tailed Inter-Renewal Times and Heavy-Tailed Rewards Levy J B, Taqqu M S.,Thank you！,