短期负荷预测毕业设计论文.doc

【摘要】短期负荷预测是电力系统安全经济运行的前提，随着分时电价方式的推广和电力市场化改革的深入，我们更要力求及时、准确地把握负荷变化的信息，对负荷预测的重要性和迫切性提到了前所未有的高度，同时也对负荷预测的精度提出了更高的要求。最近一段时期，支持向量机（Support Vector Machine, SVM）算法已经被认为是一种预测负荷数据更好的方法，SVM 是基于结构风险最小化原则的新型机器学习方法，有着比传统的基于经验风险最小化原则的人工神经网络更优越的性能。因此，本文将SVM 引入短期负荷预测，以期开发出一种性能更加优越的短期负荷预测方法。为了进行有效的预测，提高预测精度，本文提出将最小二乘支持向量机LS-SVM（Least Square Support Vector Machine）对负荷进行预测。在建立模型的过程中，通过对训练对象的不断改进以及调整，提高对负荷数据预测的精确性。得到更加优化的预测模型，使其更好的利用到负荷预测的领域中。关键词：短期负荷预测；样本调整训练；最小二乘支持向量机；【Abstract】 Power system short term load forecasting is the premise of safe and economic operation, with the way the promotion of electricity price and electricity market reform, we should strive to timely and accurately grasp the load change information on the importance of load forecasting and urgency referred to an unprecedented level, but also on the accuracy of load forecast a higher demand. During the recent period, support vector machine (Support Vector Machine, SVM) algorithm has been Bei Ren Wei is a better forecast load data of method, SVM is based on structural risk minimization principle of the new machine learning method, You Zhaobi's based on the traditional empirical risk minimization of the artificial neural network better performance. Therefore, this article will introduce short-term load forecasting SVM in order to develop a performance more superior short-term load forecasting. In order to effectively predict, improve forecasting accuracy, this paper will support vector machine LS-SVM (Least Square Support Vector Machine) on the load forecast. In the modeling process,through the continuous improvement of training objects and changes to improve the accuracy of the forecast load data. Be more optimal forecasting model, to make better use of the field to load forecast. Keywords: Short term load forecasting; Adjust the training sample; LSSVM目录1引言11.1负荷预测的特点及影响因素11.2负荷预测的要求和步骤32短期电力负荷预测方法综述42.1短期电力系统负荷预测的传统方法42.1.1回归分析法42.1.2趋势外推法52.1.3时间序列法52.1.4人工神经网络法62.2专家系统法92.2.1专家系统的特点及组成92.2.2专家系统在短期电力负荷预测中的应用93LS-SVM原理103.1统计学理论103.1.1VC维（Vapnik-Chervonenkis Dimension）103.1.2推广性的界113.1.3结构风险最小化原则（SRM）123.2支持向量机基本原理143.3支持向量机回归理论183.3.1支持向量机回归183.3.2核函数213.3.3参数的影响及选取223.4最小二乘支持向量机233.4.1最小二乘支持向量机的原理233.4.2最小二乘支持向量机的特点244基于LS-SVM负荷预测模型及仿真实例264.1LS-SVM1.5工具包264.2基于最小二乘支持向量机预测的模型建立264.2.1计算流程图264.2.2预测步骤274.2.3参数选择284.3基于最小二乘支持向量机的实际预测程序实例284.3.1采用五天预测一天的预测方式284.3.2采用四天预测一天的预测方式314.3.3采用三天预测一天的预测方式344.3.4采用连续两个周一预测第三个周一的预测方式364.3.5本章算例分析小结385结论395.1基于实际LSSVM算例的得出的LSSVM优缺点395.2对SVM负荷预测的展望39致谢40参考文献411 引言短期负荷预测是电力系统的一项基础工作，是能量管理系统的一个重要模块，在电力系统的安全和经济运行中起着重要作用。它所提供的未来负荷数据，对电力系统输变电建设、运行和计划非常重要。准确的负荷预测有助于经济合理地安排电网内部发电机组的起停，维持电网运行的安全稳定，合理安排机组的检修计划，有效的降低发电成本。目前，我国大多数系统的短期负荷预测都是由调度人员人工进行，通过寻找相似日直观地预测，这完全依赖于调度人员的经验，且一般仅限于提前一天预测。随着电力市场的完善和分时电价的实行，迫切需要有可靠性高、预测效果好并且自动化程度高的短期负荷预测方法，这也是本文研究的重点。本章将着重介绍短期负荷预测的相关理论。1.1 负荷预测的特点及影响因素负荷预测是根据电力负荷的过去和现在推测它的未来数值，需要采用适当的预 测技术和模型，推导负荷的发展趋势和可能达到的状况。其特点如下：1) 负荷预测的不准确性 预测学本身是一个研究不确定问题的理论和方法。电力负荷未来的发展也是不确定的，它受多种多样复杂因素的影响，而且各种影响因素也是发展变化的。人们 对于这些发展变化有些能够预先估计，有些却很难事先预见到，加上一些临时情况 发生变化的影响，因此就决定了预测结果的不准确性，或者说不完全准确性。2) 负荷预测的条件性 负荷预测的预测过程是一个由历史向未来递推的过程，是在一定条件下做出的。条件可分为必然条件和假设条件两种。如果真正掌握了电力负荷的本质规律，那么 预测条件就是必然条件，所做出的预测往往是比较可靠的。而在很多情况下，由于 负荷未来发展的随机性，需要一些假设条件，给出负荷预测的结果就是基于这种假 设的前提。这些假设条件不能毫无根据地凭空假设，而应根据研究分析，综合科前沿与学术评论各种情况得来。3) 负荷预测的时间性各种负荷预测都有一定的时间范围，因此，要求有比较确切的数量概念，往往需要确切地指明预测的时间。4) 负荷预测的地区效应在不同的负荷地区，负荷构成的比重不同，因此，影响负荷的因素有所不同。一般说来，大电网负荷变化有较强的统计规律性，预测结果较准确，而地区级电网 的预测精度则相对低一些。5) 负荷预测的多方案性负荷预测的机理是一个数学建模的过程，而不同的数学模型的使用条件是有一定限制的。因此，需根据负荷在各种情况下可能发生的状况进行预测，采用不同的 负荷预测方案。从负荷预测的特点可以看出，负荷预测的结果受多种因素的影响，主要有：1) 气候变化和自然灾害的影响 气候因素有很多，但主要指气温和湿度。随着家用电器的普及，气候变化对负荷的影响愈来愈明显，生活用电比例呈逐年增加的趋势。某中等城市电网统计，当 夏季气温超过 37ºC 时，温度每上升 1ºC，电力负荷便增加 100MW 左右；与此同时， 近年来的城市生活用电以每年近 30的速度增长。同样，严重的自然灾害如洪涝、大旱等，也会造成电力负荷的大幅度波动。1998年，全国性洪涝灾害使众多大中型工业企业停产，负荷大幅度下降便是最好的说明。2) 宏观产业结构调整的影响 国家宏观产业结构调整必然会影响电力需求的变化。譬如，基建项目实行“宏观调控”，直接“刺激”或“抑制”国民经济的发展和耗电大企业的用电，造成电力 负荷的变化。3) 能源市场变化带来的影响 从整个能源消耗市场来看，电力市场只是其中的一个组成部分。事实上，用户消费能源的种类和数量与能源的价格、易用性等也有关系。一定条件下，用户选择 电力消费和其他能源消费的比重可能会发生变化，有时甚至会完全发生逆转。例如，管道煤气价格的提高会使居民用电负荷迅速增加；电力价格居高不下或供电网络不完整，则会导致农村用户将电力能源消费改变为其他能源的消费。可见，电力消耗与其他能源的消耗之间有着密切的关系。国内外能源价格的调整都会对电力负荷产生一定的冲击。因此，在进行负荷预测时应该关注能源市场的 变化，考虑各种替代能源的供需状况和价格因素，并尽可能在负荷预测模型中予以考虑。4) 虚报负荷或过高估计经济发展速度造成的影响一方面，在作系统规划设计时，某些地方为使工程上马，片面理解电力要适当超前发展，向上虚报负荷增长率；另一方面，有的地区过高估计工业发展的速度， 提供的数据与实际情况相去甚远。其直接结果是，可能造成负荷预测值较多地偏离 实际运行的数值，导致系统出力在短期内出现大幅度的变化，进而影响电力系统的 安全和经济运行。5) 预测方法本身对预测结果的影响 系统的最大负荷与产业结构的构成、设备计划检修的数量和周期、气候变化、季节交替等因素关系密切。而众多单一的传统预测方法各有不同的使用场合和时段， 如果不加分析、不分场合地使用，必然导致预测结果出现较大的偏差。事实上，描 述负荷变化特性的模型以及准备用来做预测的模型，总是具有一定的相对正确性。1.2 负荷预测的要求和步骤电力系统的负荷既有一定的规律性，又有很强的随机性，未来某一时刻的负荷， 通常与过去的负荷水平、当前的运行状况、预测期的气象因素以及日期类型等密切 相关。因此，对负荷预测的要求也就是对预测模型的要求，必须考虑下述问题： 模型应能反映负荷随着季节、星期及一天 24 小时周期性波动的特点。 模型应能反映负荷自然增长的内在规律。 模型应能反映气温、日照等气象因素的影响。 近期负荷变化趋势比早期负荷变化趋势对未来负荷变化地影响更加明显，数 学模型应能反映出这种“近大远小”的规律。 对节假日期间的负荷应建立专用预测模型，且能够根据现场需要，提前对节假日期间的负荷进行预测。 模型应能适应在线应用的需要。 负荷预测的一般步骤为： 明确负荷预测的内容和要求。根据不同地区、不同时期的具体情况，确定合 理的预测内容和预测指标。 调查并收集资料。要尽可能全面、细致地收集所需要的资料，避免用臆想的 数据去填补负荷预测数学模型中所缺少的资料。 基础资料分析。对收集的大量信息去伪存真，提高关键数据的可信度。 经济发展预测。掌握经济发展对电力需求的影响，一般说来，经济增长必然 带动电力需求的增长。在这方面要重点关注国家增加投入、扩大内需、结构调整、通货紧缩、企业经营状况及深化改革等因素。 选取预测模型、确定模型的参数。 负荷预测。用预测模型进行负荷预测，给出“上、中、下”几种可能的、较为可靠的预测方案。 结果审核。结合专家经验对预测结果、预测精度及可信度做出评价，用历史数据样本进行校验，并进行自适应修正。 准备滚动负荷预测，积累资料，为以后的滚动负荷预测做好准备。2 短期电力负荷预测方法综述短期电力负荷是一个周期性的非平稳随机过程，它既有季节性的变化也有按星期和24 小时的周期性变化同时又有节假日和正常工作日的差别短期负荷的影响因素，很多包括气象条件政治活动社会生活等各方面。因此充分考虑各个影响因素追求较高的预测精度面临着多方面的困难和挑战。纵观短期电力负荷预测技术的发展，其预测方法经历了传统方法阶段和现代方法阶段传统预测方法的产生和发展是与概率论和数理统计等学科的发展密切相联。主要的预测方法包括回归模型法、趋势外推法、时间序列法等随着90年代人工智能这一新兴学科的迅速崛起短期负荷预测的模型及方法有了本质上的改变从先前的传统数学模型向智能型的机器学习转化其中最具代表性的便是人工神经网络在电力负荷预测中的应用包括各种BP RBF HopfieldElman 等各种人工神经网络的模型此外基于模糊数学和专家系统等理论的众多方法对于改善和提高短期负荷预测精度有很高的参考价值本章将对目前国内外短期电力负荷预测方法的研究现状作综合描述具体包括传统的预测方法人工神经网络方法模糊数学预测法专家系统法小波变换法混沌理论预测方法和组合预测方法。2.1 短期电力系统负荷预测的传统方法电力负荷预测的传统方法实际上是以传统数学方法为工具。根据负荷过去的历史资料建立精确的数学模型进行负荷预测的方法，传统预测方法的产生和发展是与概率论和数理统计等数学理论的发展分不开的，主要的预测方法可分为回归分析法趋势外推法时间序列法等。2.1.1 回归分析法回归分析法是根据负荷过去的历史资料建立可行的数学分析模型对未来的负荷进行预测大致分为以下三个步骤回归模型的建立模型参数的估计和假设实验计算对应预测点的预测值和置信区间，回归模型法采用的模型如下：y(t)=b0+b1x1(t) +. +bnxn(t) +q(t) (2-1)其中 y(t)是t时刻对应预测点的预测负荷值xi(t)(i=1,2,.,n) 是一组观察值为给定的预测点bj (j=1,2,.,n) 为回归方程的回归系数X(t)是随机干扰即白噪声服从正态分布N(0,s2 )根据回归分析设计变量的多少 可以分为一元回归分析和多元回归分析在回归分析中自变量是随机变量因变量是非随机变量由给定的多组自变量和因变量资料研究自变量和因变量之间的关系形成回归方差而回归方程根据自变量和因变量之间的函数形式又可分为线性回归方程和非线性回归方程式即是多元线性回归分析方程回归系数bj可在历史数据包括历史数据以及有关影响负荷大小的其它因素的历史数据的基础上通过最小二乘法估计求得回归系数确定以后便可以用于负荷预测。在负荷预测问题中 回归方程的因变量一般是电力负荷自变量是影响电力负荷的各种因素如社会经济人口气候等但这种回归模型更适用于电力系统中长期负荷预测且回归分析有两个难点一是回归变量的选取应选取主要因素而忽略次要因素而变量因素的量化涉及到计量经济的范畴过于麻烦2.1.2 趋势外推法趋势外推技术的特点是只作趋势外推而并不对其中的随机成分作统计处理使用上最为简单缺点是预测的精度较差。一般来讲，趋势外推的趋势不外平稳趋势和非平稳趋势两种非平稳趋势的情况多是电力负荷的非线性增长对于短期负荷预测而言我们视负荷的变化趋为平稳趋势趋势外推法推荐采用滑动平均模型具体来讲主要有一次滑动平均预测法二次滑动平均预测法和滑动平均自适应系数法等。采用趋势外推方法进行短期电力负荷预测有以下几个方面的内容 首先对系统负荷变化的规律要有非常准确的认识其次是选择和校验所建立的数学模型另外要尽可能地做到模型参数的自适应或更新工作实际上 趋势外推法由于其自身过于简单的特点通常仅仅用于负荷变化规律性强而随机因素影响微弱的极少数电力系统中。2.1.3 时间序列法电力负荷的历史数据是按一定时间间隔进行采样记录下来的有序集合, 因此它是一个时间序列, 电力负荷时间序列预测技术就是根据负荷的历史资料设法建立一个时间序列的数学模型, 用这个模型一方面来描述电力负荷这个时间序列变化过程的规律性, 另一方面通过寻找负荷历史数据序列中的变化模式将该模式外推到未来进行预测时间序列法1是将负荷序列y(t)看成是随机序列q (t)，通过线性滤波器的输出图针对线性滤波器的特性可以将滤波器分成六类自回归过程。AR动平均过程MA 及自回归动平均过程ARMA，自回归综合动平均过程ARIMA周期过程Seasonal Process 传递函数模型TF，实际使用最多的是ARMA模型这里只对该模型进行简要介绍。ARMA 模型的确定分两步模型辨识和参数估计模型辨识是确定pq 的值其基本途径，是对原时间序列的相关分析，也就是计算序列的均值自相关函数和偏相关函数模型、辨识后就要利用远序列的有关样本数据对模型进行参数估计时间序列法是应用最早，最为广泛发展比较成熟的一种方法它的主要优点体现在对历史数据量要求较低计算量小等，其局限性表现在对历史的准确性要求高伪数据，对预测影响很大，对伪数据处理较严格气象因素难以解决造成预测的不准确不适用于电网容量较小或变化较大平稳度较小地区的负荷。2.2 短期电力负荷预测的现代方法传统的预测方法一般对于有明确变化规律的负荷序列预测效果较好，短期负荷值大多数情况下是平稳随机序列影响负荷变化的因素包括天气节假日重的电力系统故障和其他随机事件传统方法往往对此无能为力。时至今日，尽管还有一些传统预测方法作为短期负荷预测的辅助手段但单纯的传统预测方法已很难满足负荷预测的实际要求与此同时日渐成熟的现代预测方法正扮演着越来越重要的角色这里主要介绍人工神经网络法模糊数学法专家系统等。2.1.4 人工神经网络法自上世纪 40 年代美国神经生理学家W.S.McCulloch 和W.Pitts 创立神经元模型以来神经网络理论经历了漫长曲折的发展过程直到上世纪80 年代D.E.Rumelhart 等人提出了反向传播神经网络BPNN Back-Propagation Neural。Network 以后神经网络以其巨量并行性信息处理和存储的合一性以及自组织学习功能而受到重视尤其是它强大的多元非线性映射能力使得它能够准确捕捉并学习负荷值与天气之间的非线性关系使考虑气象因素的短期电力负荷预测成为可能。人工神经网络模型是由大量神经元互连而成的网络 根据连接方式不同常分为两大类没有反馈的前向神经网络和相互结合型网络前向神经网络由输入层一层或多层的隐藏层和输出层组成每一层的神经元只接受前一层神经元的输出而相互结合型神经网络中任意两个神经元之间都可能有连接因此输入信号要在神经元之间反复传递从某一初始状态开始经过若干的变化渐渐趋于某一稳定状态或进入周期震荡等其他状态。1) 前向神经网络前向人工神经网络模型是最常用的一种人工神经网络模型它的主要用途是用来逼近非线性映射因此可以用它建立一般的非线性预测模型。图 2-2 是一个前向神经网络的典型结构图它包含一个输入层一个输出层一个或多个隐层有关文献已经证明具有两个隐层的前向神经网络可以完成任意维空间的映射问题而用于电力负荷预测的前向神经网络通常只需要一个隐层就足够了。图2-2 二层前向神经网络前向神经网络的关键问题是解决算法问题，以Rumeejart 和McClland 为首提出的误差反向传播算法，以后简称BP 算法，-为前向神经网络的实用化研究奠定了坚实的基础下面给出一个典型三层前向网络的BP 算法计算公式如图2-2。其中输入层神经元把输入网络的数据不做任何处理直接作为该神经元的输出设输入层神经元的输出为（X1，X2，X3.XZ）；隐层神经元的输入为(S1，S2，S3，S4.SH)；隐层神经元的输出为(Z1，Z2，Z3，Z4.ZH) 输出层神经元的输出为(Y1，Y2，Y3，Y4.YM) 则网络的输入输出为 (2-2)BP 神经网络的学习问题即是由样本数据确定参数Wij 和Vki，结构设计问题则为确定输入层神经元的个数隐层神经元的个数和神经元之间的连接实际上 BP 算法采用的是一种梯度下降算法这种算法虽然具有概念清楚计算简单的特点但它学习时间慢尤其在局部最优点附近收敛速度慢易于陷入局部最优点从而使其实际应用受到了局限仔细分析不难发现导致网络陷入局部最优点的原因有两个一是网络结构上存在输入和输出之间的非线性关系从而使网络误差或能量函数所构成的空间是一个含有多个极小点的非线性空间另外就是算法上误差或能力函数只能按单方向减小而不能有丝毫的上升趋势因此网络跳出局部最小点的可能性很小。为了克服 BP 算法的缺点一些学者相继提出了大量改进的学习算法例如加入动量项的各种变学习率的改进BP 算法共轭梯度法拟牛顿法分层优化算法和演化算法等2) 径向基函数神经网络1985 年Powell 提出了多变量插值的径向基函数RBF 方法1988 年Broomhead 和Lowe 首先将径向基函数应用于神经网络设计从而构成了径向基函数神经网络12 径向基函数网络的结构和多层前向网络类似是一种三层前向网络输入层只传递输入信号到隐层第二层为隐层单元数视所描述问题的需求而定第三层是输出层它对输入模式的作用作出响应从输入空间到隐含空间的变换是非线性的而从隐含空间到输出空间的变化是线性的构成RBF网络的基本思想是用RBF作为隐含单元的基构成隐含层空间，这样可以将输入矢量直接映射到隐空间，当RBF的中心点确定以后这种映射关系也就确定了而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和此处的权即为网络的可调参数。由此可见，从总体上看网络由输入到输出的映射是非线性的而网络的输出对可调参数而言又是线性的，这样网络的权可由线性方程组直接解出从而大大加快学习速度并避免局部最小问题。RBF网络可作如下数学描述，隐单元的变换函数是RBF，它是一种局部分布的中心点径向对称衰减的非负非线性函数通常每个接受域单元的输出为高斯函数： Ri(X)=exp-(X-Ci)/2O2 i=1,2,3.mRBF (2-3)神经网络与常用的BP神经网络模型相比具有以下优越性:BP网络用于函数逼近时,权值的调整采用的是负梯度下降法,这种调节权值的方法有它的局限性,即存在着收敛速度慢和容易陷于局部值极小的缺点,而径向基函数网络无论在逼近能力分类能力和学习速度等方面均优于BP网络从理论上讲,RBF 网络和BP网络一样可以逼近任意的连续非线性函数两者的主要差别在于各使用不同的作用函数,BP 网络中的隐层节点使用的是Sigmoid 函数,其函数值在输入空间中无限大的范围内为非零值,而RBF 网络中的作用函数则是局部的。3) 自组织竞争神经网络自组织竞争神经网络是模拟生物神经系统抑制功能的人工神经网络自组织特征的映射过程是通过竞争学习完成的竞争学习是指同一层神经元之间互相竞争竞争胜利的神经元修改与其相联的连接权值的过程竞争学习是一种无监督学习方法只需向网络提供一些学习样本而无需提供理想的目标输出网络根据输入样本的特性进行自组织映射从而对样本进行自动排序和分类与其他神经网络相比 自组织竞争神经网络的结构与其它学习规则又有自己的特点在网络结构上它一般是由输入层和竞争层构成的两层网络两层之间各神经元实现双向连接而且网络没有隐含层有时竞争层各神经元之间还存在横向连接在学习算法上它模仿生物神经系统依靠神经元之间的相互协调与抑制竞争来进行信号处理的动力学原理指导网络的学习和工作而不像大多数神经网络那样是以网络的误差或能量函数作为算法准则。4) 反馈网络反馈网络和前向网络不同，它的信息在前向传递的同时还要进行反向传递这种信息的反馈可以发生在不同网络层神经元之，也可以只限于某一层神经元上由于反馈网络是动态网络。因此只有满足了稳定性条件网络才能在工作一段时间后达到稳定状态，Hopfield 神经网络是美国物理学家Hopfield 于1982 年首先提出的它是一种全连接型的反馈网络。其状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程或微分方程来描述系统的稳定性，可以用所谓的能量函数来进行分析在满足一定的条件下能量函数在网络运行的过程中不断减小最后趋于稳定的平衡状态。因此应用Hopfield 网络进行组合优化的问题就是把目标函数转换为网络的能力函数把问题的变量变换为网络的状态将网络的能量函数收敛于极小值的问题Elman 神经网络也属于反馈网络范畴，它由若干个隐层和输出层构成并且在隐层存在反馈环节两层的传递函数，可以在建立网络时由用户自己指定当隐层神经元足够多时Elman 网络，可以保证网络以任意精度逼进任意的非线性函数Elman 网络，主要用于信号检测和预测等方面。2.2 专家系统法2.2.1 专家系统的特点及组成专家系统是人工智能领域最为活跃的技术之一。它是以人工智能的原理和技术为基础相对于人工智能的其它技术它有自己独立的特点主要包括启发性，它可以使用判断性知识及已确定的理论形式进行推理并依专家求解问题的思路用启发的方式来模拟专家透明性，它是高度交互的用户可以在任何时候中止处理灵活性，专家系统把控制从知识中游离出来能够不断地把新知识加入到知识库中维护起来灵活方便专家系统主要由知识库和推理机组成，在知识库中存放着求解问题所需的知识而推理机负责使用知识去解决实际问题知识库和推理机的分离是专家系统的基本前提之一，它是专家系统透明性和灵活性的重要保证体现了人工智能中叙述性表示和形式推理的特点。2.2.2 专家系统在短期电力负荷预测中的应用专家系统应用于短期电力负荷预测，一般只在预测结果的调整环节即在已经给定的预测结果的基础上依据具体的环境变化情况对现有预测结果作出调整具体来讲专家系统的调整修正功能体现在短期负荷预测的以下几个方面，首先是天气因素的影响，对于短期电力负荷预测而言一个工作日的预测是前多个历史工作日气象条件的综合作用效果而不仅仅只是前一个工作日的单一作用。如果求助于专家系统它的知识和控制两部分的天然分离可为预测人员提供操作上的便利，另一方面是诸如节假日等特殊预测日的情况。由于节假日出现的周期时间，可能很长如春节专家系统的知识库可以存储此类型预测日的负荷曲线特点以供预测人员做出科学的判断和负荷的修正虽然在专家系统上。我们对此的应用前景表示乐观但必须注意到专家系统在短期负荷预测领域上还面临着一些问题，主要是建立一个真正适用的专家系统并非易事它需要大量的经验策略和和领域规则知识库和推理机规则的制定也具有相当大的难度。3 LS-SVM原理支持向量机是基于结构风险最小化准则(structural risk minimization，SRM)小样本学习理论。SVM的泛化能力要明显优越于神经网络等传统学习方法。另外，SVM的求解最后转化成二次规划问题的求解，因此，SVM的解是唯一的、也是全局最优的。正是上述优点，SVM得到了广泛的重视，己成为目前经验建模领域的研究热点。最小乘支持向量机(1east squares support vector machine，LS-SVM)是SVM的改进，其训练只要求解一个线性方程组，易于实现，并极大地提高了SVM的训练效率，因而在非线性建模领域和工业领域有更广的应用前景。本章首先介绍SVM的基本原理，然后重点研究了用于回归建模的LS-SVM。3.1 统计学理论统计学习理论 (Statistical Learning Theory，SLT)被认为是目前针对小样本统计估计和预测学习的最佳理论。它从理论上系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系以及如何利用这些理论找到新的学习原则和方法的问题。统计学习理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有的有限信息的条件下得到最优结果。早期的统计学习理论(SLT)是从60年代发展起来的，直到90年代，它一直是作为一种针对有限样本的函数预测问题的纯理论分析工具。虽然，早期的统计学习理论提出了VC维理论，为衡量预测模型的复杂度提出了有效的理论框架。但是，它仍然是建立在经验风险最小化原则基础上的，即以训练的平均误差为最小的模型作为期望的最终模型。所以，早期的统计学习理论一直停留在抽象的理论和概念的探索之中，直到90年代初期，VC维理论还没有得到很好的应用。90年代中期，Vapnik提出了支持向量机(Support Vector Machines，SVM)算法，进一步丰富和发展了统计学习理论，使它不仅是一种理论分析工具，还是一种能构造具有多维预测功能的预测学习算法的工具，使抽象的学习理论能够转化为通用的实际预测算法。以下介绍统计学习理论中的重要概念：VC维、推广性的界、结构风险最小化原则。3.1.1 VC维（Vapnik-Chervonenkis Dimension）为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数集学习性能的指标，其中最重要的是VC维。1968年Vapnik&Chervonenkis首先提出VC维的概念。它是目前为止对函数集学习性能最好的描述指标。模式识别方法中VC维的直观定义是：对于一个指示函数集，如果存在个样本能够被函数集里的函数按照所有可能的2种形式分开，则称函数集能够把个样本打散。函数集的VC维就是它能打散的最大样本数目。如果对任意的样本数目，总有函数能打散它们，则函数集的VC维就是无穷大。有界函数的VC维可以通过使用阈值将函数转化成指标函数来定义。图3-1aVC维示意图 图3-1bVC示意图由图3-1的VC维示意图可以看出，a中的7个样本能完全被包含3个分类超平面的函数集分开，所以该函数集的VC维等于7；而图b中7个样本没有完全分开，图中函数集只能分开2类样本，所以它的VC维等于2。VC维是统计学习理论的核心概念，反映了函数集的学习能力。一般而言，VC维越大，学习机器的学习能力就越强，学习机器也就越复杂(容量越大)。但目前还没有通用的关于计算任意函数集的VC维理论，只有对一些特殊函数集的VC维可以准确知道，因此要确定其VC维将更加困难。对于给定的学习函数集，如何用理论和实验的方法计算其VC维是当前统计学习理论研究中有待解决的一个问题。在实际应用统计学习理论时，可以通过变通的办法巧妙地避开直接求VC维的问题。3.1.2 推广性的界对于各类型的函数集，经验风险和实际风险之间的关系即推广性的界。它是分析学习机器性能和发展新的学习算法的重要基础。统计学习理论中给出了估计真实风险的不等式，即对于任意的(为抽象参数集合)，经验风险和实际风险之间至少以至少以1-的概率满足以下关系： (3-1)式中： (3-2)称为置信风险，为样本个数；参数称为一个函数集合的VC维。当较大时，置信风险较大，此时用经验风险近似期望风险就会出现较大的误差。若样本数很多，使较小，则置信风险就会很小，经验风险最小化的最优解就会接近真正的最优解。从以上两式可以看出，学习机器的实际风险由两部分组成：一是经验风险，另一部分称为置信风险；置信风险反映了真实风险与经验风险差值的上确界，并和学习机器的VC维及训练样本数有关。因此，想要得到期望风险最小值，除了控制经验风险最小外，还要控制函数集的置信风险，而置信风险随着函数集VC维的增长而增大。在有限训练样本情况下，学习机器的复杂度越高，VC维就越高，则置风险就越大，也就会导致真实风险与经验风险之间可能的差别越大。需要指出的是，推广性的界是对于最坏情况下的结论，在很多情况下所给出的界较松，尤其在VC维比较高时更是如此。研究表明，当>0.37时这个界是松弛的，当VC维为无穷大时这个界不再成立。3.1.3 结构风险最小化原则（SRM）1） 经验风险最小化原则在介绍结构风险最小化之前，首先介绍经验风险最小化原则。设变量与输入之间存在一定的未知依赖关系，即遵循某一未知的联合概率分布，根据，个独立同分布观测样本，在一组函数中引进一个最优的函数对与之间的依赖关系进行估计，使期望风险最小，即： (3-3)其中，函数集可以表示为任何函数集，称为预测函数集，为函数的广义参数，为用对进行预测而造成的损失，即损失函数。不同类型的学习问题有不同形式的损失函数。由式(3-3)可见，要最小化期望风险，必须利用联合概率的信息。但在实际问题中，联合分布是未知的，能利用的信息只有观测样本集。因此，无法直接计算和最小化期望风险。根据概率论中的大多数定律的思想，人们自然想到用算术平均 (3-4)运用来逼近。由于只利用已知地训练样本，因此称为经验风险。用求经验风险的最小值来逼近期望风险的最小值，即风险最小化(Empirical Risk Minimization)原则，简称ERM原则。很多学习算法如神经网络法、最小二乘法都是基于经验风险最小化原则提出的。但事实上，从期望风险到经验风险最小化的转化并没有可靠的理论依据。首先与都是函数，概率论中的大数定律只说明在一定条件下，当样本趋于无穷多时，将在概率意义上趋近于，并不保证和在同一点上取得最小值。其次，当样本点个数趋于无穷大时，并不能保证经验风险趋于期望风险，更不能保证在实际应用中样本有限的情况下仍能取得良好的效果。2) 结构风险最小化原则经验风险最小化原则(ERM)在样本有限时是不合理的，早在1971年Vapnik就曾指出经验风险的最小值未必收敛于期望风险的最小值。为了克服这一缺陷，1974年Vapnik&Chervonenkis提出了结构风险最小化原则(SRM)，即为了达到实际风险最小，需要同时使经验风险和VC维(置信范围)最小化。传统方法中，选择学习模型和算法的过程其实就是调整置信范围的过程，如果模型比较适合现有的训练样本，即较适当，则可以取得较好的效果。但是这种对模型和算法的调整只能依赖先验知识和经验，造成了像神经网络等方法对使用者的“经验”的过分依赖。而要求真实风险最小，就需要使经验风险和置信范围相互权衡，共同趋于最小。结构风险最小化的基本思想是把函数