运筹与优化动态规划课件.ppt
《运筹与优化动态规划课件.ppt》由会员分享,可在线阅读,更多相关《运筹与优化动态规划课件.ppt(76页珍藏版)》请在三一办公上搜索。
1、第八章 动态规划,最短路径问题资源分配问题背包问题机器负荷分配问题,动态规划是一种研究多阶段决策问题的理论和 方 法。动态规划又称为多阶段规划.多阶段决策问题:决策过程是一种在多个相互联 系的阶段分别作出决策以形成序列决策的过程,而这些决策都是根据总体最优化这一共同目标 来选取的。要点:阶段,状态,决策,状态转移方程,k-后部子过程。状态 决策 状态 决策 状态 状态 决策 状态,第一节 多阶段的决策问题,阶段1,阶段2,阶段n,例1 最短路径问题:求从A到E的最短路径.,如果用枚举法,则从A到E共有332 1=18条不同的路径,逐个计算每条路径的长度,总共需作418=72次加法计算;对18条
2、路径的长度做两两比较,找出其中最短的一条,总共要 进行181=17次比较.最短路径:AB2C1D1E,最短距离19。,第二节 动态 规划的基本概念和基本方程 2.1.动态 规划的基本概念,1.阶段与阶段变量 把所给问题的过程,恰当地分为若干个相互联系的阶段,以便能按一定的次序去求解.描述阶段的变量称为阶段变量,用k表示.(k=1,2,n),2.状态与状态变量 状态是系统在变化过程中某个阶段的初始形态表征.描述状态的变量称为状态变量,用sk表示第k阶段的初始状态.第k阶段所有可能状态构成的集合称为该阶段的(可达)状态集合,记为Sk.,最短路问题中,各个节点就是状态生产库存问题中,库存量是状态物资
3、分配问题中,剩余的物资量是状态,无后效性:如果某阶段状态给定后,则在这阶段以后过程的发展不受这阶段以前各阶段状态的影响.,3.决策与决策变量 决策是指在某个阶段状态给定以后,从该状态演变至下一阶段某状态的选择.描述决策的变量称为决策变量,用uk(sk)表示第k阶段处于状态sk时的决策变量.用Dk(sk)表示第k阶段从状态sk出发的允许决策集合.uk(sk)Dk(sk),最短路问题中,走哪条路生产库存问题中,各阶段的产品生产量物资分配问题中,分配给每个地区的物资量,4.策略与(后部)子策略 策略是一个按顺序排列的决策组成的集合.由过程的第一阶段开始到终点为止的每阶段的决策所组成的决策序列称为全过
4、程策略,简称策略.记为 p1,n(s1)=u1(s1),u2(s2),un(sn),由过程的第k阶段开始到终止状态为止的过程,其相应的决策序列称为k子过程策略,简称子策略.记为 pk,n(sk)=uk(sk),uk+1(sk+1),un(sn)可供选择的策略范围称为允许策略集合,用P表示.从P中找出达到最优效果的策略称为最优策略.,5.状态转移与状态转移方程 过程由这一阶段的一个状态转变到下一阶段的另一个状态称为状态转移.描述状态转移关系的方程称为状态转移方程.由状态sk转移到sk+1的状态转移方程.记为 sk+1=Tk(sk,uk)Tk称为状态转移函数.,6.指标函数和最优值函数 用来衡量所
5、实现过程优劣的一种数量指标,称为指标函数.表示为 Vk,n=Vk,n(sk,uk,sk+1,uk+1,sn+1),k=1,2,n,动态规划的指标函数应具有可分离性、递推关系,即 Vk,n(sk,uk,sk+1,uk+1,sn+1)=ksk,uk,Vk+1,n(sk+1,uk+1,sn+1)常见的指标函数的形式是:1).Vk,n(sk,uk,sn+1)=nj=k vj(sj,uj)=vk(sk,uk)+Vk+1,n(sk+1,uk+1,sn+1),2).Vk,n(sk,uk,sn+1)=nj=k vj(sj,uj)=vk(sk,uk)Vk+1,n(sk+1,uk+1,sn+1)其中vj(sj,u
6、j)表示第j阶段的指标.,指标函数1),2)可统一表示为:其中记号“*”可都表示为“+”或都表示为“”.指标函数的最优值,称为最优值函数,记为fk(sk).它表示从第k阶段的状态sk开始到第n阶段的终止状态的过程,采取最优策略所得到的指标函数值.即其中“opt”是最优化(optimization)的缩写,可依题意取min或max.,2.2.动态 规划的基本思想和基本方程,最短路线有一个重要特性:如果L是允许策略集合P中从始点A到终点E的最短路线,M是L中的一点,则从M沿L到E的路是从M到E的最短路线.寻找最短路线的方法,可以从最后一段开始,由后向前逐步递推,求出各点到后一点的最短路线,最后求得
7、始点到终点的最短路线.所以,动态规划的方法是从终点逐段向始点方向寻找最短路线的一种方法.如图所示:行进方向 始点 1 2 3 n 终点 寻优途径,例1、最短路径问题,求从A到E的最短路径,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f5(E)=0,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D1)=5,f5(E)=0,2,5,1,12,14,10,6,10,4,13,11,1
8、2,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f4(D1)=5,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C1)=8,f4(D1)=5,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C2)=7,f4(D1)=5,f3(C1
9、)=8,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f3(C1)=8,f3(C2)=7,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B1)=20,f3(C2)=7,f3(C1)=8,2,5,1,12,14,10,6,10,4,13,1
10、1,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B2)=14,f3(C2)=7,f3(C1)=8,f2(B1)=21,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f2(B1)=21,f2(B2)=14,2,5,1,12,14,10,6
11、,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f1(A)=19,f2(B2)=14,f2(B1)=21,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f1(A)=1
12、9,f2(B2)=14,f2(B1)=21,状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态,A(A,B2)B2,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f1(A)=19,f2(B2)=14,f2(B1)=21,状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态,A(A,B2)B2(B2,C1)C1,2,5,1,12,1
13、4,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f1(A)=19,f2(B2)=14,f2(B1)=21,状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态,A(A,B2)B2(B2,C1)C1(C1,D1)D1,2,5,1,12,14,10,6,10,4,13,11,12,3,9,6,5,8,10,5,2,C1,C3,D1,A,B1,B3,B2,D2,E,C2,f4
14、(D2)=2,f5(E)=0,f3(C3)=12,f4(D1)=5,f2(B3)=19,f3(C2)=7,f3(C1)=8,f1(A)=19,f2(B2)=14,f2(B1)=21,状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态,A(A,B2)B2(B2,C1)C1(C1,D1)D1(D1,E)E从A到E的最短路径为19,最短路线为AB 2C1 D1 E,k阶段与k+1阶段之间的递推关系:称为动态规划的基本方程.例1中opt=min,vk(sk,uk(sk)=dk(sk,uk(sk).用动态规划解题的基本思路,是将一个n阶段的决策问题化为依次求解n个具有递推关系的单阶段决
15、策问题,从而简化计算过程.这一思路体现了动态规划方法的如下基本特征:多阶段性,无后效性,递归性,总体优化性.,逆序解法:从问题的最后一个阶段开始,逆多阶段决策的实际过程反向寻优.如图所示:行进方向 始点 1 2 3 n 终点 寻优途径 顺序解法:从问题的最初阶段开始,顺多阶段决策的实际过程同向寻优.如图所示:行进方向 始点 1 2 3 n 终点 寻优途径(两种解法可表示行进方向的不同或对始点终点看法的颠倒),给实际问题建立动态规划模型的基本步骤:(1).将问题的过程恰当地划分为若干个阶段;(2).正确选择状态变量sk(第k阶段的初始状态),使它既 能描述过程的演变,又能满足无后效性;(3).确
16、定决策变量uk及每阶段的允许决策集合Dk(sk);(4).正确写出状态转移方程;(5).正确写出指标函数Vk,n,它应满足下面三个性质:a)是定义在全过程和所有后部子过程上的函数;b)要具有可分离性,且满足递推关系,即,Vk,n(sk,uk,sn+1)=ksk,uk,Vk+1,n(sk+1,uk+1,sn+1),c)函数k(sk,uk,Vk+1,n)对于变量Vk+1,n 要严格单调.,指标函数:动态规划逆序解法的基本方程为:式中状态转移方程sk+1=Tk(sk,uk).(8.2)中通常“*”取“+”时=0;取“”时=1.,动态规划顺序解法的基本方程为:式中状态转移方程sk=Tk(sk+1,uk
17、).(8.3)中通常“*”取“+”时=0;取“”时=1.,附注:若将状态变量sk表示k阶段末的结束状态,则 动态规划顺序解法的基本方程为:,第三节 动态 规划的最优性原理和最优性定理,动态 规划的最优性原理:作为整个过程的最优策略具有这样的性质,无论过去的状态和决策如何,对前面决策所形成的状态而言,余下的诸决策必构成最优策略.(简言之,一个最优策略的子策略总是最优的)动态 规划的最优性定理:设阶段数为n的多阶段决策过程,其阶段编号为k=0,1,2,。允许策略 是最优策略的充要条件是对任一个k,0kn-1和s0S0有,式(8.4)中,它是由给定的初始状态s0和子策略p0,k-1所确定的k段状态.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 运筹 优化 动态 规划 课件
链接地址:https://www.31ppt.com/p-4066663.html