概率统计模型讲座ppt课件.ppt

《概率统计模型讲座ppt课件.ppt》由会员分享，可在线阅读，更多相关《概率统计模型讲座ppt课件.ppt（91页珍藏版）》请在三一办公上搜索。

1、概率统计模型讲座,主讲：吕 佳数学与计算机科学学院,确定性因素和随机性因素,随机因素可以忽略,随机因素影响可以简单地以平均值的作用出现,随机因素影响必须考虑,随机模型,一、电梯问题,有r个人在某栋大楼的一楼进入电梯，大楼共有n层。如果每个乘客在任何一层楼出电梯的可能性相同，那么直到电梯中的人下完为止，电梯平均需要停多少次？如果在一楼共进入电梯14人，而这栋大楼共有28层高，请用计算机模拟验证你的理论。,Matlab 模拟程序 dianti.m:N=5000;%模拟次数n=28;%电梯层数r=14;%电梯开始进的人数s=0;x=zeros(n,1);for k=1:N%模拟N次 s1=0;for

2、 i=1:n x(i)=0;end for j=1:r%对每个人是否下电梯进行模拟 i=1+floor（rand(1,1)*n);x(i)=1;%第i层有人下 end s1=sum(x);%该次模拟中总共要下的人数 s=s+s1;%累加各次模拟中要下的人数endeq=s/N%模拟平均值输出ei=n*(1-(1-1/n)r)%理论值输出,计算机模拟程序,二、聪明的保险公司,人寿保险问题,3、对这2500个参保对象每人每年至少收取多少保险费才能使公司以不小于0.99的概率每年获利不少于10万元？,假设有2500个同一年龄段同一社会阶层的人参加某保险公司的人寿保险。根据以前的统计资料，在一年里每个人

3、死亡的概率为0.0001.每个参加保险的人一年付给保险公司120元保险费，而在死亡时其家属从保险公司领取20000元，那么，,1、保险公司有多大可能性亏本？,2、有多大可能性保险公司一年获利不少于10万元？,4、由于保险公司之间竞争激烈，为了吸引参保者、挤垮对手，保险费还可以降低，比如20元，只要不亏本就行。因此，保险公司将考虑这样的问题：在死亡率和赔偿金不变的情况下，每人每年交给保险公司20元保险费，保险公司至少要吸引多少个参保者才能以不小于0.99的概率不亏本？,人寿保险问题,人寿保险问题的数学模型,问题的关键在于，保险公司会面临多少理赔，即会有多少参保者死亡？而这是具有随机性的。可以引入

4、随机变量X来表示参保者中的死亡人数。,问题分析,容易理解：X是服从二项分布B(n,p)的，其中n为参保总人数，p为死亡概率。根据中心极限定理还可以知道，X近似服从正态分布N(np,npq)，可据此解决上述问题。,模型构成,用随机变量X表示一年之中死亡的人数，则 XB(2500,0.0001),一年之中有k个人死亡的概率为：,根据 E(X)=25000.0001=0.25,D(X)=25000.00010.9999 0.25,由中心极限定理知；XN(0.25,0.52)。,1、保险公司亏本的概率为：,实际上这个值很难计算，改用正态分布计算会方便很多：,模型求解,2、“一年获利不少于10万元”等价

5、于“X10”,3、设x为每人每年所交保险费，“获利不少于10万元”即 2500 x-20000X100000,等价于Xx/8-5.,即每人应交给保险公司51.32元保险费。,模型求解,4、设y为参保人数，X仍为参保死亡人数，那么此时X N(0.0001y,0.00010.9999y)，则不亏本的条件变为：20y-20000X0,即Xy/1000.,即保险公司至少要吸引671人参加保险。,模型求解,对于二项分布，当n很大时，可以应用中心极限定理用正态分布近似计算。,理论依据,德莫佛-拉普拉斯中心极限定理(De Moivre-Laplace),设随机变量n(n=1,2,.)服从参数为n,p(0p1

6、)的二项分布，则,关于中心极限定理,在客观实际中有这样一种随机变量,它们是由大量的相互独立的随机因素的综合影响所形成的。而其中每一个别因素在总的影响中所起的作用都是微小的。这种随机变量往往近似地服从正态分布，这种现象就是中心极限定理的客观背景。,正态分布在随机变量的各种分布中,占有特别重要的地位.在某些条件下,即使原来并不服从正态分布的一些独立的随机变量,它们的和的分布,当随机变量的个数无限增加时,也是趋于正态分布的.在概率论里,把研究在什么条件下,大量独立随机变量和的分布以正态分布为极限这一类定理称为中心极限定理.,关于中心极限定理,关于中心极限定理,一般说来,如果某些偶然因素对总和的影响是

7、均匀的,微小的,即没有一项起特别突出的作用,那么就可以断定描述这些大量独立的随机因素的总和的随机变量是近似的服从正态分布.这是数理统计中大样本的理论基础,用数学形式来表达就是李雅普诺夫定理.,关于中心极限定理,李雅普诺夫Liapunov定理：设1,2是相互独立的随机变量,有期望及方差,关于中心极限定理,这个定理的实际意义是:如果一个随机现象由众多的随机因素所引起,每一因素在总的变化里起着不显著的作用,就可以推断,描述这个随机现象的随机变量近似的服从正态分布.由于这些情况很普遍,所以有相当多一类随机变量遵从正态分布,从而正态分布成为概率统计中最重要的分布.,三、社会收入分配公平吗？,收入分配问题

8、,收入的差异是反应社会收入分配是否公平的重要指标。一般来说，鼓励自由竞争会扩大收入差异，但是政府可以通过税收政策和对低收入者的补贴来缩小收入的差异。,现有30个工人家庭的月收入（元）的数据，从低到高列表如下：,工人家庭月收入表,根据以上数据，你能设法描述收入分配的不公平程度吗？,来看看洛伦兹(Lorenz)是怎么做的：,洛伦兹曲线,把这30个家庭按收入顺序分成相等的5组，然后统计出每组家庭的收入总数以及户数和收入的累积值及百分比累积值，如下表所示：,洛伦兹曲线,用横坐标表示户数累积百分比，纵坐标表示收入累积百分比，描点、连线便得到洛伦兹曲线，它是一条向下凸的曲线。,如果所有家庭的收入全部相等，

9、则洛伦兹曲线为y=x，这条线称为绝对平等线，所以洛伦兹曲线描述了收入的不平等状况。由于收入是按从小到大的顺序排列的，所以洛伦兹曲线位于直线y=x的下方，它越接近直线y=x，收入就越平均；越向下凸出，则收入分配越不平均。,基尼(Gini)系数,在洛伦兹曲线的基础上，意大利统计学家基尼于1992年在他发表的有关收入集中指数的研究中提出了基尼系数。,评价,纵观以上洛伦兹曲线得到的过程，只用到数理统计中极其平常而简单的数据处理的基础知识，但却解决了“收入分配公平程度分析”这样的大问题。由此可见，往往不是我们所学的知识没用，而是我们没有运用知识的意识，没有深入理解知识的本质，也没有抓住问题的本质。而数学

10、建模正是在用数学知识解决问题的过程中把对知识的运用和对问题的挖掘同时发挥到极致！,四、生命线越长寿命越长？,有人认为人的寿命与手掌上的“生命线”的长度有关，“生命线”长的人，寿命就长些；“生命线”越短的人，寿命就越短。下表列出了50位自然死亡的人的生存年龄x(单位：年)及“生命线”的长度(单位：厘米)的数据，试检验以上说法是否正确。,生命线越长寿命越长？,生命线越长寿命越长？,问题分析,人的寿命和生命线的长度都是不确定的量，可分别用变量X和Y来描述。数据表实际上提供了X和Y的观测值。,要对“生命线”越长寿命越长？这个问题给出是与否的回答，相当与假定：两随机变量Y 和随机变量X有线性依赖的关系。

11、,生命线越长寿命越长？,利用相关系数可以判断两随机变量之间是否存在线性关系。然而，随机变量X和Y的分布都是未知的，无法直接计算其相关系数这一数字特征。但是我们可以从数据即样本观测值来计算相关系数的估计量r.,模型建立,生命线越长寿命越长？,利用所给数据可以计算出：,从而X与Y之间的相关系数的估计值为：,生命线越长寿命越长？,由于,所以X与Y之间的线性相关关系是不显著的。,相关分析和回归分析,在客观世界中，普遍存在着变量之间的相互关系。数学的重要作用就是从数量上来揭示、表达和分析这些关系。而变量之间的关系分为两类：,确定性关系-即我们所熟悉的变量之间的函数关系，如圆的半径R与圆的面积S之间就存在

12、确定的函数关系。,非确定性关系-即变量之间虽然有密切的关系，但这种关系却无法用确定的函数关系表达，变量之间的这种非确定性关系，称为相关关系。例如：人的身高和体重的关系；人的血压和年龄的关系，某产品的广告投入与销售额的关系等。,具有相关关系的变量虽然不具有确定的函数关系，但是可以借助函数关系来表示它们之间的统计规律。这种近似地表示它们之间的相关关系的函数被称为回归函数。最简单的情形是由两个变量形成的关系。考虑用下列模型表示：但是由于两个变量之间不存在确定的函数关系，因此，必须把随即波动考虑进去，故引入模型如下：,相关分析和回归分析,回归分析就是根据已得的试验结果以及以往的经验来建立统计模型，并研

13、究变量间的相关关系，建立起变量之间的近似表达式，并由此对相应的变量进行预测和控制。,相关分析和回归分析,相关分析法和回归分析是研究两个或两个以上变量的相关关系的重要的统计方法。但两者之间又有明显的区别：,相关分析和回归分析,试求出 与 的关系，并判断是否有效。,例 为了研究大豆脂肪含量 和蛋白质含量 的关系，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，得到如下数据,解（1）描散点图,（2）建立模型,由散点图，设变量 与 为线性相关关系：,确定回归系数 和：,所以，所求的回归方程为,（3）检验回归方程的有效性,查相关系数临界值表,因为,所以回归方程在 的检验水平下有统计意义。,即可以认为大豆

14、的蛋白质含量与脂肪含量有线性相关性。,五、你身体的血液总量有多少？,如何估计一个人体内的血液总量？,注射一定量的葡萄糖，采集一定容积的血样，测量注射前后葡萄糖含量的变化，即可估计人体的血液总量。主意采集和测量的时间要选择恰当，使血液中的葡萄糖含量充分均匀，又基本上未被人体吸收。,湖中有多少条鱼？,设湖中有鱼群，现捕出r条鱼，做上记号后放回一段时间后，再从湖中捕起n条鱼，其中有标记的有k条，试据此信息估计湖中鱼的总数N.,凭感觉你也能给出回答：,上述两个问题本质上是一样的，为什么可以这样做呢？,数学解释,我们以捕鱼问题为例给出其数学解释：,解释一：概率可以用频率来近似估计。,数学解释,解释二：极

15、大似然估计理论,数学解释,抽样调查现在已被广泛应用。它省时省力，能获得较为准确的结果，这一方面是由于方法本身的科学性；但另一方面很重要的一个前提是被调查者的回答必须都是真实的。,六、敏感性问题的调查,敏感问题（sensitive problem）是指涉及个人（或单位）的隐私或利益的问题,以及大多数人认为不便在公开场合表态或陈述的问题，在某些情况下，还包括一些违法或犯罪的行为。,敏感问题的概念,例如：在统计学研究中，经常会遇到一些不受被调查者欢迎、或感到尴尬的所谓敏感问题：如一群人中参加赌博的比率？吸毒人的比率？经营中偷税漏税人的比率？学生中考试作弊的人的比率？婚前有无性行为？推销药品是否给回扣

16、？各种类型的额外消费、公款吃喝、同性恋及类似的为社会所不赞成的各种事件等问题。,敏感问题的分类,敏感问题的分类 按答案特征可分两大类 属性特征敏感问题 也称分类特征敏感问题，它被用于了解被调查者是否具有敏感问题的特征，并估计具有敏感问题特征的人在总体中所占比重，例如是否有吸毒行为？是否有婚外情？数量特征敏感问题 数量敏感问题是指被调查者具有敏感问题数额大小的特征，一般是估计敏感问题数值的均数，也可称为敏感性均值问题，例如“你有几个婚外性伴侣？”“你每月的工资外收入有多少？”,这类问题，如果直接调查，被调查者可能拒绝回答，应答率很低，即使问卷上有答案，但答案是否真实，值得怀疑。所以，对于敏感性问

17、题，若采用直接调查的方法，调查者将难以控制样本信息，得不到可靠的样本数据。,为了得到敏感性问题的可靠的样本数据，必须采取特殊的科学可行的方法来提高应答率、降低不真实回答率，以使调查结果真实可靠。首先是将保密措施坦诚告诉调查对象，取得理解和信任，调查场所要保证没有他人在场，一般由调查对象自己在调查表上填写；其次需要采取一定的技术。,敏感问题的调查,对敏感性问题的调查方案，关键要使被调查者愿意做出真实回答，又能保守个人秘密。一旦调查方案设计有误，被调查者就会拒绝配合，所得调查数据将会失去真实性。心理学家与统计学家为此设计了一种调查方法，一些统计分析方法随机化回答技术，也应运而生。,随机化回答技术(

18、Randomized Response Technique，RRT),是指在调查中使用特定的随机化装置，使得被调查者以预定的概率P来回答敏感性问题。这一技术的宗旨就是最大限度地为被调查者保守秘密，从而取得被调查者的信任。,随机化回答技术,比如在调查学生考试作弊的问题中，设计外形完全一样的卡片n张，其中n1张卡片上写上“你考试是否作过弊?”，n-n1张卡片上写上另外的问题。然后放在一盒子里。调查时，由被调查者从盒子里任抽一卡片，根据卡片上的问题做出回答，至于卡片上具体是什么问题，调查者无权过问。这样就起到了为被调查者保密的作用。因而相对于直接问答调查，易于得到被调查者的合作。,随机化回答技术是由

19、美国社会学家Warner于1965年首先提出并用于敏感问题调查。,随机应答技术的类型沃纳随机化回答模型,西蒙斯模型（Simmons model）,沃纳随机化回答模型调查模型的基本思想是：为了调查某个敏感问题，同时列出两个存在相关关系的问题制成卡片，被调查者随机抽取卡片进行回答。,具体的做法是：要调查的敏感性问题，列出正反两个问题。如调查考试作弊问题，就作成两种卡片：A、你在考试中作了弊吗？B、你在考试中没有作弊吗？,然后由被调查者随机抽取一张来回答“是”或“否”，至于卡片上具体是什么问题，调查者无权过问。因此，调查人员并不知道被调查者在回答那一个问题，而达到对被调查者个人秘密的保密作用。,沃纳

20、随机化回答模型,要求被调查者从中随机抽取一个回答而调查人员不知道其具体抽中的是哪一个问题，但问题A的比例P是确定的。如果他所抽到的问题与自己情况一致则回答“是”，否则回答“不是”。,沃纳随机化回答模型,沃纳随机化回答模型,设 是具有敏感性特征的人所占的比例，p是写有问题“你属于A吗?”的卡片所占的比例。如果对n人进行调查，调查结果中有n1个人回答“是”，有n-n1个人回答“否”，统计结果中回答“是”的人的比例=n1/n，对问题A回答“是”的人数比例为。于是：,的极大似然估计为：,其方差为：,公式：,印度教育当局研究大学生中酗酒的流行程度。如果一个学生在调查前的一个月内饮酒至少1250毫升，则称

21、他（她）是一个酗酒者。在这个定义下，从加尔各答市大学生中简单随机有放回地抽取了若干名大学生，目标是估计加尔各答大学中酗酒者所占的比例。,实例：,随机抽取了100名大学生，所用随机化装置为一装有60个卡片的盒子。盒子中有45张卡片上写有问题“在上一个月你是否至少饮酒1250毫升?”（问题 A），剩余的15张卡片上写有问题“在上一个月内你是否饮酒少于1250毫升?”调查时，在没有调查员观察的情况下，被调查者把盒子中的卡片摇匀后从中随机抽取一张，而后根据所抽到的卡片上的问题如实地回答“是”或“不是”。调查结果为：有28个人回答了“是”，72个人回答“不是”。,写有敏感问题A的卡片占全部卡片的比例为

22、p=0.75，回答“是”的人数占总人数的比例=n1/n=0.28,有：n=100，n1=28，p=0.75，因此有：,=0.008145,=0.28-0.25/0.5=0.06,也即有6%的人是酗酒者。根据,沃纳的方法虽然比直接提出敏感性问题要好，但所提的两个问题都还具有敏感性。而且，该方法中回答A的人数比例不能为1/2。1967年西蒙斯对沃纳模型进行了改进。,西蒙斯模型（Simmons model）,他所建立的模型与沃纳模型最大的不同点：在于调查人员提出的随机化问题是两个不相关的问题，其中一个为敏感性问题，另一个为非敏感性问题B，这样的处理使被调查者的合作态度进一步提高。,设样本中对问题B（

23、无关问题）回答“是”的人数比例为,西蒙斯模型（Simmons model）,对问题A回答“是”的人数比例,统计结果中回答“是”的人的比例，也就是对问题A或B回答“是”的人数比例,1.已知的情况 设抽样方式是简单随机有放回的,是具有敏感性特征A的人所占的比例。,设总体为n的简单随机样本中，有n1人回答“是”，则,其方差为：,西蒙斯模型（Simmons model）,实践中，并不总是已知的，例如对于无关问题“你是四月份出生的吗?”我们可以通过查有关资料来获得 的值，而对于无关问题“你喜欢蓝色吗?”我们就无法预知 的值，此时 就是未知的。因此有必要对 未知的情况进行讨论。,2.未知的情况,敏感性问题

24、占的比例分别为 和,假设总体1中回答敏感性问题的人占的比例为 时,对问题A或B作出“是”的答复者所占的比例为,假设总体2中回答敏感性问题的人占的比例为,对这两个问题作出“是”的答复者的比例为,这时需要抽取两个随机样本进行调查。设这两个样本的容量分别为 和,从而得到该敏感问题的估计回答：,其方差为：,敏感性问题调查方法的应用,某高校在开展关于普及性知识的活动中，要求对学校的学生是否有过性行为这一问题进行抽样调查。该调查问题具有敏感性，运用通常采取的调查方式，调查根本无法进行，因此运用了敏感性问题抽样调查方法，该高校在校生人数为6000人，随机抽取1500名学生进行抽样调查，且分别运用了以上的两种

25、方法，比较统计结果。,采用随机化的回答技术设计了两种用信封封装比例一定的问卷，一种问题为：“你有过性行为吗？”；另一种问题为：“你没有过性行为吗？”。在调查时，让同学任意选取一个信封并回答上面的问题，当然调查人员是不知道该同学回答的是哪一个问题。,第一种方法：提出两个都具有敏感性相关问题,这样同学们根据他们的实际情况回答抽到的问题，与自己的情况一致的则回答“是”；否则回答“不是”。研究者在设计问卷时，设计第一种问题占60%，这样两个问题所占的比例比较接近，有助于让被调查者消除顾虑，我们对收回的问卷进行统计，结果对两种问题回答“是”的有638人，占样本的比例为：,=638/1500=0.4253

26、,已知=638/1500=0.4253，P=60%,将它代入,其方差为：,得到回答第一种问题为“是”的人数估计比例：,这样应用第一种方法估计统计对问题一回答“是”的比例为：12.65%。标准差的估计值为：,即 0.064。,我们同样采用随机化的回答技术设计了两种用信封封装比例一定的问卷，然而一种问题为：“你有过性行为吗？”；为了统计的方便我们选择了 已知的情况,即另一种问题设计为：“你是四月份出生的吗？”。,显然，第二个问题与我们所要调查的问题无关，而且被调查同学当中是四月份出生的比例我们可以很容易从学校教务处学生信息中心收集到，经统计该校学生中四月份出生者所占的比例为15.38%。其中设计的

27、问卷中第一种问题同样占60%，统计结果为对两种问题回答“是”的有206人，占样本的比例为：,p,第二种方法：提出的两个问题，一个为敏感性问题，另一个为与调查内容无关的非敏感性问题。,得到回答第一种问题为“是”的人数估计比例：,=206/1500=0.1373，将它代入,其方差为：,可以看出采用两种调查技术，最终得出的结果是接近的,七、概率论与数理统计的应用综述,1、参数估计方法2、假设检验方法3、相关分析方法4、回归分析方法5、方差分析方法6、随机过程应用,假设检验,假设检验是对总体的分布函数的形式或分布中某些参数做出某种假设,然后通过抽取样本,构造适当的统计量,对假设的正确性进行判断的过程.

28、,假设检验,参数假设检验,非参数假设检验,总体分布已知，检验关于未知参数的某个假设,总体分布未知时的假设检验问题,让我们看一个例子.,本科概率统计课程主要研究参数假设检验问题.较少涉及非参数假设检验。,例：某工厂生产10欧姆的电阻.根据以往生产的电阻实际情况,可以认为其电阻值 XN(,2),标准差=0.1.现在随机抽取10个电阻,测得它们的电阻值为:9.9,10.1,10.2,9.7,9.9,9.9,10,10.5,10.1,10.2.试问:从这些样本,我们能否认为该厂生产的电阻的平均值为10欧姆?,方差分析,在工农业生产和科学研究中,经常遇到这样的问题:影响产品产量、质量的因素很多,我们需要

29、了解在这众多的因素中,哪些因素对影响产品产量、质量有显著影响.为此,要先做试验,然后对测试的结果进行分析.方差分析就是分析测试结果的一种方法.,在方差分析中,把在试验中变化的因素称为因子,用A、B、C、.表示;因子在试验中所取的不同状态称为水平,因子A的r个不同水平用A1、A2、.、Ar表示.,设在某试验中,因子A有r个不同水平A1,A2,.,Ar,在Ai水平下的试验结果Xi服从正态分布N(i,2),i=1,2,.,r,且X1,X2,.,Xr间相互独立.现在水平Ai下做了ni次试验,获得了ni个试验结果Xij,j=1,2,.,ni这可以看成是取自Xi的一个容量为ni的样本,i=1,2,.,r.

30、,单因子方差分析,基本概念,例:为寻求适应本地区的高产油菜品种,今选了五种不同品种进行试验,每一品种在四块试验田上得到在每一块田上的亩产量如下:,我们要研究的问题是诸不同品种的平均亩产量是否有显著差异.,在本例中只考虑品种这一因子对亩产量的影响,五个不同品种就是该因子的五个不同水平.由于同一品种在不同田块上的亩产量不同,我们可以认为一个品种的亩产量就是一个总体,在方差分析中总假定各总体独立地服从同方差正态分布,即第i个品种的亩产量是一个随机变量,它服从分布N(i,2),i=1,2,3,4,5.,试验的目的就是要检验假设 H0:1=2=3=4=5是否成立.若是拒绝,那么我们就认为这五种品种的平均亩产量之间有显著差异;反之,就认为各品种间产量的不同是由随机因素引起的.方差分析就是检验假设的一种方法.,本质上,方差分析是检验同方差的若干正态总体均值是否相等的一种统计方法.,在实际问题中影响总体均值的因素可能不止一个.我们按试验中因子的个数,可以有单因子方差分析,双因子分析,多因子分析等.例中是一个单因子方差分析问题.,相关软件,MATLABEXCEL,MATLAB数理统计科学出版社EXCEL概率论与数理统计教程魏宗舒 高教出版社 第九章MATLAB概率论与数理统计分析,参考书推荐,数学模型姜启源数学建模方法及其应用韩中庚概率论与数理统计教程茆诗松概率论与数理统计教程魏宗舒,谢谢大家！,