统计学基础(打印版).ppt

统计学基础,统计学是一门关于用科学的方法收集、整理、汇总、描述和分析数据资料，并在此基础上进行推断和决策的科学。狭义的统计用来统指数据或从数据中得到的一些数字（信息）。,统计学是怎样一门学科？,方差分析：确定“自变量”是否对“因变量”有重要影响相关分析：度量变量之间的相关程度回归分析：用数学公式表示自变量与因变量之间的数量关系,我们将要学习,常用统计学术语,总体与样本 根据研究目的确定的研究对象的全体称为总体(population)，其中的一个研究单位称为个体(individual)；总体的一部分称为样本(sample)。如：研究某一班学生的身高，所有学生身高的观测值的全体就构成该班学生的身高总体；而观测15名学生身高所得的15个观测值则是全班学生的身高总体的一个样本，这个样本包含有15个个体。,变量与常数 相同性质的事物间表现差异性或差异特征的数据称为变量或变数。自然界的同类事物中，都存在一定的变异，如人的身高、体重等。常数表示能代表事物特征和性质的数值，通常由变量计算而来，在一定过程中是不变的，如某样品的平均数、标准差等。,常用统计学术语,参数与统计量 为了表示总体和样本的数量特征，需要计算出几个特征数。由总体计算的特征数叫参数(parameter)；由样本计算的特征数叫统计量(statistic)。常用希腊字母表示参数，例如用表示总体平均数；常用拉丁字母表示统计量，例如用 x 表示样本平均数。总体参数由相应的统计量来估计，例如用 x 估计。,常用统计学术语,算术平均数 算术平均数是指资料中各观测值的总和除以观测值个数所得的商，简称平均数或均数，记为。Excel中 算术平均值函数：Average(N1,N2,),常用统计量,标准差 用平均数作为样本的代表，其代表性的强弱受样本资料中各观测值变异程度的影响。如果各观测值变异小，则平均数对样本的代表性强；如果各观测值变异大，则平均数代表性弱。因而仅用平均数对一个资料的特征作统计描述是不全面的，还需引入一个表示资料中观测值变异程度大小的统计量。,常用统计量,统计量 称为均方（mean square 缩写为MS）,又称样本方差，记为S2，即 S2=相应的总体参数叫总体方差，记为2。对于有限总体而言，2的计算公式为：2）2/N,常用统计量,统计学上把样本方差S2的平方根叫做样本标准差，记为S，即：相应的总体参数叫总体标准差，记为。对于有限总体而言，的计算公式为：=,常用统计量,Excel中，样本方差函数：VAR（N1，N2，）总体方差函数：VARP（N1，N2，）样本标准差函数：STDEV（N1,N2,）总体标准差函数：STDEV P（N1,N2,）,常用统计量,变异系数（方差系数）两个或多个资料变异程度的比较时，如果度量单位与平均数相同，可以直接利用标准差来比较。如果单位和（或）平均数不同时，比较其变异程度就不能采用标准差，而需采用标准差与平均数的比值（相对值）来比较。标准差与平均数的比值称为变异系数，记为CV。变异系数可以消除单位和（或）平均数不同对两个或多个资料变异程度比较的影响。,常用统计量,例1：下表给出了东风汽车和上海机场两种股票在12个交易日的价格，试比较两种股票价格的分散程度。,常用统计量的应用实例,由上表可求出：,常用统计量的应用实例,上海机场股价分散程度小于东风汽车股价分散程度。,例2：某公司研制出了A、B、C、D 4种新型生产设备，让6个熟练工人分别操作相同的时间，统计他们生产的零件数量如下表所示，试在0.01的显著水平下检验这4种设备单位时间生产的零件是否存在显著差异。,方差分析,例3：为考察温度对某一化工产品得率的影响，选了5种不同的温度，同一温度下各做3次试验，测得结果如下表。试问温度对得率有无影响（=0.05）,方差分析,例2的结果显示，不同的机器单位时间生产的零件数量是不一样的，而这种差别是由于机器不同还是其它原因引起的？例3中不同的得率是因为温度的不同引起的，还是由于误差或其它原因引起的？单纯从平均数，我们无法判断不同的机器加工或不同的温度是否对结果造成显著的影响。,方差分析,方差亦称均方，是标准差的平方，是表示变异的量。在一个多处理试验中，可以得出一系列不同的观测值。造成观测值不同的原因是多方面的，有的是处理不同引起的，叫处理效应或条件变异，有的是试验过程中偶然性因素的干扰和测量误差所致，这一类误差称试验误差。方差分析的基本思想是将测量数据的总变异按照变异原因不同分解为处理效应和试验误差并作出其数量估计。,方差分析简介,通过方差比较以确定各种原因在总变异中所占的重要程度，即用处理效应和试验误差在一定意义下进行比较，如二者相差不大，说明试验处理对指标影响不大，如二者相差较大，处理效应比试验误差大得多，说明试验处理影响是很大的，不可忽视。除处理效应外，剩余变异就是由试验误差引起的，从而作为统计推断依据，由此在试验中选择合适的试验处理或确定进一步试验的方向。,方差分析简介,方差分析对于比较不同生产工艺或设备条件下产量、质量的差异，分析不同计划方案效果的好坏和比较不同地区、不同人员有关的数量指标差异是否显著时，是非常有用的。,方差分析简介,在单因素方差分析中，影响总体均值的因素只有一个。与单因素方差分析对应的是单因素试验。在单因素试验中，因素有k个水平，获得k组独立的样本观测值，每组观测值包含的数目为n。,单因素方差分析,单因素试验的结果以k行n列表示，对应每个结果（元素）为xij，如下表：,单因素方差分析,首先在单因素试验的基础上，求出总方差SST、组间方差SSt、组内方差SSe。总方差 组间方差 组内方差,单因素方差分析方法,从公式中可以看出，总方差衡量的是所有观测值xij对总均值 x 的偏离程度；组内方差衡量的是同一处理内的观测值 xij 对该组均值 xi 的偏离程度，反映随机误差的大小；组间方差衡量的是组均值 xi 对总均值 x 的偏离程度，反映系统误差的大小。,单因素方差分析方法,在此基础上，得到组间均方差和组内均方差：组间均方差 组内均方差,单因素方差分析方法,在方差相等的假定下，要检验k个总体的均值是否相等，须首先给定原假设和备择假设。原假设 H0：均值相等，即1=2=k 备择假设 H1：均值不完全相等,单因素方差分析方法,构造 F 统计量：该统计量服从分子自由度为k-1，分母自由度为k(n-1)的 F 分布。,单因素方差分析方法,给定显著性水平a，如果根据样本计算出F统计量小于等于临界值Fa(k-1,kn-k)，则说明原假设H0成立，总体均值相等，样本的差异仅仅是因为随机误差引起；而如果F统计量的值大于临界值Fa(k-1,kn-k)，则说明原假设H0不成立，总体均值不完全相等，样本的差异并非仅由随机因素引起。,单因素方差分析方法,例2：某公司研制出了A、B、C、D 4种新型生产设备，让6个熟练工人分别操作相同的时间，统计他们生产的零件数量如下表所示，试在0.01的显著水平下检验这4种设备单位时间生产的零件是否存在显著差异。,方差分析实例,（1）计算平均值 总平均值 组内平均值,方差分析实例,（2）计算总方差、组间方差、组内方差,方差分析实例,（3）计算均方差,方差分析实例,（4）计算F统计量（5）显著性检验 查表，查出F0.01(3,20)=4.94，因F F0.01(3,20)，故接受原假设，即四种设备生产的零件数均值相等，即样本差异是由随机误差引起的。,方差分析实例,通常，将有关计算结果列成方差分析表，如下表。,方差分析实例,对于本例，可列成下表：,方差分析实例,采用Excel中方差分析工具，可以直接获得方差分析的结果。以例2为例，具体步骤如下：（1）新建一工作表，输入例2中的数据，如下图,方差分析在Excel中的实现,方差分析在Excel中的实现,（2）数据分析工具的加载 点击主菜单上【工具】菜单点击【加载宏（I）】；在弹出的对话框中，复选【分析工具库】，单击【确定】。,方差分析在Excel中的实现,在【工具（T）】菜单上将出现【数据分析（D）”】菜单项；即可开始进行各种试验数据的统计分析。（3）单击【工具】菜单中的【数据分析】选项，出现【数据分析】对话框。单击对话框中【方差分析：单因素方差分析】，然后【确定】。,方差分析在Excel中的实现,方差分析在Excel中的实现,（4）在出现的【方差分析：单因素方差分析】对话框中，单击【输入】/【输出区域】后的折叠按钮，选择B2:E8单元格区域。在【分组方式】中单击【列】单选按钮，单击【标志位于第一行】复选框。在【a】文本框中输入显著性水平“0.01”。单击选中【输出选项】/【输出区域】后的折叠按钮，选中B10单元格，如下图所示，单击【确定】按钮。,方差分析在Excel中的实现,方差分析在Excel中的实现,方差分析在Excel中的实现,方差分析结果,如果已有方差分析结果，或更改参数后重新进行方差分析时，在单击【方差分析:单因素方差分析】对话框的【确定】按钮时，会出现覆盖提示对话框，如下图所示，单击【确定】按钮即可。,方差分析在Excel中的实现,【输入区域】:在此输入待分析数据区域的单元格引用。该引用必须由两个或两个以上按列或行排列的相邻数据区域组成。【分组方式】:若要指示输入区域中的数据是按行还是按列排列，请单击“行”或“列”。【标志位于第一行/标志位于第一列】:如果输入区域的第一行中包含标志项，请选中“标志位于第一行”复选框；如果输入区域的第一列中包含标志项，请选中“标志位于第一列”复选框；如果输入区域中没有标志项，该复选框要被清除。,关于【方差分析:单因素方差分析】的说明,【a】:在此输入显著性水平（计算F统计量的临界置信度）【输出区域】:在此输入对输出表左上解单元格的引用。【新工作表组】:选此项可在当前工作簿中插入新工作表，并由新工作表的A1单元格开始粘贴计算结果。若要为新工作表命名，请在右侧的文本框中输入名称。【新工作簿】:选此选项可创建一新工作簿，并在新工作簿的新工作表中粘贴计算结果。,关于【方差分析:单因素方差分析】的说明,（1）计算平均值（2）计算方差（3）计算均方差（4）计算F统计量（5）显著性检验,总结：方差分析的一般步骤,组内观测次数不相等的方差分析无重复观测值的二因素方差分析具有重复观测值的二因素方差分析多因素方差分析,方差分析的进一步学习,所谓相关是指变量的相互关系，在现实生活中，一些现象会同另一些现象之间存在着相互关系，如果用变量来分别表征这些现象时，便表现为变量之间相关关系。相关关系是指变量之间保持着不确定的某种依赖关系，但这种关系并不表现为一一对应关系，不能由一个或几个变量的值精确地求出另一个变量的值。相关分析是借助若干分析指标（如相关系数等）来分析变量间关联的紧密程度。,相关分析,例如股票的价格和公司的利润常常与表现为利润越高，股价越高，这种关系即可用相关关系来描述，但这种相关并不表现为一一对应，股价还可能与宏观经济状况、其所在行业状况等其它因素有关。又如角钢碳当量与抗拉强度的相互关系也常常表现为在一定范围内碳当量越高，与抗拉强度越大，但这种相关并不表现为一一对应，抗拉强度还可能与加工工艺等其它因素有关。,相关分析,正相关和负相关线性相关和非线性相关简单相关和多元相关本课程中将讨论简单线性相关。,相关关系的类型,相关关系的类型,线性正相关,线性负相关,线性无关,Y,X,Y,X,Y,X,Y,X,对应两个变量x和y的相关关系，可以用两者的相关系数 r 来度量两者的相关关系。r应介于-11之间，若r0，则说明x与y之间存在正相关关系；r0说明x与y之间存在负相关关系；r=1说明x与y之间完全正相关；r=-1说明x与y之间完全负相关。,相关系数,例4：某地区1994年到2003年10年间人均可支配收入与商品零售总额的数据如下表，试确定可支配收入与商品零售总额的相关系数。,相关分析工具,求相关系数r的方法根据公式直接计算Excel中的CORREL（array1，array2）函数Excel中的相关分析工具,相关分析工具,（1）新建工作表，输入例4中的数据如下图。（2）单击单元格C14，输入=CORREL(C3:C12,D3:D12)”,相关分析：相关函数法,语法：CORREL(array1,array2)，返回单元格区域array1和array2之间的相关系数，其中array1为第一组数值单元格区域，array2为第二组数值单元格区域。说明：如果array1和array2的数据点个数不同，函数返回错误值#N/A；如果array1或array2为空，函数返回错误值#DIV/0。,相关分析：相关函数法,（1）新建工作表，输入例4中的数据。（2）单击【工具】/【数据分析】，出现【数据分析】对话框，在【分析工具】中选择【相关系数】，如下图，单击【确定】。,相关分析：相关分析工具,（3）在出现的【相关系数】对话框中，在【输入】选项组中，单击【输入区域】后的折叠按钮，选择C2:D12单元格区域，在【分组方式】选项组中，单击【逐列】单选按钮，单击选中【标志位于第一行】复选按钮，在【输出选项】选项组中，单击选中【输出区域】单选按钮，单击【输出区域】后的折叠按钮，选择C14，如下图，完成后单击【确定】按钮。,相关分析：相关分析工具,相关分析：相关分析工具,最终结果如下图：,相关分析：相关分析工具,通过不同的方法获得两变量间的相关系数，但是在相关系数多大时我们才能认为其相关？此时就需要进行相关系数的检验。由相关系数r和样本大小n构造的t统计量：服从自由度为n-2的t分布。,相关系数的检验,（1）作统计假设 H0：=0；HA：0（2）计算 t 统计量（3）根据显著性水平a和n-2，查表ta(n-2)（4）检验：若|t|ta(n-2)，拒绝H0，即相关关系显著；反之，若|t|ta(n-2)，接受H0，即相关关系不显著。,相关系数检验的一般步骤,对于例4，有：而查得t0.01(8)=3.355，因|t|t0.01(8)，即拒绝H0，因此人均可支配收入与商品零售总额间存在显著的相关关系。,相关系数检验实例,多元相关非线性相关,相关分析的进一步学习,变量之间的关系可以分为函数关系和相关关系，函数关系表示变量间一一对应的关系，而相关关系则是变量间的某种非确定的依赖关系。相关关系虽然不确定，但在大量统计资料的基础上，可以找出相关关系变量之间的规律性，并借助相应的函数来表达这种规律性，对应的函数称为回归函数。而这种用函数的形式来描述与推断现象之间的相关关系，称为回归分析。,回归分析,一元回归分析多元回归分析线性回归非线性回归,回归分析类型,通过回归分析可以得到符合规律性的函数，而预测是需要根据规律性来推测未知，因此回归和预测便有了天然的联系。可以直接应用回归函数进行预测，将需要预测的自变量的值代入回归函数表达式，来推测自变量相应的因变量。,回归分析,例5：某种合金的抗拉强度y与钢含碳量x的关系有如下实测数据：x与y之间有何关系？,回归分析,对于存在相关关系的两个变量x和y，其中x为自变量，y为因变量，可以建立回归方程：式中a，b为回归系数，是对应自变量xi代入回归方程的计算值，称为回归值。,一元线性回归,根据最小二乘法，可得到回归a，b系数的计算式：,一元线性回归,另有：,一元线性回归,决定系数r2：为相关系数r的平方，其含义是变量x引起y变异的回归平方和占y变异总平方和的比率，即决定系数可用来检验回归方程对观测数据的拟合程度，用来度量方程总体回归效果的优劣。r2的取值范围为0,1。,一元线性回归,对于例5，根据公式直接计算，有,一元线性回归实例,方法一：应用散点图和趋势线进行回归分析（1）建立新工作表“例5A”，输入例5的数据；（2）对表中的数据建立散点图；（3）右击散点图的散点，在快捷键中选【添加趋势线】。在出现的【添加趋势线】的【类型】选项卡中，在【趋势预测/回归分析函数】选项区域单击【线性】选项图标。,Excel中一元线性回归实例,Excel中一元线性回归实例,Excel中一元线性回归实例,Excel中一元线性回归实例,Excel中一元线性回归实例,方法二：应用回归分析工具进行回归分析（1）建立新工作表“例5B”，输入例5的数据；（2）单击【工具】/【分析工具】，在出现的【数据分析】对话框中选择【回归】，如下图所示。,Excel中一元线性回归实例,应用回归分析工具进行回归分析,（3）在出现的【回归】对话框中，单击【输入】/【Y值输入区域】后的折叠按钮，选择C2:C14单元格，单击【输入】/【X值输入区域】后的折叠按钮，选择B2:B14单元格；单击选中【标志】复选框，单击选中【置信度】复选框，并在【置信度】后的文本框中输入“95”。单击【输出】/【输出区域】单选按钮，单出【输出区域】后的折叠按钮，选择B17。,应用回归分析工具进行回归分析,应用回归分析工具进行回归分析,应用回归分析工具进行回归分析,回归汇总输出,应用回归分析工具进行回归分析,残差输出,应用回归分析工具进行回归分析,线性拟合图,多元线性回归非线性回归,回归分析的进一步学习,欢迎提出宝贵意见和建议，谢谢！,二OO六年四月二十八日,