《数据描述方法》PPT课件.ppt

《《数据描述方法》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《数据描述方法》PPT课件.ppt（86页珍藏版）》请在三一办公上搜索。

1、综合评价,讲授老师:赵博娟(博士、教授)e-mail:,成绩：满分100-期末考试 70%-作业、出勤,课本:统计学 从数据到结论,吴喜之编著中国统计出版社,参考书目：,Business Statistics:A Decision-making Approach(D.F.Groebner&P.W.Shannon)商务与经济统计精要（原书第2版）戴维R安德森等著，机械工业出版社，2005。统计分析与SPSS的应用，薛薇编著，中国人民大学出版社，2001。多元统计分析何晓群编著，中国人民大学出版社，2004。,课程大纲1 统计学基本概念、数据收集和数据描述2 线性回归分析和广义线性模型SPSS上机

2、3 聚类分析+SPSS上机4 判别分析+SPSS上机5 主成份+因子分析、6 对应分析+SPSS上机,统计学的定义,统计学(statistics)是“收集、分析、展示和解释数据的科学”,什么地方统计用得上呢？,任何领域.,运用统计的领域包括(1),精算农业动物学人类学考古学审计学晶体学人口统计学牙医学生态学经济计量学教育学选举预测和策划工程流行病学,金融水产渔业研究遗传学地理学地质学历史研究人类遗传学水文学工业法律语言学文学劳动力计划管理科学市场营销学医学诊断,气象学军事科学核材料安全管理眼科学制药学物理学政治学心理学心理物理学 质量控制宗教研究社会学调查抽样分类学气象改善搏采，等等.,统计可

3、应用于各个不同学科，在有些学科已经有其特有的方法和特点；如生物统计(biostatistics),计量经济学(econometrics)以及目前很热门的生物信息(bioinformation)和数据挖掘(Data Mining)的方法主体都是统计。以归纳为主要思维方式的统计不是以演绎为主的数学,第二章：数据的收集,二手数据（Secondary data）-从报纸、书刊、电视看到的数据。-从网站上找到的数据-由公司或组织专门收集和维护数据-由政府机构收集和维护比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据（确诊病例、疑似病例、死亡人数和出院人数等等）,原始数据

4、（一手数据,Primary data-要去收集-用科学的方法 书:抽样调查(sampling techniques)-例子：预测美国总统大选结果 某个决策的民意调查 中国人口普查,原始数据收集方法,试验数据（experimental data）观测数据（observational data）-电话调查（Telephone survey）-邮寄问卷（Mail questionnaires)-直接观测和面对面访问（Direct observation and personal interview）,实验数据例：冶炼金属-该金属的强度高为目标-金属强度与温度和时间长短有关-寻找最佳温度和时间,如何分

5、析数据？方差分析,2.电话调查要点(邮件问卷情况相同)定义关心的调查问题 定义所关心的总体 专家开发调查问题 小规模试用 pre-test 决定样本量和抽样方法 sample size 抽取样本并进行调查,电话调查-要解释调查目的 purpose of the survey-要调查的人是否能通过电话找到-时间要短-固定结果问题 Closed-end questions-告诉被访者结果保密-花费相对不太高、有效率,3.邮件问卷花费低问卷可含固定结果和不固定结果问题（both closed-end and open-end questions）使参加者有更多时间完成问卷提供更准确可靠的数据,固定结

6、果的问题 Closed-end questions 如：“请问你所属的党派-是共和党、民主党还是其他党派?不固定结果问题 Open-end questions 如：“你所属的党派?,4.直接观测和面对面采访 直接观测：是否系安全带、新影电影是否成功面对面访采访 personal interview 固定问题Structured interview(scripted)不固定问题unstructured interview,数据收集注意事项 1.查找一下是否有二手数据存在 2.在利用二手数据之前，要核实数据来源，确认收集和录入的数据符合你的研究目的3.要注意一下偏差(bias).如：不回答是否随机

7、，否则数据会有系统偏差,抽样偏差,有些人可能会在回答某些敏感问题时撒谎,如何用一部分数据较好地代表所有数据与抽样有关的概念：总体、样本、个体和样本量普查和抽样框参数和统计量,确定观测对象和范围（总体）:按户口所在地,还是居住地,还是出生地?抽出多少人?如何抽?随机?两省各自随机抽取5000人男女各半（样本).利用这10000个数据回答所关心的问题（T-test,T检验）,例:广东省和山东省成年人身高比较-前者不如后者高？,此例中，单个山东和广东人或个人的身高数据称为个体(individual)而称所有所有山东和广东人或他们的身高数据为总体(population)，总体是包含所有要研究的个体的集

8、合。抽样抽到的人或身高数据称为该总体的样本(sample)，样本是总体的一部分。样本中个体的个数-样本量(sample size),总体、样本、个体和样本量,当然，也有可能试图调查所有的人(比如人口普查),叫做普查(census).抽样框(Frame)所关心的所有对象或个-是总体的一部分,普查和抽样框,参数和统计量参数（parameter）-从整个总体达到的平均值或百分比等描述性数据.而从样本中得到的相应的数据称为统计量Statistics.,一些常用的抽样方法,1 简单随机样本,如果总体中的每一个体都有同等机会被选到样本中，这种抽样称为简单随机抽样(simple random samplin

9、g)，而这样得到的样本则称为简单随机样本（random sample).如：通常的抽奖、抓阄问卷调查中，没有随机找人回答问卷而是找一些你认识的人填写问卷-这种样本也不是随机样本，而是方便样本（convenience sample）。,2.系统抽样(systematic sampling):先把总体中的单元编号，然后随机选取其中之一作为抽样的开始点,然后从开始点按照编号进行等距抽样例：从60人的一班人中，随机抽出5人，如开始点为10号,“距离”为12，则调查对象为：10号、22号、34号、46号、58号-如果原始名单号是随机的，得到的抽样对象是随机的。,3.整群抽样(cluster sampli

10、ng):先把总体划分成若干群（cluster），再（通常是随机地）从这些群中抽取几群；然后再在这些群中随机地抽取个体。例：在某县进行调查，首先在所有村中选取若干村子，然后只对这些村子的人进行调查。显然，如果各村情况差异不大，这种抽样还是方便的。,4分层抽样（stratified sampling）。这是先把要研究的总体按照某些性质分类(stratum)，再在各类中分别随机抽取样本。例1：经理意见调查-目标是从大、小企业得到各200有效问卷 例2：按照教育程度把要访问的人群分成几类；每一类中调查和该类成比例数目的人。以确保每一类都有按比例的代表。,5.多级抽样（multistage sampli

11、ng）。在群体很大时，往往在抽取若干群之后，再在其中抽取若干子群，甚至再在子群中抽取子群，等等。最后只对最后选定的最下面一级进行调查。例：在全国调查时，先抽取省，再抽取市地，再抽取县区，再抽取乡、村直到户。,抽样方法的选择不能一概而论,实际上每个抽样通常都可能是各种抽样方法的组合。如：在多级抽样中的每一级也可采取各种抽样方法。此时，整个抽样计划可能比较复杂，也称为多级混和型抽样制定抽样方案时既要考虑精确度，还要根据客观情况考虑方便性、可行性和经济性。不能一概而论。,数据类型:-定量数据 Quantitative-定性数据 Qualitative-时间序列 Time series-截面数据 Cr

12、oss-sectional,当变量所取的值是数量时称为定量变量（quantitative variable）如：收入(元)、重量(kg)、身高(cm)、某企业广告投入(元)、某企业销售额(元)取非数量值的变量就称为定性变量或分类变(qualitative or categorical or nominal variable）如：学历（中学、高中、本科、研究生）观点（赞成、反对）性别（男、女）国家（中国、美国、英国、加拿大）收入（低、中、高三个水平）-定性变量也可数量来描述，比如男性和女性的数目，用这些数量来建立模型,定量和定性变量,时间序列数据和截面数据 时间序列数据(Time series

13、data):某人自工作以来每年的收入中国1998-2008的每年的人均GDP某厂2008年度每周出现的废品率你所在城市自1970年来每年的人口数截面数据(Cross-sectional Data):2008年某大学本科学生成绩,数据度量级别(measurement Levels)1.定性、名义数据(Nominal data)2.有序数据(Ordinal data)3.区间数据(Interval data)4.比率数据(Ratio data),定性或名义数据(Nominal data）-最低级形式的数据-可以对类别编号-我们对所用的编号有决定权 婚姻状态 Marital status:1.Mar

14、ried 2.Single 3.Divorced 4.Other 或 M.Married S.Single D.Divorced O.Other性别：1 男 2 女,2.有序数据 Ordinal(rank)data:-比名义数据高一级别-数据的类别是有序的满意度 level of satisfaction:1.exceptional 2.very good 3.good 4.satisfactory 5.unsatisfactory,3.区间数据 Interval data:-任两点的距离是可以精确度量出来的-数据有循序性质(,or=).如：温度(华氏和摄氏Fahrenheit and Cel

15、sius),4.比例数据 Ratio data:-有区间数据的特点+有真正的有意义的零点-是最高的度量级别-如：体重,高度,距离,钱包里的钱数 0 温度$0 口袋没钱,计算机中常用的数据形式-数据是由一些变量和它们的观测值所组成。-例子有6 个变量：观点(观测值为支持、反对和不知道三种)、教育程度（有高中低三种取值，用H、M、L 表示）、月收入（取值为实际数字）、性别（取值有男女两个，用M 和F 表示）以及地区号（用数字1，2，3，4 表示）等。-该表一共有1364 个观测值（问卷回答）。-每一列为一个变量的不同观测值；-而每一行则称为一个观测值，它是个由数量值和属性值组成的向量,统计软件,S

16、PSS：很受欢迎；容易操作，输出漂亮，功能齐全，价格合理。它也有自己的程序语言，但基本上已经“傻瓜化”。它对于非专业统计工作者是很好的选择。Excel：严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算画图功能。SAS：这是功能非常齐全的软件；尽管价格相当不菲，许多公司，特别是美国制药公司，还是因为其功能众多和某些美国政府机构认可而使用。S-plus：这是R出现之前统计学家最喜爱的软件。R软件：这是一个免费的，由志愿者管理的软件。其编程语言。可以看成S-plus免费版本,作业,1举出一些观测数据、试验数据、原始数据(一手数据）和二手数据的例子。2举例说明什么是名义数据、有序数据、区

17、间数据和比例数据3举例说明什么是定量变量、定性变量、时间序列数据和截面数据4.举例说明什么是简单随机样本、系统抽样、整群抽样、分层抽样、多级抽样5.在课上，老师忽然想知道某BMA班60个学生的工作经验情况-平均工龄（年），随机地问了15个学生的工龄。请说明此例中什么是总体、样本、个体、样本量、参数和统计量,第三章 数据的描述Descriptive Statistics 描述统计-用表格、图形和数值对数据进行直观的描述,广告投入和销售额之间的关系,例 1.1（数据ads.sav，ads.txt）显示了某企业的广告投入和销售额之间的关系（万元）。,散点图,定量变量的图表示 直方图、盒形图、茎叶图和

18、散点图例3.1（数据 Rich.sav）该数据摘自福布斯是世界富豪排行榜，展示了世界最富有的一些人的名次（Rank，为正整数，越小越富),所属区域（Region，1 至5分别代表北美、欧 洲、亚洲和太平洋、南美、非洲),年龄(Age)和净财富(NetWorth，单位10 亿美圆),点击Rich.sav-直方图:SPSS选Graphs-legacy dialogs-histogram-盒形图:SPSS中Graphs-legacy dialogs-boxplot-茎叶图：SPSS 选Analyze-Descriptive Statistics-Explore，把变量Age 选入到Dependent

19、 List，再把Region 选入Factor List，然后OK 即可得到各个区域富人年龄的茎叶图。-散点图:SPSS中Graphs-legacy dialogs scatter/dots-simple scatter,1.0 William Gates III United States NAM 50.050.0United States 2.0Warren Buffett United States NAM 75.042.0United States 3.0Carlos Slim Helu Mexico NAM 66.030.0Mexico4.0Ingvar Kamprad Sweden

20、 EU 79.028.0Switzerland 5.0Lakshmi Mittal India AS 55.023.5United Kingdom 6.0Paul Allen United States NAM 53.022.0United States 7.0Bernard Arnault France EU 57.021.5France 8.0Prince Alwaleed Bin Talal Saudi Arabia AS 49.020.0Saudi Arabia 9.0Kenneth Thomson&family Canada NAM 82.019.6Canada 10.0Li Ka-

21、shing Hong Kong AS 77.018.8Hong Kong11.0Roman Abramovich Russia EU 39.018.2United Kingdom,Rank name citizenship region age networth resident,直方图(histogram),横坐标是年龄区间，纵坐标高度是落在相应的年龄区间里的人数,直方图(histogram),横坐标财富区间，纵坐标高度是落在相应的财富区间里的人数,盒形图(boxplot,Box-whisker),盒子中间横线是中位数(median),封闭盒子的上下两横线（边）为上下四分位数(点),按SPS

22、S默认，如所有样本都在离四分位点1.5 倍盒长之内，则线的端点为最大和最小值，否则线长就是1.5 倍的盒长，在其外面的点被软件认为是离群点(outlier)；而超过盒长三倍的被认为是极端值(extreme)。,茎叶图Stem-and-leaf,茎叶图Stem-and-leaf,茎叶图Stem-and-leaf,茎叶图Stem-and-leaf,case(s),茎叶图Stem-and-leaf,茎叶图Stem-and-leaf,散点图Scatter plot,例 3.2(数据 marriage.sav）美国男士和女士初婚年龄的数据。该数据描述了自1900 年到1998 年男女第一次结婚的年龄的中

23、位数。自1900 到1960 年是每十年一个值，以后到1990 是每五年取一个数，1995 年以后每年一个数。-横坐标（如年份），另外男士和女士结婚年龄为纵坐标来画散点图。SPSS 选项为Graphs-legacy dialogs-line-multiple(values of individual cases),然后把男、女放在lines represent 把年选入Variable(category labels)，OK.点击图形做细致改动-在60年代婚姻年龄降低，而后来又升高。而男子结婚年龄平均比女性高,定性变量的图表示：饼图和条形图,例 3.3（数据 language.sav）说世界各

24、种主要语言（包括母语和日常使用）的人数饼图：选SPSS中 Graphs-legacy dialogs pie(values of individual cases),点击define.将母语放入slices represent，将语种放入slice labels-variable 点击OK条形图：选SPSS中 Graphs-legacy dialogs bar charts-clustered(summaries of separate variables),点击define.将母语和日常用语放入bar represent，语种放入category axis 点击OK,点击饼图，可对图做细微改

25、进。在properties 中点击text style将FangSong放入Font 点击data value labels 将percent 和“语种”放入Labels displayed,如何用少量数字来概括数据？,例（数据：grade.sav)两个班级同一门课的成绩,就下面两种情况分析这两个班的成绩 1.一个任课老师,两个班在一起上课 2.两个任课老师-点击grade.sav,选Graphs-legacy dialogs-histogram，将得分放入variable中，将班级放入panel by Rows,可以选display normal curve,如果一个老师，两个班一起上课，看

26、见A.一班学生成绩好于二班B.与二班相比，一班好坏生差异大“位置”统计量(location statistic)“尺度”统计量（scale statistic）,“位置”统计量(location statistic),均值(mean)：样本值的算术平均值中位数(median)：中间大小的数（一半样本点小于中位数）(第一或第三)（下、上）四分位数(点)(first,third quantile)（分别有1/4,3/4的数小于它们）k-百分位数(k-percentile)a分位数(a centile)：k-百分位数=k%分位数：有k%的数目小于它众数(mode)：样本中出现最多的数,尺度统计量(s

27、cale statistic)-描述数据集中与分散程度,极差（range)：极端值之差四分位间距(四分位极差)(interquantile range)四分位数之差标准差(standard deviation)方差平方根方差(variance)各点到均值距离平方的平均,注：一些统计量前面有时加上“样本”二字，以区别于总体的同名参数。如“样本均值”和“样本标准差”，以区别于总体均值和总体标准差；但在不会混淆时可以只说“均值”和“标准差”。,练习,有20个人的成绩 2 3 3.2 3.2 3.5 3.5 3.5 3.8 4 4 4 4 4 4.5 4.5 4.5 4.5 4.8 4.8 5 求1.

28、中位数(median)、上下四分位数、众数(mode)、2.极差（range)、四分位数之差、标准差(standard deviation)和 方差(variance),SPSS 选Analyze-Descriptive Statistics-Explore，把变量得分 选入到Dependent List，再把班级 选入Factor List，点击statistics 选descriptives 和percentiles 然后OK,如果两个老师，而学生水平差不多,成绩不同是由于老师的评分标准不同导致 一班分数的均值和标准差分别为78.53和9.43，而二班的均值和标准差分别为70.19和7.0

29、0。那么得到90分的一班的张颖是不是比得到82分的二班的刘疏成绩更好呢？怎么比较才能合理呢？,把数据进行标准化，然后再比较标准化后的数据。某观测值xi的标准得分定义为在我们的例子中，张颖的标准得分为(90-78.53)/9.431.22，而刘疏的标准得分为(82-70.19)/71.69。显然如果两个班级平均水平差不多，刘疏的成绩应该优于张颖的成绩；这是在标准化之前的数据中不易看到的。,作业,1 根据你的经验，给出定性和定量变量的例子。2 对于问题1中你的例子，试图画出各种描 述性图形并计算汇总统计量。3 举例说明如何计算众数、中位数和均值4 举例说明尺度统计量说明了数据的什么特性。5标准得分实际上是对原始数据的一种标准化。试举出标准得分的用处。,