回归分析第二章数据搜集.ppt

学习目标,数据的来源数据的调查方法调查方案的结构和设计调查问卷设计数据的误差数据的质量要求,2.1 数据来源,2.1.1 数据的间接来源2.1.2 数据的直接来源,数据的间接来源,二手数据的来源,统计部门和政府部门公布的有关资料，如各类统计年鉴各类经济信息中心、信息咨询机构、专业调查机构等提供的数据各类专业期刊、报纸、书籍所提供的资料各种会议，如博览会、展销会、交易会及专业性、学术性研讨会上交流的有关资料从互联网或图书馆查阅到的相关资料,二手数据的特点,收集容易，采集成本低作用广泛分析所要研究的问题提供研究问题的背景帮助研究者更好地定义问题检验和回答某些疑问和假设寻找研究问题的思路和途径收集二手资料在研究中应优先考虑,二手数据的评估,数据是谁收集的？可信度评估为什么目的而收集的？数据是怎样收集的？什么时候收集的？,数据的直接来源,数据的直接来源(原始数据),调查数据通过调查方法获得的数据通常是对社会现象而言通常取自有限总体 实验数据通过实验方法得到的数据通常是对自然现象而言 也被广泛运用到社会科学中如心理学、教育学、社会学、经济学、管理学等,统计调查,统计整理,统计分析,有组织、有计划地搜集资料。要求：准确、完整、及时,对调查资料去伪存真、去粗取精、科学分类、浓缩简化,描述性分析推断分析、决策分析。要求：定性定量结合,统计工作的三个中心阶段,统计学第二章 统计调查,统计调查设计,是按照预定的统计研究任务，运用科学的调查方法，有组织地向社会实际搜集统计资料的过程。,统计调查所搜集的数字资料主要是原始资料，同时也包括对次级资料的搜集,原始资料是指说明总体单位特征的资料；次级资料是指已经经过加工整理，由个体过渡到总体，能够在一定程度上说明所研究总体的统计资料,统计调查,统计学第二章 统计调查,统计调查的基本要求,准确,及时,完整,统计调查所搜集的资料必须实事求是，如实反映客观事物。,指统计调查资料的时效性，反映客观事物的灵敏性。,包括调查单位的完整(全部应调查单位)和统计资料的完整(全部应登记的标志)。,（初级资料）原始数据源,加工数据源（次级资料）政府统计、企业统计、民间统计等机构，数据库、出版物、账册等形式,普通的数据使用者,统计调查,数据查询,实验数据源,对过程加以控制,统计学第二章 统计调查,已存在数据源,调查的组织形式,调查者,调查对象,普查抽样调查重点调查典型调查报表制度,统计学第二章 统计调查,按调查单位的范围大小分为,二、统计调查的种类,按调查时间是否连续分为,按调查的组织方式不同分为,统计学第二章 统计调查,统计学第二章 统计调查,全面调查,非全面调查,全面调查是对调查对象的全部单位一一加以调查。如普查和全面统计报表。,对调查对象中的一部分单位进行调查，通过这些部分单位的调查来了解全面或一定范围(如某种类型)的情况。,全面调查涉及面广，调查单位多；要耗费较多的人力、物力、财力，调查的时间也较长。,调查单位少，可以节省人力、物力和财力。,经常性调查,一次性调查,统计学第二章 统计调查,指随着被研究现象的变化，连续不断地进行登记。以反映现象在一段时间内的全部发展过程。如工业产品产量、商品销售量等。,对时点现象进行定期或不定期的调查登记，以反映现象在某一时点上的发展水平或规模。,统计报表,专门调查,指基层单位和企业，根据一定的原 始记录或统计台帐，按照一定的统 计表式、统一的指标、统一的报送 时间和程序，自下而上定期向上级 统计机关报告基本统计资料的一种 统计调查方式方法。,专门调查是为了研究某些专门问题或为某一目的而对某些社会经济现象专门组织的登记和调查。,专门调查又多为一次性调查,统计学第二章 统计调查,（为什么调查）,（向谁调查）,（调查什么）,统计学第二章 统计调查,三、统计调查方案的设计,(何时调查),注意调查单位与填报单位 的区别：,当调查单位自己负责向上报告时，它同时也是填报单位；当调查单位的资料由它的上级组织收集、整理，并向上报告时，填报单位与报告单位则不一致。,例：,统计学第二章 统计调查,调查时间,调查时间是指调查资料所属的时间，包括调查期限及调查资料所属的时期或时点。,调查期限,调查期限是指进行统计调查工作的起止时间，包括搜集和报送资料的整个工作所需要的时间。为保证统计资料的及时性，应尽量缩短调查期限。,调查时间应根据不同调查项目的要求确定,时期现象,应规定资料所反映的是从何时起至何时止的资料,时点现象,应明确规定统一的标准调查时点,统计学第二章 统计调查,名称、编号、制表单位、填表日期等等,被调查者的基本情况、调查项目等等,备注、指标解释等,调查表的基本结构：,统计学第二章 统计调查,单一表,一览表,单一表又称卡片式，是指一张表只登记一个单位情况的表式；,一览表是把多个调查单位和相应的项目按次序登记在一张表格里的统计表。,调查表,调查项目,根据调查目的、任务所确定的调查内容，通常也叫做调查纲要。,调查项目要明确、易懂，避免引起误会或出现差错,统计学第二章 统计调查,统计调查方式,统计报表,以真实性准确的原始记录和核算资料为基础，按照国家统一规定的表格形式搜集统计资料的一种调查方式。,按报送周期,基本统计报表专业统计报表,按报表的性质和内容,定期报表:日报、旬报、月报、季报,年报：报送年度资料,按填报单位,基层报表综合报表,指按照国家统一规定的各项要求，自下而上地定期向国家和主管部门报送基本统计资料的一种报告制度,统计报表制度,优点,局限,统计调查的组织方式,统计学第二章 统计调查,专门组织的一次性全面调查。,作用,局限,由于需要大量的人力、物力和财力，不宜经常进行,普查,统计调查的组织方式,统计学第二章 统计调查,目的,掌握某些关系国情国力的重大事项的准确而全面的数据,统计调查的组织方式,普查的组织原则,1、规定统一的调查时间,4、普查项目必须统一,2、选择合适的普查时间,3、普查方法步调一致,5、重大国情普查应按一致周期进行,普查涉及面广、指标多、工作量大、时效性强，为了快速取得准确的资料，必须遵循以下原则：,统计学第二章 统计调查,按照 随机原则 从总体中抽取一部分样本单位进行调查，再用样本资料推断把握总体的数量特征的一种非全面调查组织方式,抽样调查,指样本单位的抽取不受主观因素及其他系统性因素的影响，每个总体单位都有均等的被抽中机会,特点,优点,统计调查的组织方式,统计学第二章 统计调查,抽样调查的基本要求,正确确定抽样方法，是抽出来的样本具有充分的代表性。恰当地确定样本的单位数目；样本单位数的大小取决于调查的精确度要求、抽样调查方法、调查费用预算以及调查时间等因素的综合作用；一般而言，样本容量越大抽样误差越小，但费用也越多，时间也越长。加强抽样调查组织，提高工作质量。,抽样调查的组织方式：,简单随机抽样（纯随机抽样）,方法：将总体单位编成抽样框，而后用抽签或 随机数表直接抽取样本单位。,适用：总体规模不大；总体内部差异小,分层抽样,方法：将总体全部单位分类，形成若干个类型组，后从各类型中分别抽取样本单位，合成样本。,总体N,样本n,等额分配,等比例分配,最优分配,统计学第二章 统计调查,案例：Ameco应把福建炼油厂扩大多少,项目背景：20世纪90年代中期，美国Ameco公司欲投资福建炼油厂，计划将福建炼油厂目前50万吨的成品油厂量提高到250万吨,客户问题：是否有足够大的市场运输能力能否跟得上存储问题怎么解决 250万吨可行吗？（应获取哪些资料，如何获取）,解决问题的做法：指导思想：终端市场研究为主 调查区域:沿海10个省、直辖市 调查对象：公路、铁路、民航、航运1、市场调查需求：铁路局油料处民航机场、油库长江航运局国家计委油品调配官员,公路用油调查 公路用油分散，是本次调查的难点，采用分层系统抽样方法，将调查区域分为东北华北、华东北部、华东南部三个区域，每个区域抽取5个区（县），每个区（县）按随机抽样方法抽取16个加油站，站内收集销售记录2、运输状况调查 铁路运输 公路运输3、成品油仓储调查,调查结果：市场总量：5000-6000万吨，投产后的250万吨只占总量的1/20，市场需求在稳步上升 运输能力：厂区设有专用码头，厂内有专用铁路线，各省均有大规模的运输车队，且费用合理 储存问题：平均每300公里设有大型成品油仓库，储存费用不高,调查结论：完全可以扩大到年产250万吨 投资效果：投产后销售旺盛，利润可观，5年后回访，250万小了一些,总体单位,调查单位,报表制度,可以全面调查，但通常是调查限定规模以上的总体单位,统计调查的组织方式,统计学第二章 统计调查,统计调查的组织方式,对全部单位进行调查,统计学第二章 统计调查,总体单位,调查单位,抽样调查,按随机原则选择调查单位，各单位被选中的机会相同。,统计调查的组织方式,统计学第二章 统计调查,我国统计调查方法体系改革的目标模式是：,建立以周期性普查为基础，以经常性的抽样调查为主体，以必要的统计报表、重点调查、综合分析等为补充，搜集、整理基本统计资料的统计调查方法体系模式,统计学第二章 统计调查,等距抽样（机械抽样或系统抽样）,方法：将总体单位按某一标志排序，而后按一定的间隔抽取样本单位。,排序依据的标志：（1）无关标志；（2）有关标志,（总体单位按某一标志排序）,整群抽样,方法：将总体全部单位分为许多个“群”，然后随机抽取若干“群”，对被抽中的各“群”内的所有单位登记调查。,例：,抽样调查的组织方式：,统计学第二章 统计调查,总体群数R=16 样本群数r=4 样本容量,例：,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,L,H,P,D,抽样调查的组织方式：,统计学第二章 统计调查,多阶段随机抽样,分成两个或两个以上的阶段从总体中随机抽样并进行调查,五、非随机抽样技术,非随机抽样是指导在抽样时不按照随机原则，而是由调查者根据调查目的和要求，主观设立某个标准从总体中抽选样本的抽样方式。非随机抽样主要有四种具体方式：,方便抽样：是根据调查者的方便与否，以尽可能使调查对象对总体具有代表性为原则的一种调查方法。优点：容易实施，调查的成本低，缺点：方便样本无法代表确定定义的总体，将方便样本的调查结果推广到总体是没有任何意义的。,判断抽样：是指市场调查者根据自己的主观判断经验和知识，从总体中选择具有典型代表性的单位作为样本的一种抽样方法。优点：抽样成本低，容易操作缺点：判断抽样是主观的，样本选择的好坏取决于调研者的判断、经验、专业程度和创造性。,为了解总体基本情况，在调查对象中只选择一部分重点单位 进行调查的一种非全面调查组织方式,作用,局限,能以较少的投入和较快的速度取得总体基本情况及变动趋势的资料,只适用于客观存在着重点单位的情况,重点调查,这些单位数目不多，但其标志值在总体标志总量中占有较大比重，能反映总体的基本情况,统计调查的组织方式,统计学第二章 统计调查,总体单位,调查单位,重点调查,只调查重点单位（单位数不多但其标志量占标志总量比重较大的单位）,统计调查的组织方式,统计学第二章 统计调查,典型调查,在对调查对象有一定了解的基础上，有意识地选择少数典型单位 进行调查的一种非全面调查组织方式,不能确定推断的把握程度，无法计算和控制推断误差,作用,指在数量表现上具有普遍意义和代表性的总体单位，可以用来推断总体的数量,局限,统计调查的组织方式,统计学第二章 统计调查,总体单位,调查单位,典型调查,对典型单位进行调查，典型单位的选择并不一定按规模,统计调查的组织方式,统计学第二章 统计调查,典型调查的突出特点：,1、调查单位是根据调查目的有意识地选择出来的,2、调查单位少，便于作深入细致的调查，,3、典型调查可以深入了解与事物发展有关的各种实际情况,取中选典,典型单位的选择,划类选典,突出选典,统计学第二章 统计调查,配额抽样：它是先按照市场调查对象的某种特征，将总体分为若干类，然后按一定的比例在各类中分配样本单位数额，并按各类数额在每类中任意或主观抽样。,滚雪球抽样：是通过以一触十、以十触百，类似“滚雪球”的方式抽取样本。运用这种方法的前提是样本单位之间具有一定的联系，是在不了解总体的情况下去了解总体的一种方式。,概率抽样与非概率抽样的比较：非概率抽样不是依据随机原则抽选样本，样本统计量的分布是不确切的，因而无法使用样本的结果对总体相应的参数进行推断。适合市场调查中的概念测试，如产品包装测试、广告测试等。概率抽样是依据随机原则抽选样本，样本统计量的理论分布是存在的。,数据的收集方法,数据的收集方法,访问调查(personal interview),1.调查者与被调查者通过面对面地交谈而获得资料2.有标准式访问和非标准式访问标准式访问通常按事先设计好的问卷进行非标准式访问事先一般不制作问卷,对不起，打扰了！,访问调查,调查者,被调查者,平等合作,统计学第二章 统计调查,邮寄调查(mail survey),也称邮寄问卷调查是一种标准化调查调查者与被调查者没有直接的语言交流，信息的传递依赖于问卷通过某种方式将调查表或问卷送至某调查者手中，由被调查者填写，然后将问卷寄回指定收集点问卷或表格的发放方式有邮寄、宣传媒介传送、专门场所分发三种,电话调查(telephone survey),调查者利用电话与被调查者进行语言交流以获得信息时效快、成本低问题的数量不宜过多,您好!我是调查公司的调查员,电脑辅助调查(computerassisted telephone interviewing),又称电脑辅助电话调查电脑与电话相结合完成调查的全过程一般需借助专门的软件进行硬件设备要求较高,问卷,座谈会(colloquia),1.也称集体访谈2.将一组被调查者集中在调查现场，让他们 对调查的主题发表意见以获得资料3.参加座谈会的人数不宜过多，一般为610人4.侧重于定性研究,实验法(experimental method),1.在设定的特殊实验场所、特殊状态下，对调查对象进行实验以获得所需资料2.有室内实验法和市场实验法,直接观察,统计学第二章 统计调查,数据的收集方法,调查者,被调查者,直接观察报告法访问调查,统计学第二章 统计调查,调查者,被调查者,强制、约束,报告式,统计学第二章 统计调查,第三节 问卷调查,又称民意调查，是以社会成员对一定社会经济现象的看法和意愿为对象，从而推断社会心态动向的一种调查。,问卷调查一般是为了特定的调查目的，以问卷形式提问，由被调查者自愿回答的一种搜集资料的方法。,适用于社会经济生活中进行探索性、解释性、描述性等各项研究。,问卷调查,问卷总体结构设计：,解释调查意义、目的，有关注意事项，表达感激之情等。,被调查者基本情况、调查项目、回答问题的方式等,调查项目的解释、问卷填写方法、填写要求、问卷寄送方式等,问卷设计,统计学第二章 统计调查,应届大学毕业生心态调查问卷,亲爱的同学：您好！您在大学的学习即将结束，将要走上工作岗位。当前您最关心、最担心的问题是毕业就业问题。为了了解您在这方面有什么想法和看法、希望和要求，以便向各级党政领导及有关部门反映，以求得此问题较为合理的解决，我们开展了这次调查。填写此问卷是不记名的。希望您在填答时不要有任何顾虑，根据您的实际情况如实填写，说出您的心里话。对此我们负责保密。谢谢您的支持与合作！*省调查队,统计学第二章 统计调查,问卷说明,填表说明,1、请在每一问题后所给的备选答案中选择符合您情况或您同意的答案，并在所选答案后的 内打“”，或在问题的-处填写适当的内容。2、若无特殊说明，每一问题只能选择一个答案；若还要对所选多项答案排序，则请按题后说明填写。3、问卷内容较多，涉及面广，请在填答之前认真阅读一遍，然后按要求仔细填写。,统计学第二章 统计调查,问卷内容设计,问题的措词应注意,1、提问确切，避免出现模棱两可的问题,3、问题应以中性形式提出，不能参杂调查者的意图和观点，不能暗示、诱导,2、每一个问题都应可以独立作答，不能把几个问题合并成一个问题,4、针对不同的调查对象，采用合适的表达方式和恰当的措词设问,5、各个问题的备选答案必须具有互斥性，不能模糊不清,统计学第二章 统计调查,例1：“上个星期您总共看了几小时书？”其中“书”是否包括杂志、报刊？又如：“您每个月的收入是多少？”其中“收入”是否包括奖金、津贴和其他收入？,例2：您为什么不喝牛奶而换喝豆浆？这一问句包含了三层意思：1、您为什么不喝牛奶？2、您为什么改喝豆浆而不改喝其它？3、什么原因使您更换流食？,例3：“大家都认为某教师的课上得好，您的看法如何？”，“政府的收购政策大家都认为好，您的看法呢？”,统计学第二章 统计调查,问卷内容设计,统计学第二章 统计调查,例4：“您父母赞同您的婚姻吗？”这里父母指两个人,若遇到父亲赞成、母亲反对或母亲赞成父亲反映，应答者如何回答呢？,例5：“您的职业是企业职工；经济管理人员；干部；商业服务人员；农民；军人；学生；教科文卫人员”。答案交叉重复现象很多，使应答者无所适从。,问卷内容设计,问卷的问题结构,指问卷中问题的排列顺序，其一般规则有：,按问题的类型,按事实性问题、行为性问题、态度性问题的顺序将同类问题排列在一起，避免相互混杂,按问题的难易程度,先易后难，先熟悉的问题后生疏的问题，先一般性后特殊,按问题的时间顺序,按问题的空间顺序,为了便于被调查者记忆，可以按时间先后顺序排列,先近后远，由近及远,统计学第二章 统计调查,问卷的类型,按问卷的结构分,无结构型问卷,结构型问卷,问卷的内容结构较为松散或较为简单的问卷。调查者调查之前准备调查提纲，明确调查目的，拟定调查内容的项目，但不必事先列出答案格式，被调查者可以根据各自的情况自由回答。,指根据调查研究的目的和调查对象的特点而设计的具有结构的问卷。这种问卷一般都把所有拟调查的问题全部列于问卷上，并在问题的后面给出答案类型，由被调查者依照自己的认识和想法回答问题,统计学第二章 统计调查,容易控制，但不易全面,结构型问卷的问题类型：,容易滋生腐败,不易控制，但内容丰富,统计学第二章 统计调查,您是否吸烟（如果选，则跳过、题）吸烟不吸您每天大约吸多少支烟5支以下5-10支 10-15支 15-20 20-25支 25支以上您的吸烟历史大约有多长 1年以下1-5年5-10年10年以上您是否认为吸烟有害健康（请写出理由）,调查单位中吸烟人所占比例,吸烟人群日吸烟数量情况,吸烟人群吸烟历史情况,调查对象对吸烟的看法,统计学第二章 统计调查,问卷设计的基本要求：,问题的提出要紧扣主题,问句和标准答案要易于理解和回答,先易后难、先封闭后开放、先基本问题后派生问题,以不超过20分钟为宜,统计学第二章 统计调查,？,答题时间：一般控制在20分钟之内,过多的问题、过于难的问题将吓跑被调查者。,统计学第二章 统计调查,统计学第二章 统计调查,特殊问题的处理方法,你曾经有过偷漏税行为吗？,你身份证末位数是单数吗？,第四节 数据误差,数据的误差,统计数据的质量要求,1.精度：最低的抽样误差或随机误差2.准确性：最小的非抽样误差或偏差3.关联性：满足用户决策、管理和研究的需 要4.及时性：在最短的时间里取得并公布数据5.一致性：保持时间序列的可比性6.最低成本：以最经济的方式取得数据,抽样误差(sampling error),由于抽样的随机性所带来的误差 随机性误差是指遵循随机原则，但由于抽取的样本不同而产生的误差即为随机性误差。随机性误差是不可避免的。,所有样本可能的结果与总体真值之间的平均性差异 影响抽样误差的大小的因素样本量的大小总体的变异性,统计学第二章 统计调查,从全部学生中随机抽取20人组成样本并计算平均体重：样本一：52.35样本二：50.26样本三：53.19真值:51.18,代表性误差,非抽样误差(non-sampling error),相对抽样误差而言除抽样误差之外的，由于其他原因造成的样本观察结果与总体真值之间的差异存在于所有的调查之中概率抽样，非概率抽样，全面性调查有抽样框误差、回答误差、无回答误差、调查员误差、测量误差,统计误差,指统计调查结果所获得的统计数字与客观事物实际数值的差别。,登记性误差,亦称调查工作误差，是指调查登记以及资料汇总中由于主客观原因而引起的误差。,如：计算错误、抄录错误、汇总错误而产生的误差，由于遗漏或重复登记而产生的误差等等。登记误差在全面调查和非全面调查中都有可能发生。,偶然性登记误差,系统性登记误差,业务水平低、责任心不强等原因,无意系统性登记误差,有意系统性登记误差,统计学第二章 统计调查,统计学第二章 统计调查,登记误差,误差的控制,抽样误差可计算和控制非抽样误差的控制调查员的挑选调查员的培训督导员的调查专业水平调查过程控制调查结果进行检验、评估现场调查人员进行奖惩的制度,统计调查误差控制,1、制定周密的调查方案2、做好调查组织管理工作3、加强统计队伍建设4、提高统计技术装备的现代化水平5、加强统计法制建设,统计调查误差的控制是一项系统工程，需要各个方面的配合，需要做好调查各个环节的工作。,统计学第二章 统计调查,结 束,THANKS,