iResearch-问卷设计投放收集规范.ppt

1,定制调研样本管理与问卷流程,2,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,3,抽样方案工作流程,考虑样本定向问题：轮空、定向投放和配比抽样等,4,抽样方案选择,调研通,E-mail,外部网站,适用范围：整体网民抽样；按网民特定属性抽样,不适用情况：明显有网站倾向性的问卷调研,样本质量：样本随机性较好；对样本控制较好；较短时期内实现回收,适用范围：调研通样本补充；特定属性网民抽样；,有倾向性的调研,适用范围：特定网站调研；有倾向性的调研,不适用情况：通过单一站点调查整个行业状况,样本质量：样本随机性差；对样本控制差,样本质量：样本随机性较好；对样本控制较差；回收率低（1%左右）,5,样本定向抽取,样本轮换原则,特定网民样本,整体网民样本,在调研通实现问卷定向投放前提下，为提高调研质量，规,避部分职业问卷填答者，对已经参加过调研的用户进行轮,空，实现样本轮换。对于轮空样本定义的指标：（上次填卷时间，上次填卷距此次的间隔，根据需要样本量设置）,就调研对特定属性网民(如特定地区，特定收入等)需求，,除考虑E-mail定向发送调研邀请外，应采用调研通定向投,放，提高调研数据质量。,就整体网民调研，除遵守样本轮换原则之外，应在问卷,投放时适当考虑样本提前配比，实现样本定向投放。,6,样本规模确定,样本规模（容量）计算公式,公式说明：,经验法则：,公式理想化：,调研总有效样本不少于700；分类交叉不少于100,网上调研非严格随机调研；2不可知；多个属性2不同,经验法则：,回收样本量：,回收样本量1.5目标有效样本量（可根据实际情况增减回收样本量）,Z表示置信值；2表示总体方差；表示误差值,7,不同总体规模所需样本数量,8,研究员抽样方案中需注明的事项,抽样方案,调研通；e-mail邀请；特定网站/客户网站,样本规模,通常为1000个以上；具体视项目提案而定,时间节点,从技术问卷制作到调试上线：1周左右，视问卷长度、难度及与客户沟通确认情况定上线后样本回收时间：ICLICK无定向：1周；ICLICK定向：不确定；邮件无定向：2周（如样本量为1000）；均视实际情况变化,样本属性,总体网民调研/特定网民调研；具体视项目提案而定,样本配比,通常按大调研CNNIC方案配比；具体视项目提案而定,提交格式,excel格式调研样本需求；随问卷一起提交技术部,9,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,10,定制项目审核规范,项目组：研究/业务,*研究总监tiger,业务员,客户,第一阶段 第二阶段*第三阶段*第四阶段 第五阶段,问卷测试,内容审核,报告内容审核,报告最终内容,项目组：研究/业务,与客户沟通设立问卷,*对于定制项目金额大于5万或者研究员初次进行网上问卷设计，需要研究总监进行最终审核*一般情况下，对于新型的定制项目至少henry/kelly/lily中一位对项目问卷进行最终确认,Henry/Kelly/Lily,11,定制项目问卷执行规范,项目组：研究/业务,问卷质检协调组,问卷审核,最终确定抽样方案问卷规范及逻辑审核安排问卷上线顺序,与客户沟通设立问卷（符合艾瑞规范）并提出抽样方案建议等,*对于定制项目金额大于5万或者研究员初次进行网上问卷设计，需要研究总监进行内容审核*一般情况下，对于新型的定制项目至少henry/kelly/lily中一位对项目问卷进行最终确认,技术部制作网络版,*研究总监Tiger（内容把关）,问卷质检协调组/项目组,项目组最少一人测试后质检组最少一人测试并最终确认上线欢迎客户参加测试,上线回收,问卷质检协调组,数据清理（如涉及开放题，由研究员自己操作）,项目组,报告撰写、审核、提交等,问卷质检协调组,抽奖等,12,问卷质检协调组的问卷审核要求,1）审核问卷逻辑2）审核明显错字或其它显而易见的低级错误3）审核有无技术无法执行的复杂逻辑4）审核问卷容量是否超标5）审核是否有会给我们造成麻烦的题目6）平衡问卷的倾向性及投放成本7）随时与研究员、客户经理、FISHER及SAMMY的沟通,注：问卷审核只是去除技术或流程错误，无法提升问卷的质量！审核人员一般情况下没有精力去审核问卷的具体内容，如问卷问请问您平时去哪些大卖场买东西？，审核人员绝对不可能去查问卷中的选项是否已齐全！,13,定制调研问卷分拣,问卷篇幅分拣标准1.根据问卷的篇幅不同，确定问卷的形式，超过一定长度的问卷，必须采用分页形式。2.由于篇幅过于冗长的问卷对于数据回收不利，对于回收数据质量的保障不够，因而会导致需要更多的资源以达到期望的结果，故在超过一定篇幅以后，有必要增加费用。,14,定制调研问卷分拣,逻辑关系分拣标准1.在问卷正式制作前，检查问卷的逻辑关系，由于部分客户对于网络调研的熟悉程度，认识程度有限，所以在问卷的设计上会存在一些可修正（思路不清晰，定义模糊等）和不可修正的逻辑问题。2.对于可修正的逻辑问题，需要我们与客户加强沟通，及时发现并修正。3.对于不可修正的逻辑问题，制定增加费用的标准。,极力避免：1）以开放题的回答作为判别的跳转（根据用户填写的内容进行跳转，或根据逻辑要求用户填写指定格式内容）2）以多个选项的回答作为判别的跳转（根据用户多个选项选择的状态，实现逻辑上的跳转）建议：1）不出现可伸缩的树状列表题目（在某选项状态改变后，在该选项下出项另一个子选项列）2）不出现排序题，或者有填答顺序的题目（对选项要求用户进行排序，或要求用户依次答题）3）不出现多个跳转的目的地为同一个题目/选项（不同的逻辑最终跳转到同一个题目/选项上）,15,定制调研问卷分拣,问卷结构分拣标准1.尽量减少开放题，或以封闭的方式去考量开放题，比如对于开放题给与一定的范围选择等。2.加强与客户的沟通，明确online调研与offline调研数据收集的渠道与方法上的差异。Online调研是被动性收集数据，无法做到实时的校验与提醒。3.过于复杂的表格题，与开放题在不可避免的情况下，增加费用。,注：按照表格的选项作为题目的数量,表格题中极力避免：1）三维表格题（比如表格单元中嵌套下拉框）2）表格列的轮机建议：1）表格题的最大尺寸不超过5x7，即5列7行2）普通列表题的篇幅不超过浏览器的半屏，大约20行（此项仅仅是建议）,16,定制调研问卷分拣,问卷其它分拣标准1.样本数量设定数量级收费标准，对不同数量级的数据要求进行评估，以确定费用的差异以及数据回收周期。2.样本特征数设定级别，根据样本的特征数量类型要求，设定费用标准以及评估数据回收周期。特征数量是否考虑以几何倍数计算费用。3.调研周期如需加急，需要与公司各部门沟通协调以保证资源顺利到位。,为了有效果，有效率的开展网上调研，在问卷设计过程中的原则是尽可能避免长问卷，开放题，复杂的表格题，逻辑关系复杂的题型。目前的定制调研缺少对问卷确认，问卷制作，问卷测试，数据回收，提交报告所需时间的评估。,17,定制调研问卷问题总汇,对于一些会产生陷阱的题目，产生同一调研问卷前后结果不一致的情况，可能产生回答样本被删除的结果，除非客户强烈要求，一定要尽量避免，例如：前面题中问，您目前拥有以下哪些电器，如选择平板电视机后面跳到的题目中问，您目前拥有的平板电视机是哪种尺寸的？，其中有一选项为没有平板电视机问卷题目由研究员来确定，尽可能避免倾向性内容的出现，造成调研结果的偏差；（具体见下页）奖品设置与问卷中的敏感品牌不关联（具体见下页）新研究员问卷设计后检查和培训,18,问卷填答无倾向性,问卷标题,研究员在设计问卷标题时，应保证用户回答的无倾向性。,对在线影视用户的调研，问卷标题应避免提到“在线影视”，避免,奖品设置,奖品设置应与调研内容无关：避免使用客户公司产品作为奖品造成,受访者心理暗示，导致客户公司比例偏高,筛选问题,需对样本筛选时，筛选问题必须隐蔽,范规问题：您是否使用过？合格问题：您用过以下哪些？,案例：,给受访者心理暗示，导致调研结果偏差，在线影视用户比例偏高；,可考虑“中国网民行为调研”等。但在ICLICK中使用会增加成本,案例：,19,定制调研规范,1.在确认合同/协议前或同时，须对调研问卷内容有明确的判断，确认。2.调研项目开展整个过程，必须加强内部横向交流，协调，对于“进度”“样本情况”等客户所关心问题进行明确，避免各自提供不同的数据。3.问卷正式上线前进行内测，目的在于发现bug，前期遗漏逻辑错误等，力争做到正式上线问卷“0缺陷”。一来避免数据收集做无用功，二来改善样本的用户体验。4.内测阶段的非技术bug做到及时与客户沟通，避免事后修补。5.自正式上线收集数据起之后，对客户所提交的任何与数据相关的信息务必基于对现实数据的了解，而非拍脑袋。既可以避免所提供数据的前后矛盾，又可以及时发现问题，进行修正，补救。,20,定制调研问卷流程设计规范,6.定制调研问卷设计各阶段标准化时间（讨论）问卷设计：2-3天 研究员问卷确认：2天（内部）FISHER问卷测试小组+tiger（新研究员/新项目类型）+项目经理/客户问卷网上制作：3天左右 技术部sammy 需和sammy提前3-4天通知安排问卷测试：2天 研究员+FISHER问卷测试小组+项目经理/客户数据回收：7-10天视问卷要求而定,1、研究员交给技术员的问卷设计稿必须是EXCEL格式2、研究员必须明确知道哪些题目需要轮机，并且在EXCEL格式的问卷设计稿中注明3、用户基本情况的题目，尽量与 iClick 调研社区中的个人资料的题目保持一致4、调研有线下数据的，统一按技术员提供的数据录入模板进行录入,21,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,22,样本数据清洗,1）答题时间控制：着重剔除答题时间偏短（如测试时觉得认真答卷需要20分钟，那10分钟以下的基本删除）2）重复IP剔除3）自动跳转逻辑复核清理（由于填卷者的IE版本问题造成无法实现问卷自动跳转而产生的废卷）1）逻辑判断用户属性与属性之间主体问卷内部用户属性与主体问卷2）开放题逻辑判断样本配比,技术部,研究部,技术部,研究部,研究员负责制定判断标准，交由技术部实现,23,用户属性之间不合逻辑,年龄与学历（剔除：低年龄高学历）年龄与个人收入（剔除：低年龄高收入）年龄与职业年龄与职位年龄与婚姻状况个人月收入家庭月收入问题：是否要删除敏感行业的人（如调研咨询、媒体、广告公司、调查相关行业等）？目前删除使用标准，仅供参考：16岁以下学历本科或本科以上样本 16岁以下家庭主妇或退休工人样本20岁以下却已婚个人月收入大于家庭月收入16岁以下却个人月收入6000元以上16岁以下却是中高级管理者,24,问卷内部回答不合逻辑,每份问卷情况均不相同，研究员需按实际情况进行记录删除 举例：在第一题“和其它媒体相比，您认为网络最大的优势是哪两项？”中选择了“信息全面”的人在第二题“和其它媒体相比，您认为网络最大的劣势是哪两项？”中也选择了“信息全面”的人，自相矛盾，要删除。注意：和陷阱题有些类似,25,开放题回答不合逻辑,每份问卷情况均不相同，研究员需按实际情况进行记录删除，开放题逻辑清理及其费时费力！（一般情况下：设了完全开放题就得清理，而对选择回答半开放题较多的也应清理！）A，完全开放题的清理（如“请填写您最经常使用的IM品牌”）i.乱填的一律清除记录(如在“请填写您您最经常使用的IM品牌”的空格中填“aaaaa”之类 ii.填“不知道”或“没有”及其它不确定回答的按实际情况决定（如填卷者在前一选择题“您最近12个月内是否使用IM中”选择了“是”，却在“请填写您最经常使用的IM品牌”中填写“我不用IM”，那就要删除）B，半开放题的清理（如选择题中”其它，请说明“中的填写）i.乱填的一律清除记录(如在空格中填“aaaaa”之类）ii.填“不知道”或“没有”及其它不确定回答者，按实际情况决定删除该样本记录或是修改回答，（按严格意义，此类情况为不合格问卷应该删除，但很可能由于填卷者不清楚我们的用意而导致不符合而非他们不认真填卷所致，因此可根据样本回收情况自行决定）iiii.在“其它”中所填的内容与提供的选项重复（如在“您喜欢以下哪些手机品牌”中已经设置了“松下”这一选项，填卷者没选，却选了“其它”，并在其中填写了“PANASONIC松下”），按实际情况决定（按严格意义，此类情况为不合格问卷应该删除，但很可能由于我们的选项太多而导致填卷者找不到相关选项而非他们不认真填卷所致，因此可根据样本回收情况自行决定，如果决定保留，需要修改问卷）,