食品质量安全抽检数据分析教材课件.pptx

食品质量安全抽检数据分析,何梓菱 王哲 周李指导教师：数模教练组复旦大学 数学科学学院,目录,一、问题的重述,1、评价食品安全情况变化趋势,逐年统计各项指标合格率,逐年统计各项指标超标百分比,横向、纵向比较分析,评价方法,2、找出与食品质量相关因素,横向对比,因素分析,环节,3、改进食品抽检方法,1、统计处理上一次抽检结果.,3、调整下一次每种食品的检测次数,2、根据评价结果，考虑产地季节等因素.,以抽检结果的方差和平均值为参数的评价函数模型,三、模型假设,1实际深圳市市场监督管理局网站上的所有检测数据都准确可靠,2食品都可以归类到食品分类系统当中,4划分之后同一地区的生产厂家到深圳具有相同的运输距离,5对任何产品抽检一批次的成本相同,3抽检指标都可以归类到抽检项目分类系统当中,四、符号约定,五、模型的建立与求解,5.1 深圳市主要食品安全情况的变化趋势,5.2 食品安全相关因素分析,5.3 抽样方法的改进,5.1.1 检测指标的分类,微生物,工业残留及其他,食品添加剂,重金属,检测指标,超标类,未达标类,其他类,检测标准,5.1.2食品的分类,1.乳及乳制品（简称乳制品）；2.脂肪，油和乳化脂肪制品（简称食用油）；3.冷饮，饮料及酒（简称饮品）；4.水果、蔬菜（包括块根类）、豆类、食用菌、坚果以及籽类等（简称果蔬）；5.可可制品、巧克力和巧克力制品、糖果及甜味料（简称甜味料）；6.粮食及粮食制品，包括大米、面粉、杂粮、淀粉等（简称粮食）；7.焙烤食品，包括面包、糕点、饼干等（简称焙烤食品）；8.肉蛋类及其制品（简称肉蛋制品）；9.水产及其制品，包括鱼类、甲壳类、贝类、软体类、棘皮类等水产及其加工制品等（简称水产品）；10.调味品11.其他类，即不包含在前十类中的食品。,5.1.3数据的处理,1）合格率,图 1 2010年2012年各类主要食品 抽检合格率比较图,2）超标百分比,5.1.3数据的处理,非微生物：,微生物：,表 5 三年微生物超标情况（未做对数处理前）,表 6 部分微生物超标情况特别严重的产品一览表,表 7 三年内各类食品微生物、重金属、食品添加剂超标情况,图 2 各类食品微生物、重金属、食品添加剂三年内超标情况比较（微生物为处理后）,表 8 2010年六类主要食品微生物、重金属、食品添加剂超标情况汇总,表 9 2011年六类主要食品微生物、重金属、食品添加剂超标情况汇总,表 10 2012年六类主要食品微生物、重金属、食品添加剂超标情况汇总,3）独立样本T检验,5.1.3数据的处理,独立样本T检验,表 12 2010年和2011年食品添加剂超标情况比较的显著性检验,表 11 2010年和2011年食品添加剂超标百分比的均值、标准差比较,独立样本T检验,表 14 2011年和2012年食品添加剂超标情况比较的显著性检验,表 13 2011年和2012年食品添加剂超标百分比的均值、标准差比较,表 15 三年内微生物、重金属 超标情况比较的显著性检验,分析结果微生物：超标百分比均值稳中有降，说明食品中微生物的安全情况逐年略有改善重金属：超标数量较少，2012年的超标情况稍要好于2011年食品添加剂：2011年较2010年的超标情况基本没有太大改变，但2012年食品添加剂的安全情况较2011年有了显著性的改善。总的来说，2012年的各项食品安全情况较前一年都有了一定的改善，说明深圳市市场监督管理局对食品的定期抽检还是有其积极意义的。,5.1.3数据的处理,5.2 食品安全相关因素分析,5.2.2 食品产地,5.2.1 食品各个环节安全情况,5.2.4 食品销售地点（即检测地点）,5.2.3 检测季节,5.2.5 食品包装,5.2.6 综合因素分析,5.2.1 食品各个环节安全情况,表 16 2010年食品各个环节抽检情况对比表,生产环节的抽检合格率较其他两个环节要稍低一些可能是由于生产厂家中卫生情况较差造成的。,5.2.2 食品产地,食品产地与食品质量关系,Spearman秩相关性分析,列联相关进行分析,广东省外,分析方法：Spearman秩相关性分析运输距离与食品质量列联相关进行分析城市本身与食品质量产地划分广东省内城市广东省外省份、自治区和直辖市,广东省内,广东省内,广东省外,5.2.2 食品产地,数据处理广东省外以省份划分，产地距离为省会城市到深圳市的高速公路距离广东省内以城市为依据进行划分，产地距离为该城市到深圳市的高速公路距离以上所有距离通过百度地图得到统一剔除检测数目小于50的产地方法Spearman相关性分析,Spearman秩相关性分析结果,Spearman秩相关性分析,结果说明：运输距离与食品质量的相关性：广东省内城市无广东省外的各个省份中度相关性，正相关性即运输距离越远食品合格率越高，食品质量越好。结论分析首先，广东省内检测食品数量较多其次，由于运输距离短的食品流通更为便捷，由此食品种类更为繁杂，监管难度更为大。再次，当运输距离达到一定长度后，食品运输方式或会采用空运等更为快速且安全的运输方式,5.2.3 检测季节,表 32 各类食品分季度合格率汇总表,5.2.3 检测季节,方法：列联分析某些食品的样本量较少，或不合格数量为0，无法进行卡方检验仅对饮品、果蔬、粮食、焙烤食品、肉蛋制品以及水产品这六类主要食品进行检验以一、二、三、四分别表示四个季度，0表示不合格，1表示合格以果蔬为例，得到列联表如下：,5.2.3 检测季节,表 30 六类主要食品分季节列联汇总表,表 31 六类主要食品与季节因素影响的卡方检验表,5.2.3 检测季节,逐类分析饮品的季节因素相差很小，即受季节影响较小，原因可能是饮品的包装较好，保质期较长，因此不同的季节对饮品质量影响不大果蔬受季节影响较大，第一季度质量较好，第二季度质量略差。原因可能在于第二季度气温较高，使得某些预包装果蔬类食品更容易变质。粮食受季节影响也较大，但与蔬菜不同的是，其第一、二季度质量较差，第三季度质量较好，原因在于第三季度一般为粮食收割季，所以粮食制品质量较好。焙烤食品在列联分析中表现出受季节因素影响显著，其中，第一季度质量较差，第三、四季度质量较好。肉蛋制品和焙烤食品情况类似，第一季度较差，第二、三季度质量好。,表 28 饮品等五类食品分季度合格率汇总表,5.2.3 检测季节,5.2.3 检测季节,各种食品的质量多多少少都与季节有着关联不同食品种类与季节关系不尽相同在加强相关的监管的过程中，需要对症下药根据每类食品受季节影响的特点，制定相应的抽检方案。,5.2.4 食品销售地点（即检测地点）,方法：列联分析深圳市按城区划分，共9个城区各个城区食品合格率表35,5.2.4 食品销售地点（即检测地点）,检验结果,5.2.5 食品包装,方法：列联分析食品按包装方式，分为包装和散装对每一类食品分别进行分析，减少因素间干扰某些种类食品由于不合格的散装检测数为0，无法进行列联分析。仅对食用油、饮品、果蔬、甜味料、粮食、肉蛋制品、水产品和调味品进行分析。,表 37 各种类食品的合格与否 与不同包装的计数与分析表,5.2.5 食品包装,分析结果除了粮食与甜味料外，其他种类食品的合格与否均显示出与食品包装相关，即包装的食品合格率更高，并且相关性非常显著。总和数据也显示出，食品包装对食品合格的相关性颇为显著。散装的食品卫生安全情况较为严重，需要加强监管。,5.2.6 综合因素分析,5.2.6 综合因素分析,表 32 食品检测地点虚拟变量编号表,5.2.6 综合因素分析,表40 产地、包装、季节和检测地点与食品质量的Logistic多重共线性诊断表,5.2.6 综合因素分析,5.2.6 综合因素分析,可以采用最大似然估计法（MIE）。最大似然法的思想是先对初始值进行估计，根据算法变动回归参数，进行迭代运算，使得对数似然值增大，由此估计函数。检验Logistic回归的显著性用Hosmer 和 Lemeshow 检验零假设是模型能够很好的拟合。当sig.值0.05，因此不能否认零假设，即模型能够很好的拟合整体，不存在显著的差异。,5.2.6 综合因素分析,表 产地、包装、季节和检测地点与食品质量的Logistic回归分析结果,模型的Hosmer 和 Lemeshow 检验的结果如下表：由上表知，sig.值0.05，因此不能否认原假设零假设，即模型能够很好的拟合整体，不存在显著的差异。由于数据量较大，对3000多个数据回归得到如此结果，已可说明回归显著。,模型的Hosmer 和 Lemeshow 检验的结果如下表：由上表知，sig.值0.05，因此不能否认原假设零假设，即模型能够很好的拟合整体，不存在显著的差异。相比之前全部变量都进入建模结果更好。,5.2.6 综合因素分析,总体相关性根据wald值判定，季节，抽检地，包装和产品是否合格表现出相关性。且季节抽检地包装季节因素:第四季度与食品质量的相关性显著，且相较第一季度质量要好不同种类食品的影响情况也需要分开考虑。检测地点因素:是否是宝安区食品与食品质量的相关性显著，且相对龙岗区要差。其他城区的食品质量良莠不齐，且分布更为均匀,5.2.6 综合因素分析,食品包装:对食品质量起显著影响,有包装的食品的合格率更高。食品产地在回归分析中相关性不强，分析如下:如前文所述，由于数据信息不齐全，在进行回归分析时需要筛选出信息齐全的数据，那么在此筛选中，因为筛选出的数据与原始数据的信息分布无可避免地会有所出入，食品产地对食品质量的影响或许会有所减弱。相对其他因素而言，有5.2.15.2.4分析中可以看出，从全国角度来看，食品产地的因素影响不大。,5.3 抽样方法的改进,5.3.2改进模型,5.3.1 市场模型的简化,5.3.3 产品抽检方法改进对比测试,5.3.4 权重系数的，的确定,5.3.5 实证数据对比模型,5.3.6 实证模型结果,5.3.1 市场模型的简化,市场中只有已知的若干类食品，且每类食品下有若干种食品。,同种食品的检测项目相同且最终合成为一个指标，我们对食品的检测值进行如下处理，将检测值统一除以标准值，特别地，如果是微生物检测项目，则将检测值与标准值分别取对数后再做除法，我们称这个过程为“指标归一化”过程。,同一批次的食品质量相同,5.3.2改进模型,目标在总的抽检次数不变的情况下提高抽检的效率，找到更多的不合格产品。方法合理分配每种产品的抽检率，提高抽检效率抽检率与两个因素有关:之前抽检批次结果的方差抽检结果方差越大，说明该种类产品质量波动情况较大，则我们将适当增加我们的抽检率之前抽检批次结果的超标情况抽检结果超标情况严重，我们会增加该类食品的抽检次数。,5.3.2改进模型,5.3.3 产品抽检方法改进对比测试,通过随机数生成相关的数据，定义检出率为抽检出的不合格产品占市场中所有不合格产品的比例。对于同一份随机生成的数据，在相同的抽检次数下比较两种方法检出率的大小，从而比较两种方法的优劣。随机产品质量生成参数表,5.3.3 产品抽检方法改进对比测试,5.3.3 产品抽检方法改进对比测试,5.3.5 实证数据对比模型,5.3.5 实证数据对比模型,生成随机检测值的方法1、对于每个批次产品质量值，生成一个介于(0,1)的随机数。2、如果该随机数大于该类产品在当前季节的合格率时，则认为该批次产品是不合格产品。并在之前该类食品在该季节的统计数据中随机找到的一个不合格产品的检测值，代表该批次产品的质量检测值。3、如果该随机数小于等于该类产品在当前季节的合格率时，则认为该批次产品是合格产品。同样由5.3.1中的说明，产品为合格时，检测值介于(0,1)之间，因此再次在(0,1)间生成一个随机数，作为该批次产品的质量检测值。,5.3.6 实证模型结果,5.3.6 实证模型结果,为了测试我们方法的稳定性，我们每次模拟20年，即240个月的抽检周期。共运行1000次。得到平均检出率提高的均值水平为10.75%,六、模型的结果分析,6.1 各主要食品总体安全的情况分析,6.3 抽检方法改进对抽检效率的影响分析,6.2 各因素对食品质量安全的影响分析,6.1 各主要食品总体安全的情况分析,合格率方面乳制品、食用油和饮品的合格率较高，焙烤食品和肉蛋的合格率相对较低；2011年食品的合格率总体较10年和12年要差一些，其中焙烤食品和肉蛋类的不合格情况较为严重；2012年绝大多数种类的食品抽检合格率较2011年有一定程度的提高。,6.1 各主要食品总体安全的情况分析,超标情况微生物：超标百分比均值稳中有降重金属：超标数量较少，2012年的超标情况稍要好于2011年；食品添加剂：2011年较2010年基本没有太大改变，但2012年食品添加剂的安全情况较2011年有了显著性的改善。总的来说，2012年的各项食品安全情况较前一年都有了一定的改善，说明深圳市市场监督管理局对食品的定期抽检有其积极意义。,6.2 各因素对食品质量安全的影响分析,食品产地方面由于检测数量和食品流通的难易程度不同，广东省内的合格率和省外相比普遍较低。省内食品质量与运输距离关系不大，而省外食品的质量在一定程度上与运输距离成正比，即距离深圳越远的食品产地食品质量在一定程度上越好。因此可以依据广东省内外产地的食品合格率，适当安排监管食品质量力度，这将有助于食品质量的提高。食品包装方面与食品质量关系密切，且散装的食品卫生安全情况较为严重，需要加强监管。粮食和甜味料两类食品并未过多受到食品包装的影响。,检测季节方面各种食品的质量都与季节有着关联，且不同食品种类与季节关系不尽相同。第一季度的食品质量相对较差一点，需要加强监管。食品销售地点方面检测的城区与食品质量相关南山区和福田区食品质量较好，而宝安区，光明新区，坪山新区较差,6.2 各因素对食品质量安全的影响分析,横向对比上述四个因素季节对食品质量的影响最为显著，检测地点与包装次之，产地对食品质量影响较小。因而，欲提高深圳市食品质量，首先需重视季度的影响，在第一季度加强监管力度，并且对不同种类食品应分开考虑季节因素的影响；其次关注各个城区的食品质量差异，合理安排抽检最后，加大对散装食品的监管力度，并且适当将产地因素纳入监管考虑范畴。,6.2 各因素对食品质量安全的影响分析,6.3 抽检方法改进对抽检效率的影响分析,我们依据每次抽检的结果，对下一次每种商品的抽检数进行调整同时还根据季节等因素对抽检的总数进行调整。通过对已有的数据进行模拟分析，改进后的方法将检出率提高了约10%。如果能将改进后的方法应用于实际抽检中，食品抽检的工作效率将会得到很大的提高。,7.3模型的推广,7.2缺点与改进,7.1模型的优点,七、模型的评价与推广,7.1 模型的优点,7.2 模型的缺点及改进,1.因为数据本身不完善的原因，在数据的处理过程中舍弃了一部分数据。2.使用的一些方法过程比较复杂，需要简化流程，制定相关的工作标准。3.抽检方法改进对现实情况进行了一些简化，在实际操作中需要进一步完善。,7.3 模型的推广,通过对相关抽检方法的改进，我们提高了抽检效率，对于全国的食品安全监管工作具有借鉴意义。,Thank You!,1、Genius only means hard-working all ones life.(Mendeleyer,Russian Chemist)天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:032、Our destiny offers not only the cup of despair,but the chalice of opportunity.(Richard Nixon,American President)命运给予我们的不是失望之酒，而是机会之杯。二二年八月五日2020年8月5日星期三3、Patience is bitter,but its fruit is sweet.(Jean Jacques Rousseau,French thinker)忍耐是痛苦的，但它的果实是甜蜜的。11:038.5.202011:038.5.202011:0311:03:108.5.202011:038.5.20204、All that you do,do with your might;things done by halves are never done right.-R.H.Stoddard,American poet做一切事都应尽力而为，半途而废永远不行8.5.20208.5.202011:0311:0311:03:1011:03:105、You have to believe in yourself.Thats the secret of success.-Charles Chaplin人必须相信自己，这是成功的秘诀。-Wednesday,August 5,2020August 20Wednesday,August 5,20208/5/20206、Almost any situation-good or bad-is affected by the attitude we bring to.-Lucius Annaus Seneca差不多任何一种处境-无论是好是坏-都受到我们对待处境态度的影响。11时3分11时3分5-Aug-208.5.20207、Although the world is full of suffering,it is full also of the overcoming of it.-Hellen Keller,American writer虽然世界多苦难，但是苦难总是能战胜的。20.8.520.8.520.8.5。2020年8月5日星期三二二年八月五日8、For man is man and master of his fate.-Tennyson人就是人，是自己命运的主人11:0311:03:108.5.2020Wednesday,August 5,20209、When success comes in the door,it seems,love often goes out the window.-Joyce Brothers成功来到门前时，爱情往往就走出了窗外。11:038.5.202011:038.5.202011:0311:03:108.5.202011:038.5.202010、Life is measured by thought and action,not by time.Lubbock 衡量生命的尺度是思想和行为，而不是时间。8.5.20208.5.202011:0311:0311:03:1011:03:1011、To make a lasting marriage we have to overcome self-centeredness.要使婚姻长久，就需克服自我中心意识。Wednesday,August 5,2020August 20Wednesday,August 5,20208/5/202012、Treat other people as you hope they will treat you.你希望别人如何对待你，你就如何对待别人。11时3分11时3分5-Aug-208.5.202013、To do whatever needs to be done to preserve this last and greatest bastion of freedom.(Ronald Reagan,American President)为了保住这最后的、最伟大的自由堡垒，我们必须尽我们所能。20.8.520.8.5Wednesday,August 5,202014、Where there is a will,there is a way.(Thomas Edison,American inventor)有志者，事竟成。11:01:1911:01:1911:018/5/2020 11:01:19 AM15、Every man is the master of his own fortune.-Richard Steele每个人都主宰自己的命运。20.8.511:01:1911:01Aug-205-Aug-2016、As selfishness and complaint cloud the mind,so love with its joy clears and sharpens the vision.-Helen Keller自私和抱怨是心灵的阴暗，愉快的爱则使视野明朗开阔。11:01:1911:01:1911:01Wednesday,August 5,202017、Do not,for one repulse,give up the purpose that you resolved to effect.-Willian Shakespeare,British dramatist不要只因一次失败，就放弃你原来决心想达到的目的。20.8.520.8.511:01:1911:01:19August 5,202018、There is no absolute success in the world,only constant progress.世界上的事没有绝对成功，只有不断的进步。2020年8月5日星期三上午11时1分19秒11:01:1920.8.519、Nothing is more fatal to happiness than the remembrance of happiness.没有什么比回忆幸福更令人痛苦的了。2020年8月上午11时1分20.8.511:01August 5,202020、No man is happy who does not think himself so.Publilius Syrus认为自己不幸福的人就不会幸福。2020年8月5日星期三11时1分19秒11:01:195 August 202021、The emperor treats talent as tools,using their strongpoint to his advantage.君子用人如器，各取所长。上午11时1分19秒上午11时1分11:01:1920.8.5,谢谢观看,THE END,