数据处理方法与依据.ppt
数据处理的方法与工具,吕士钦,太原理工大学,1 概述,近几年，数学建模竞赛的规模越来越大,水平越来越高；赛题难度也越来越大，对学生数据处理能力要求也越来越高，最困难的有两个方面：（1）无数据建模问题；（2）海量数据问题。,无数据建模问题,例如：（1）2010B：2010年上海世博会影响力的定量评估；（2）2008B：高等教育学费标准探讨；往往为综合评价类模型，赛题来自于实际问题，开放程度比较高，需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。,无数据建模问题,数据收集手段与方法：（1）权威机构或相关部门发布；（2）通过搜索引擎在Internet搜索；（3）通过问卷、实验等自主采集；例如：公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的，山西省欲采购一批公交车，请问应将车门高度设计成多高比较合适？,无数据建模问题,问题的关键在于获取山西省成年男子的身高情况，我们优先考虑的方法是（1）（2），在无法通过前两种方法获取的情况下，可以通过（3）获得。显然取样，进而可以获得山西成年男子身高X的样本均值和样本方差，剩下的就是求解一个简单的概率问题而已：P(X=99%,海量数据建模问题,2000A：DNA序列分类；2000B：钢管订购和运输；2001A：血管的三维重建；2001B：公交车调度；2002B：彩票中的数学；2003A：SARS的传播；2004A：奥运会临时超市网点设计；,海量数据建模问题,2004B：电力市场的输电阻塞管理；2005A：长江水质的评价和预测；2005B：DVD在线租赁；2006A：出版社的资源配置；2006B：艾滋病疗法的评价及疗效的预测尤其是：2011年夏令营：测井曲线自动分层问题（10M）,海量数据建模问题,显然大批量数据是很难手工处理的，需要我们借助于计算机以及一些数据处理软件来完成，需要掌握基本的计算机使用与编程能力。实在无法完成大批量数据处理的情况下，随机截取典型性数据也不失为一种合理的解决办法。,海量数据建模问题,数学建模中常用软件：,World MATLAB Mathematica Lindo,Execl SPSS C&C+Lingo,海量数据建模问题,软件学习的关键：（1）数据的读入；（2）异常数据处理；（3）数据规范化与归一化；（4）常见问题与软件功能的对应。（5）绘图与可视化输出。,（1）数据的读入,数据的读入：a)复制、粘贴；b)功能函数。Matlab中textread（）:a=textread(data.txt,%*s%*s%f%*s,headerlines,3,delimiter,)headerlines是文件头有多少行delimiter就是词跟词之间的分隔符。%s是字符串的意思，%f是浮点数的意思而在它们中间加上*，表示跳过这个词。%*s%*s的意思就是跳过前两个词。,（1）数据的读入,Matlab中imread（）:该函数用于读取图片文件中的数据。filename=e.bmp;imgRgb=imread(filename);%读入一幅彩色图像 imshow(imgRgb);%显示彩色图像Matlab中xlsread（）:该函数用于读取Execl文件中的数据。,（1）数据的读入,Lingo中file（）:该函数用于文本文件的读入。Lingo中TEXT（）：该函数输出数据（文本文件）。Lingo中OLE（）该函数与电子表格软件（如EXCEL）连接；Lingo中ODBC（）该函数与数据库连接。,（1）数据的读入,FILE和TEXT：文本文件输入输出,MODEL:SETS:MYSET/FILE(myfile.txt)/:FILE(myfile.txt);ENDSETSMIN=SUM(MYSET(I):SHIP(I)*COST(I);FOR(MYSET(I):CON1 SHIP(I)NEED(I);CON2 SHIP(I)SUPPLY(I);DATA:COST=FILE(myfile.txt);NEED=FILE(myfile.txt);SUPPLY=FILE(myfile.txt);TEXT(result.txt)=STATUS(),SHIP,DUAL(SHIP),RANGED(SHIP)DUAL(CON1),RANGEU(CON2);ENDDATAEND,myfile.txt文件的内容、格式：Seattle,Detroit,Chicago,DenverCOST,NEED,SUPPLY,SHIP12,28,15,201600,1800,1200,10001700,1900,1300,1100,（1）数据的读入,c)计算机语言编程文本文档中写着：1 Intel_Pentium_E_2140 495 02 AMD_Athlon64_X2_3600+465 03 Intel_Celeron_420 480 0.要求将这些读入C程序中(编号，名称，价格，已售出量组成)#include stdio.hstruct Hardware_database int number;char name40;int price;int sales;CPU50;,int main(int argc,char*argv)int i;FILE*CPU_record;PU_record=fopen(c:CPU_Data.txt,r);for(i=1;feof(CPU_record)=0;i+)fscanf(CPU_record,%d%s%d%dn,（2）异常数据处理,（2）异常数据处理,a)散点图。Matlab中可由plot()实现，在SPSS中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。,（2）异常数据处理,b）3检测法,（2）异常数据处理,（2）异常数据处理,C)聚类分析法,（2）异常数据处理,异常数据处理：剔除 均值替代 回归替代 异常数据的处理由SPSS、SAS、mintab实现比其他软件更方便。,（3）数据规范化,如果不对这些指标作相应的无量纲处理，则在综合评价过程中就会出“大数吃小数”的错误结果，从而导致最后得到错误的评价结论。无量纲化处理又称为指标数据的标准化,或规范化处理。常用方法:标准差法、极值差法和功效系数法等。,（3）数据规范化,（3）数据规范化,（3）数据规范化,极大型指标:总是期望指标的取值越大越好；极小型指标:总是期望指标的取值越小越好；中间型指标:总是期望指标的取值既不要太大，也不要太小为好，即取适当的中间值为最好;区间型指标:总是期望指标的取值最好是落在某一个确定的区间内为最好。,在将数据无量纲化之前，在有些问题下，特别是综合评价模型中，还需要将数据根据处理目标一致化。一般说来，数据指标一般说来，在评价指标中可能包含有:,（3）数据规范化,（3）数据规范化,例：长江水质的综合评价模型,谢 谢！,太原理工大学数学学院,
