欢迎来到三一办公! | 帮助中心 三一办公31ppt.com(应用文档模板下载平台)
三一办公
全部分类
  • 办公文档>
  • PPT模板>
  • 建筑/施工/环境>
  • 毕业设计>
  • 工程图纸>
  • 教育教学>
  • 素材源码>
  • 生活休闲>
  • 临时分类>
  • ImageVerifierCode 换一换
    首页 三一办公 > 资源分类 > DOC文档下载  

    数据挖掘实训报告.doc

    • 资源ID:1603653       资源大小:263.50KB        全文页数:16页
    • 资源格式: DOC        下载积分:16金币
    快捷下载 游客一键下载
    会员登录下载
    三方登录下载: 微信开放平台登录 QQ登录  
    下载资源需要16金币
    邮箱/手机:
    温馨提示:
    用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)
    支付方式: 支付宝    微信支付   
    验证码:   换一换

    加入VIP免费专享
     
    账号:
    密码:
    验证码:   换一换
      忘记密码?
        
    友情提示
    2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
    3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
    4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
    5、试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。

    数据挖掘实训报告.doc

    项目1:基于sklearn的数据分类挖掘一、项目任务熟悉sklearn数据挖掘的基本功能。进行用朴素贝叶斯、KNN、决策树C4.5、SVM算法进行数据分类分析。二、项目环境及条件Ø sklearn-0.18.0Ø python-2.7.13Ø numpy-1.11.3+mkl-cp27-cp27m-win_amd64Ø scipy-0.19.0-cp27-cp27m-win_amd64Ø matplotlib-1.5.3-cp27-cp27m-win_amd64三、实验数据Iris数据集Iris数据集是常用的分类实验数据集,由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集,是一类多重变量分析的数据集。数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性。可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类。Digits数据集美国著名数据集NIST的子集,模式识别常用实验数据集,图像属于灰度图像。分辨率为8x8四、项目内容及过程1.读取数据集从sklearn中读取iris和digits数据集并测试打印from sklearn import datasetsiris = datasets.load_iris()digits = datasets.load_digits()print 'iris:',iris.data,'ndigits:',digits.data打印的数据集存在numpy.ndarray中,ndarray会自动省略较长矩阵的中间部分。Iris数据集的样本数据为其花瓣的各项属性Digits数据集的样本数据为手写数字图像的像素值2.划分数据集引入sklearn的model_selection使用train_test_split划分digits数据集,训练集和测试集比例为8:2from sklearn.model_selection import train_test_splitx_train,x_test,y_train,y_test=train_test_split(digits.data,digits.target,test_size=0.2)print 'x_train:',x_train,'nx_test:',x_test,'ny_train:',y_train,'ny_test:',y_test3.使用KNN和SVM对digits测试集分类引用sklearn的svm.SVC和neighbors.KNeighborsClassifier模块调用算法,使用classification_report查看预测结果的准确率和召回率from sklearn.metrics import classification_reportfrom sklearn import neighborsclf = neighbors.KNeighborsClassifier()clf.fit(x_train,y_train)y_pred=clf.predict(x_test)print classification_report(y_test, y_pred)from sklearn.svm import SVCclf = SVC()clf.fit(x_train,y_train)y_pred=clf.predict(x_test)print classification_report(y_test, y_pred)KNN的预测结果:所有数字的预测正确率几乎达到了100%SVM的预测结果:对部分数字的预测误差较大,基本情况不如KNN考虑SVM分类器的特性,在分类前对特征值进行标准化后再分类:from sklearn import preprocessingmin_max_scaler = preprocessing.MinMaxScaler()x_train = min_max_scaler.fit_transform(x_train)x_test = min_max_scaler.fit_transform(x_test)标准化数据后SVM的预测结果达到了KNN的准度:4.使用贝叶斯和决策树对iris数据集分类from sklearn.model_selection import train_test_splitx_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.4)from sklearn.metrics import classification_reportfrom sklearn import naive_bayesclf = naive_bayes.GaussianNB()clf.fit(x_train,y_train)y_pred=clf.predict(x_test)print classification_report(y_test, y_pred)from sklearn import treeclf = tree.DecisionTreeClassifier()clf.fit(x_train,y_train)y_pred=clf.predict(x_test)print classification_report(y_test, y_pred)决策树和贝叶斯都有较好的分类效果五、实验结果分析为什么用svm和knn处理digits数据集,用tree和bayes处理iris数据集,这是一个经验问题。我们都知道digits数据集的每一个特征就是像素点的像素值,他们的维度都是在0255以内;像素点之间的维度完全一致,互相没有优先级。这种情况下使用线性分类器如KNN、SVM、Logistic会有更好的效果。而iris数据集虽然长度和宽度维度差不多相同,但是两者之间有优先级的区分,按照人脑分类的思维方式可能是先按照长度判断再按照宽度等思维方式,很接近决策树的算法原理,贝叶斯同样。所以概率性分类器有更好的效果。实际情况也是使用SVM预测iris的结果和Bayes预测digits的结果不甚理想(虽然也有很高的准度了)。当然,通过调整分类器的参数,能使各个分类器的预测结果都达到满意结果,综合表现还是KNN更抢眼,能在各种数据集面前都有出色表现,但KNN在训练样本数量达到一定程度后,有超高的计算复杂度。所以面对实际情况,选用什么分类器,如何调节参数都是值得深思的问题。项目2:基于sklearn的数据聚类挖掘一、实验任务熟悉sklearn数据挖掘平台的基本功能。用K-Means进行数据聚类分析。二、实验环境及条件Ø sklearn-0.18.0Ø python-2.7.13Ø matplotlib-1.5.3-cp27-cp27m-win_amd64Ø numpy-1.11.3+mkl-cp27-cp27m-win_amd64Ø scipy-0.19.0-cp27-cp27m-win_amd64三、实验数据随机产生的100个坐标点,范围为0,100四、实验内容及过程1.随机产生坐标值产生的随机值在0-100,因为sklearn的k-means模块要求输入的坐标形式为x0,y0,x,y,xn,yn,而实际产生的是x0,xn和y0,yn,所以还需要对坐标进行一次转换from sklearn.cluster import KMeansimport numpy as npimport matplotlib.pyplot as pltimport randomdef create_coordinate():x,y=,for i in range(100):x.append(random.randint(0,100)y.append(random.randint(0,100)return x,yx,y=create_coordinate()old_coordinate=xi,yi for i in range(100)coordinate=np.array(old_coordinate)print old_coordinate产生的随机坐标值:2.创建做图函数使用k-means对坐标点分为3类,对0类标为红色,1类标为绿色,2类标为蓝色。并将三类坐标的中心点以*表示在图中def create_chart(x,y,label,center):x_0=xi for i in range(len(x) if labeli=0x_1=xi for i in range(len(x) if labeli=1x_2=xi for i in range(len(x) if labeli=2y_0=yi for i in range(len(y) if labeli=0y_1=yi for i in range(len(y) if labeli=1y_2=yi for i in range(len(y) if labeli=2plt.scatter(x_0,y_0,c='r')plt.scatter(x_1,y_1,c='g')plt.scatter(x_2,y_2,c='b')plt.scatter(i0 for i in center,i1 for i in center,c='m',s=600,marker='*')plt.grid()plt.show()3.使用k-means聚类并预测新增点的类别kmeans = KMeans(n_clusters=3, random_state=0).fit(coordinate)print kmeans.predict(0, 0, 50,50,100, 100)create_chart(x,y,kmeans.labels_,kmeans.cluster_centers_)对新点的预测:2 2 1点的聚类情况:五、实验结果分析这次试验,使用sklearn的k-means对100个坐标点聚类。K-means因为其本身算法的原因,点数越多聚类速度越慢。所以在20个点和100个点的聚类时间上有很大差距。聚类问题不同于分类问题,没有明确的预测和分类结果,聚类时对数据的边界可能会各不相同,聚类问题在用户画像/个性化推荐等应用上有较好地发挥。实验3:在Python程序中引用sklearn一、实验任务用Python开发一个综合部分挖掘算法的演示程序,核心算法来自sklearn类库。演示程序界面友好。二、实验环境及条件Ø sklearn-0.18.0Ø python-2.7.13Ø matplotlib-1.5.3-cp27-cp27m-win_amd64Ø numpy-1.11.3+mkl-cp27-cp27m-win_amd64Ø scipy-0.19.0-cp27-cp27m-win_amd64Ø PyQt4三、实验数据Iris数据集Iris数据集是常用的分类实验数据集,由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集,是一类多重变量分析的数据集。数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性。可通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类。Digits数据集美国著名数据集NIST的子集,模式识别常用实验数据集,图像属于灰度图像。分辨率为8x8四、实验内容及过程使用PyQt4创建windows窗体,并提供可选择的分类方式:Ø SVM支持向量机算法Ø KNNK邻近算法Ø Bayes朴素贝叶斯算法Ø TreeC4.5决策树算法Ø LogisticLogistic回归算法可选择的归一化方式:Ø Standard-标准归一化Ø MaxAndMin-最大最小归一化可选择的验证比例Ø 可选范围(0,1)可调节的分类器参数Ø 根据具体分类器设置参数部分代码Ø 确认按钮响应事件def OKPushButton_OnClick(self):data_name = self.data_comboBox.currentText()classify_name = self.classify_comboBox.currentText()normalization_name = self.normalization_comboBox.currentText()parameter_string = self.parameter_text.toPlainText()validation_string = self.validation_text.text()y_test,y_pred=self.load_datasets_and_classify(data_name,classify_name,normalization_name,parameter_string,validation_string)from sklearn.metrics import classification_reportself.descTextEdit.setText(classification_report(y_test, y_pred)Ø 分类算法执行def load_datasets_and_classify(self,data_name,classify_name,normalization_name,parameter_string,validation_string):from sklearn import datasetsfrom sklearn.model_selection import train_test_splitrate=0.2if validation_string !='':try:rate=float(validation_string)except:self.alert_info(u"输入的数值必须是01的浮点数")returnif data_name = 'iris':origin_data=datasets.load_iris()elif data_name = 'digits':origin_data=datasets.load_digits()else:self.alert_info(u"未知数据集")returndata=origin_data.datatarget=origin_data.targetif normalization_name='standard':from sklearn import preprocessingscaler = preprocessing.StandardScaler().fit(x_train)scaler.transform(x_train)scaler.transform(x_test)elif normalization_name='max_min':from sklearn import preprocessingmin_max_scaler = preprocessing.MinMaxScaler()x_train = min_max_scaler.fit_transform(x_train)x_test = min_max_scaler.fit_transform(x_test)elif normalization_name='none':passelse:self.alert_info(u"未知归一化方式")returnØ 程序演示结果五、实验结果分析使用PyQt4创建windows窗体,然后结合实验1和2的部分代码生成代码演示程序。说句实话,不太清楚这个试验到底要干嘛,为了给演示程序的界面添加控件就花了很多时间,算是学习到如何使用python创建windows应用程序了。THANKS !致力为企业和个人提供合同协议,策划案计划书,学习课件等等打造全网一站式需求欢迎您的下载,资料仅供参考

    注意事项

    本文(数据挖掘实训报告.doc)为本站会员(小飞机)主动上传,三一办公仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三一办公(点击联系客服),我们立即给予删除!

    温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。




    备案号:宁ICP备20000045号-2

    经营许可证:宁B2-20210002

    宁公网安备 64010402000987号

    三一办公
    收起
    展开