资料探勘(DataMining).ppt

《资料探勘(DataMining).ppt》由会员分享，可在线阅读，更多相关《资料探勘(DataMining).ppt（69页珍藏版）》请在三一办公上搜索。

1、1,資料探勘(Data Mining),2,課程特色,理論與實務並重深入淺出，減少繁雜的學理性探討，著重觀念及實際應用以SQL 2005及自行開發之DMAS 2.0作為實務講解工具提供教學資源網站(http:/data-mining),3,內容概要,PART I：基本與進階之資料探勘技術PART II：資料探勘之深入應用PART III：軟體工具和專案實作中英對照表P.S.書中標示*及*的章節表示選擇性授課單元，如授課時數有限時，可略過。,4,授課計畫(1),PART I 基本與進階之資料探勘技術(38hr40hr)第一章 簡介(4hr)第二章資料倉儲(6hr)第三章 資料前置處理(3hr)第

2、四章 資料精簡(3hr)第五章 資料分類法(6hr)第六章 資料群集分析(6hr)第七章 關連法則探勘(6hr)第八章 時間序列分析(4hr6hr),5,授課計畫(2),PART II 資料探勘之深入應用(3hr11hr)第九章 網頁資料探勘(3hr)第十章 網路入侵偵測系統(0hr4hr)第十一章 數位學習(0hr4hr)PART III軟體工具和專案實作(4hr7hr)第十二章 工具介紹(3hr6hr)第十三章 案例探討-圖書借閱(1hr),6,第一章簡 介,7,為什麼？,8,運用探勘技術從大量資料中挖掘出資料之間的關連性以及隱藏的知識，要實現神機妙算客服系統所提供的個人化服務，並非遙不可

3、及!企業現階段急需運用資料探勘技術，輔助決策者在對的時刻做對的決策！學術界積極培養資料探勘技術應用人才為當務之急！,9,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,10,資料探勘的目的,從大量資料中挖掘有價值的資訊，供管 理人員做為決策參考，開創新商業契機 成功經驗美國超級市場(Wal-Mart)銷售資料分析發現，尿布和啤酒常會一起購買，於是將商品放在一起促銷，得到意想不到的業績成長美國銀行(Bank of America)從客戶資料中，找出既有客戶申請貸款的時機

4、，規劃全新行銷方案；該方案推出後，接受率立即 成長兩倍以上,11,資料探勘的應用,以類似PC-Home之線上購物商店為例可獲取之資料顧客居住地區、年齡、性別、個人資料、交易紀錄可進行之資料探勘應用：建立個人化行銷模式找出潛在的客戶名單了解顧客族群的屬性 預測目前哪些顧客可能流失,12,資料探勘的興起,歸功三項技術的成熟大量資料的收集技術：網路發達、關聯式資料庫(relational database)應用廣泛、整合技術成熟高效能的多處理器電腦架構平行處理架構，使大量資料處理能在可容忍的時間內完成資料探勘演算法的成熟包括統計學(statistics)、人工智慧(artificial intell

5、igence)、機器學習(machine learning)、基因演算法(genetic algorithms)等等,13,資料探勘的功能,預測未來的趨勢股市行情預測天氣預測地震預測消費行為預測商品出貨量預測等等找出未知的樣式找出會購買筆記型電腦的顧客特徵依消費習性相近的顧客進行群組推薦鑑別消費者可能會同時購買的商品組合等等,14,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,15,何謂資料探勘(1),學者曾對資料探勘做過的定義Frawley資料庫中挖掘潛在、明確、

6、而且非常有用資訊的過程Grupe&Owrang從已存在的資料庫當中挖掘出專家仍未知的新事實Fayyad定義知識發掘(Knowledge Discovery)為從大量資料中選取合適的資料，進行資料處理、轉換等工作，再進行資料探勘與結果評估的一系列過程Berry&Linoff使用自動或半自動的方法，對大量資料分析，找出有意義的關係或法則。,16,何謂資料探勘(2),資料探勘=資料庫之知識發掘（Knowledge Discovery in Databases，簡稱KDD）從大型資料庫裡頭所儲存的資料當中去萃取出一些有趣的知識知識指的就是一些規則大型資料庫包括線上作業的資料庫(On-line Data

7、base)及資料倉儲(Data Warehouse)等等 知識範例如果顧客的年齡是在三十歲到四十歲之間，而且年收入是在四十萬到六十萬之間，那麼此顧客很有可能會購買筆記型電腦。,17,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,18,資料探勘歷史,19,資料探勘的演進,20,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,21,與決策支援系

8、統的不同點,決策支援系統(Decision Support System，DSS）依決策模型或推論規則、提供建議可以來自於領域專家(Domain Expert)的經驗法則可運用知識工程(Knowledge Engineering)的技術自專家腦中擷取可以用資料探勘技術所分析歸納出來的隱藏規則資料探勘系統自動化的資料分析與預測,22,與線上分析的不同點,線上分析(On-Line Analytical Processing，簡稱OLAP)對制式化、關連性低的資料分析，統計數據供決策人員參考讓零售業瞭解不同產品、銷售區域對於成本及營業毛利之影響，但無法了解顧客的購買行為模式,23,與統計分析的不同點

9、(1),統計分析(Statistical Analysis)以假設(Hypothesis)及驗證(Verification)為基礎對較少資料，資料間的關連性或統計學上不同標的分析由具專業專家對統計結果加以檢測資料探勘以發現(Discovery)為基礎，著重樣式辨認供不具專業背景的使用者（高層決策人員）使用,24,與統計分析的不同點(2),範例統計分析女性和男性消費者個別在本月的消費總額不同網域的消費者在本月的消費總額不同年齡層的消費者在本月的消費總額等資料探勘找出如下的規則：IF 住在台北 AND 性別是男性 AND 年齡介於 37到42歲之間 THEN 購買筆記型電腦的可能性是 85%,25

10、,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,26,知識發現的過程,27,資料收集,知識發現的第一個步驟原始資料來源資料庫系統Excel表格文字檔網際網路問卷調查等等,28,資料前置處理,原因真實的資料非常雜亂，且收集資料的工具並沒有做精確的檢查，導致收集到的資料，並不見得全都可用資料探勘有80%時間花費在前置作業包含資料的淨化、格式轉換、表格的連結等前置作業,29,資料倉儲的建立,決策支援系統的基礎含整合資料、詳細資料、總合性(summarized)資料、歷史性

11、資料、描述資料、綱要資料線上分析處理（On-Line Analytical Processing，OLAP）統計、分析功能可由關聯式資料庫建構Sybase、Oracle、Redbrick等OLAP 提供多維度結構(multidimensional structures)使用者依據不同維度，例如產品、地區、其它更透徹的觀察角度做統計,30,資料探勘,用統計與模型化的方法資料倉儲所提供的資訊，供資料探勘做進步挖掘，而萃取隱藏知識後，再轉到知識庫資料探勘是知識發現的一部分知識發現的過程會影響資料探勘的成功,31,樣式評估,樣式評估(pattern evaluation)評估所挖掘的知識是不是真的有用

12、?過濾沒用的資訊，最後剩下有價值的知識供給使用者範例天氣好，旅遊人數就多；天氣差，旅遊人數就少，這樣的探勘結果我們可能認為它“有趣”的程度並不高，因為它是屬於一般常識,32,結果展示,複雜的探勘結果要讓使用者看懂並不容易需要圖形化介面，把有趣的知識做好的呈現例如：Microsoft SQL Server 2005的圖形化介面非常豐富用類似油表的燈號，讓使用者看到現在的預算消耗量是加滿油的狀態、還是沒有油的狀態,33,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,34

13、,資料探勘常用的技術,傳統技術以統計分析為代表包括敘述統計、機率論、迴歸分析、類別資料分析用高等統計學含括的變因分析(factor analysis)精簡變數用區隔分析(discriminated analysis)來做分類用群集分析(cluster analysis)對象大多是變數繁多且筆數龐大的資料,35,資料探勘常用的技術(續),改良技術類神經網路(artificial neural network)決策樹(decision tree)基因演算法(genetic algorithms)規則推論法(rules induction)模糊理論(fuzzy logic),36,類神經網路,何謂類

14、神經網路模仿生物神經網路，用大量人工神經元(neuron)模擬高速的運算功能，有記憶、學習、容錯能力運算方法用許多參數建立一個模式，過程中需要提供資料給網路，能夠產生一組最佳結果的加權值(weights)訓練方法回溯(back-propagation)特性預測根據不明確對於測試資料可以做相當正確的預測，但對於真實資料的預測，準確性差,37,類神經網路運算範例,n維的輸入向量x，透過矩陣相乘(scalar product)和非線性函數映射的方法，對應到變數y,mk,-,f,權重加總,輸入向量x,輸出 y,活化函數(ActivationFunction),權重向量w,w0,w1,wn,x0,x1,

15、xn,38,決策樹,何謂決策樹用樹狀結構產生規則內部節點(internal node)某項屬性的測試分支(brache)被測試屬性當中一個可能的值葉節點(leaf node)布林函數運算方法樹的每個節點都是判斷式，判斷所輸入資料是否等於某個屬性值，構成樹狀結構特性適用於所有的分類問題不一定較準確，但容易了解,39,決策樹範例-購買筆記型電腦,40,基因演算法,1960 年代John Von Neumann 提出一個自我複製(self-reproducing)的理論，奠定了基因演算法的基礎美國密西根大學教授John Holland 延續此觀念，於1970 年發展出簡單基因演算法（Simple G

16、enetic Algorithms 簡稱SGA），使 基因演算法的架構有了初步的雛型,41,基因演算法(續),基因演算法(最佳化空間搜尋法)適合解決最佳化問題物競天擇、適者生存，不適者淘汰 運算方法選擇(selection)、複製(reproduction)、交配(crossover)、突變(mutation)進行演化，求最佳解特性高度的問題獨立性不容易陷入局部最佳化(local optimum)，而向整體最佳解收斂(global optimum),42,基因演算法範例,43,規則推論法,規則推論法最直接也最為一般使用者所瞭解方法瞭解資料庫中資料之特性規律，稱之為規則(Rule)運算方法一連串

17、如果./則.(If/Then)之邏輯規則對資料進行細分的技術特性實際運用時，如何界定規則為有效是最大的問題通常需先將資料中發生數太少的項目先剔除，以避免產生無意義的邏輯規則,44,規則推論法範例-購買筆記型電腦,以購買筆記型電腦為例：IF 婚姻狀態=單身 AND 年齡=30歲THEN 購買筆記型電腦=是IF 婚姻狀態=已婚 AND 收入=低THEN 購買筆記型電腦=否IF 婚姻狀態=已婚 AND 收入=中THEN 購買筆記型電腦=否IF 婚姻狀態=已婚 AND 收入=高THEN購買筆記型電腦=是,45,模糊理論,模糊理論嘗試用人類思維去簡化問題複雜度美國加州大學L.A.Zadeh（扎德）教授提

18、出模糊集合(Fuzzy Sets)運算方法人類主觀表現的概念作大略的定量化處理傳統必須依靠數學模型來達成控制特性和人類主觀感覺有關係，人們無法清楚了解他人的感受，只能從語意做大概判斷，達到彼此溝通目的,46,模糊理論運算範例,傳統電腦決策不是對(1)就是錯(0)例如 168公分以下算矮，那168公分以上就算高何謂模糊在對(1)與錯(0)之間，再多加幾各等級幾乎對(0.8)可能對(0.6)可能錯(0.4)幾乎錯(0.2)168公分算不算高?,47,迴歸分析,迴歸分析分析多個獨立變數(independent variable)對於某個依變數(dependent variable)的影響，主要功能如

19、下利用獨立變數解釋依變數利用獨立變數預測依變數利用依變數控制獨立變數分析必須做下列假設各母體(population)之間必須要是獨立的每個母體必須要符合常態分配 樣本是從母體當中隨機的被抽取出來,48,迴歸分析範例,原始迴歸係數：適於預測之用。當資料為原始分數時，則預測方程式為：Y=ab1X1b2X2biXi（a：截矩 b：斜率）,範例設客戶年齡為獨立變數X1，客戶年收入為獨立變數X2，筆記型電腦售價為依變數Y，分析客戶年齡、客戶年收入與客戶所購買的筆記型電腦售價三者之歷史數據，建立出一個迴歸分析模型Y=542 X1+0.026 X2,49,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進

20、資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,50,資料探勘的模型,主要有以下四種資料分類(data classification)資料關連(data association)資料分群(data clustering)循序樣式探勘(sequential pattern mining),51,資料分類,何謂分類(classification)監督式學習(supervised learning)分析資料的屬性，分門別類加以定義，以建立類組(class)適用領域顧客分類、疾病因素分析等範例將信用卡申請者的風險屬性，區分為高

21、度風險、中度風險、低度風險申請者,52,資料關連,資料關連探討資料項目間的關係，找出某一事件或資料中會同時出現的項目也叫做關連法則探勘適用領域購物籃分析(market basket analyses)幫助零售業者瞭解客戶的消費行為範例如果顧客買NB，同時購買隨身碟的機率是80%如果買全麥麵包及低脂優酪乳，那麼顧客同時也買低脂牛奶的機率是85%,53,資料分群,資料分群(Clustering)非監督式學習(unsupervised learning)從大量資料中找出案例間相似性，案例中每個屬性都可視為一個維度，如果案例有n個屬性，就可將每個案例都各投射到n維空間上的一點適用領域顧客分群、群組推薦

22、等等 範例一群住在附近的人，駕駛相同的汽車，使用相同家電，並且食用相同的食物。而另一群從事相同行業的人，家庭成員人數接近，年收入接近，出國次數也很接近。透過觀察資料為何被群集在一起的，可以更了解資料間的關係，以及這些關係將會如何影響預言的結果,54,循序樣式探勘,循序樣式探勘分析序列狀態轉變，從相關的序列當中預測未來的狀態與關連法則所不同的是循序樣式探勘中相關的項目(item)是以時間區分適用領域股市行情預測、行為預測等等舉例在通訊品質不佳的無線網路環境中，此舉尚可提供客戶在離開無線網路涵蓋區時，仍能離線瀏覽網頁的功能,55,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系

23、統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,56,資料探勘的應用實例(1),成功案例LTV鋼鐵公司(全美第三大)偵測品質問題，使不良品減少99%美國匯豐銀行(HSBC-Bank-USA)在顧客資料中進行探勘，用生活方式區隔進行行銷，對行銷資源做最佳化規劃，銷售量提高了50%Jubii（丹麥最受歡迎的入口網站）運用資料探勘探索哪一種瀏覽路徑最有可能促成交易?，改善網站設計，使得瀏覽率提升30%50%，媒體銷售業績成長10%15%,57,資料探勘的應用實例(2),金融保險業信用評等、客製化金融服務、客戶資產管理、呆帳分析、保險潛在客戶

24、名單分析、直效行銷、分析購買行為、偵測信用卡詐騙行為、股匯市行情預測零售製造業分店設點區位分析、銷售產品組合、庫存管理、即時輔助購買決策、連續銷售、促銷商品組合、DM名單、庫存分析醫療生技業預防醫學分析、院內感染分析、臨床病徵分析、基因圖譜比對、基因定序、演化分析教育業學生來源分析、課程規劃、學習評量、適性化教學,58,資料探勘在顧客關係管理之應用,零售業者而言瞭解顧客消費特性，發掘顧客採購模式，強化客戶關係，達到留住顧客目的銀行業者而言瞭解信用卡發放可能產生之弊端，找出最有利潤、忠誠度佳的顧客保險業者而言分析保戶要求理賠之模式，並可加強稽核，以防止詐財之發生優點有效地在不同層面增加公司收益，

25、達成營運目標,59,資料探勘在網路行銷之應用,分析顧客於網站上之行為模式當顧客拜訪網站時，往往提供許多寶貴的資料，如個人資料、點選的網頁內容、在網頁所停留的時間、利用搜尋引擎時所使用的關鍵字、以及顧客到訪網站的時間點等，企業可藉由分析這些資訊來瞭解顧客的行為模式，藉以提高顧客對公司所提供之產品與服務的滿意度。應用範例可用以下特性區分訪客的特質地理區隔包括訪客地址、收入、購買能力人格特質訪客之購買特性，是否為衝動性或精打細算型訪客使用之資訊設備網路頻寬、操作系統、瀏覽器或伺服器,60,資料探勘在網路入侵行為分析之應用,發掘異常網路行為傳統分析突發網路狀況，需很長時間利用高速運算，分析異常網路行為

26、、動態調整與更新防禦機制應用範例協助網管執行進階的網路控管，並動態調整與更新防禦機制，進而遏阻網路入侵攻擊的潛在威脅協助網管建立正常網路行為模型、異常的行為模型,61,資料探勘在網路學習之應用,適性化網路學習(Adaptive E-learning)提供適合學習路徑給不同背景學習者建構學習概念圖(concept map)規劃學生學習路徑分析成績了解試題關連性，推導對應之概念應用範例利用關連法則探勘技術分析學習者的學習成績並了解試題間的關連性推導出相對應於試題之概念間的關連找出可以幫助領域專家建構學習概念圖的法則構建適切的課程概念圖。,62,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資

27、料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,63,資料探勘的工具,整合型系統將資料倉儲、資料探勘、及專家系統/決策支援系統整合Cognos出品的SCENARIO()Business Objects出品的BusinessMiner()一般性套裝軟體單純只做資料探勘工作IBM的Intelligent MinerSPSS的Clementine客製化軟體依照某企業體或是某行業的需要所量身訂做的軟體針對零售業開發的KD1針對信用卡詐欺或呆帳偵測所開發的HNC,64,Microsoft SQL Server,SQL 7.0微軟率

28、先推出綜合兩種特色的HOLAP（混雜式OLAP）將資料存放在關聯式資料表處理效率大幅增進同時在最少的額外儲存空間下，能夠有不錯的查詢速度 SQL Server 2000 只有決策樹和群集分析兩種演算法僅能進行部分的分類、分群和預測的功能SQL Server 2005（代號Yukon）包含了七種演算法包括決策樹、類神經網路、貝氏演算法、序列群集分析、關連法則分析、迴歸樹(regression trees)、以及時間序列分析，增加許多大廠嚴重的競爭壓力,65,(Data Mining Assistant System),交大曾憲雄教授主持的知識工程實驗室所開發的資料探勘輔助系統以JAVA開發包含以

29、下幾個模組資料描述模組：負責連結各種不同的資料來源資料前置處理模組：提供資料前置處理應用程式介面 資料集模組：負責擷取訓練資料集關連法則探勘模組：提供關連法則探勘分類模型探勘模組：提供分類模型探勘群集分析模組：提供群集分析樣式集模組：存放探勘出的樣式或模型展示模組：提供瀏覽樣式集,66,運作方式,運作方式利用簡單的視窗操作介面呼叫資料探勘引擎直接撰寫JAVA 程式呼叫相關的應用程式介面來完成探勘的工作,67,第一章 資料探勘簡介,緣起何謂資料探勘資料探勘的演進資料探勘與其他系統的比較知識發現的過程資料探勘常用的技術資料探勘的模型資料探勘的應用資料探勘的工具資料探勘未來的發展與挑戰,68,未來的發展與挑戰,不同型態的資料處理資料探勘演算法的效能資料探勘結果的可用性及正確性資料探勘結果的呈現方式多重抽象層次中的互動式知識發掘不同來源資料的整合隱私保護與資料安全議題更具預測能力的模型更具延展性的模型更具成本效益的模型不斷進化成長的資料探勘標準與關聯式資料庫的整合,69,總結,資料探勘憑著可預測未來的趨勢，創造新的 商業契機 沒有高品質的資料，就沒有高品質的探勘結 果！前置處理是資料探勘最重要第一步 資料探勘是知識發現(knowledge discovery)過程的一部分資料探勘技術應用人才培訓上，尚待加強,