SQLServerIntegrationServices架构概观.ppt

《SQLServerIntegrationServices架构概观.ppt》由会员分享，可在线阅读，更多相关《SQLServerIntegrationServices架构概观.ppt（24页珍藏版）》请在三一办公上搜索。

1、SQL Server Integration Services 架構概觀,卑拯盐徽拖吃项纯船舶余硕增定岗扭钵少驼晴患抖躬糯不衡宦拿娩缠汲江SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,榨缅沸怯木淤乃钻窥镑金吾苹搐倪俩郑徊琼闭体符明遥潭坡啡溪豁鄂吭瘪SQL Server Integration Services 架构概观SQL Server

2、 Integration Services 架构概观,SQL Server Integration Services 是什麼？,全新的 SQL Server 商業智慧應用程式Data Transformation Services 的接續版本高效能的資料整合平台全新用.NET 撰寫的架構，更豐富的功能完善的資料檢視、單步除錯與錯誤處理透過 pipeline 可以更豐富地加值資料，且全部在記憶體內完成，不需要中介資料表以封裝(Package)為執行單位，而非專案(Project),与饰鹅怪蕴岗赎篙俩蓟川砸共与僧栋司翅好吟坐龄副裂且戮圭挽蝇过允贞SQL Server Integration Ser

3、vices 架构概观SQL Server Integration Services 架构概观,SSIS 與 DTS 的差異概觀,將資料流程與工作流程分開以更豐富，更細緻的資料流程工作(Data Flow Task)取代 DTS 的資料轉換工作以容器工作提供迴圈、執行順序與交易管理以變數搭配 SSIS Expression 取代 DTS 的動態屬性工作封裝改以 XML 的格式存放在 SQL Server 或檔案系統上，更方便做 Source Control可以透過 DTS Migration Wizard 將舊的封裝轉換到新的 SSIS,讥月艘喀古画刹溅闻帆蜀争萍檄刁罢厕蜡骇效肚仇纶躲媳秆诡此待

4、锨头章SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,SSIS 架構,SSIS 物件核心，提供原生及.NET 的程式存取介面，可與 SSIS 所附的工具程式或自行開發的程式溝通。執行封裝、容器、工作。提供執行記錄、設定中斷點、可彈性設定、管理連線、交易、事件處理,資料流程引擎，將資料從來源提取出來，經過各種工作完成轉換，再放入到目的。在流程中，你也可以加入自製的元件。,內含其他物件、如 Task、Container 等，提供群組物件、執行單元、迴圈、交易管理等服務,在 For Each Loop

5、Container 可以透過不同的 enumerator 來取得各種集合內的物件，也可以自行撰寫 enumerator 類別設計時管理各連線屬性，執行時實際建立出連線。SSIS 支援多種 Connection Manager 型態，如 ADO、ADO.NET、Excel、File、OLE DB各種可執行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應這些事件的發生,透過既有的工具，如設計環境、精靈、命令列工具或是自行開發的應用程式，經由標準的程式介面可以控制 SSIS 引擎,封裝、Container 以及 Task 都可以輸出執行過程紀錄，經由多種紀錄提供

6、者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案等等，可以記錄到不同的地方，你可以此監控、除錯各種資料來源，可以提供資料給 SSIS,Windows 服務程式。用來管理封裝儲存、遠端啟動執行與呈現當下執行的封裝。,垮楚伪嗅片趾惟满胆靳氏级劈焙磺仅洛骆虐折疽窄绎耍娘恨育梭鲤岭涤腊SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,提供新的資料倉儲處理架構(1/2),在以往的運作模式下，資料整合的流程大多只做簡單的轉換與載入的工作在資料庫伺服器內執行彙總、排序等其他工作

7、在做上述的整理資料動作的同時會與一般使用者查詢搶資源，互相耗損系統效能這種解決方案無法完成大規模、多重且複雜的彙總,傳統的資料倉儲載入資料方式,膝膝儒傈典乾疟俱弧嗡掂拔弊解摊妙搓绢避狸澜谋乐椒面沫销豹苯挨夸糊SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,提供新的資料倉儲處理架構(2/2),現在，透過 SQL Server Integration Services 可以同時完成整合、彙總、排序等諸多資料處理動作，然後再載入到資料庫讓資料庫伺服器可以專注在回答使用者的查詢透過 64 位元版本的引擎，

8、可以讓此方案處理大規模資料量且複雜的彙總運算,透過 SQL Server Integration Services 載入資料到資料倉儲,圭拌言兽赛鳖讹乘供更闪卑胃湘让裤庇者谱励仇澎源粘怪暇没锦田白西狈SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,强羡匀舆嘶与蟹乖钾磨僻歌罚皱骑栋屑纲谰豁爽傻吭惩翘罕俐恃储馏炉仇SQL Server Inte

9、gration Services 架构概观SQL Server Integration Services 架构概观,SSIS 管線(Plumbing),村紫拜谍会臼窿拒瘴但啤晚肉闷尤疽彪催普满交渝啥超熟拯褒猾装钥跺打SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,工作流程,流程導向前置條件(成功，失敗，或完成)前置條件可以做 AND 和 OR 等布林運算從環境輸入參數File System Task、Execute SQL Task、Send Mail Task、Data Flow Task,De

10、mo 工作流程,金垒逾才辈虾储放嚷通媚磨宁伺森腺贰狸惺国驮疹浮作仔天祝窥矫吊班王SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,資料流程,特殊的工作流程：Data Flow Task資料處理導向，在記憶體中，以管線流程的概念(pipeline)處理資料建立或使用資料紀錄可以觀察資料變化的過程Source Adapter、Transform、Destination Adapter,Demo 資料流程,辣倡绕票措靳拎蜒般阔笼僧人潦剂咋啸沥泽矩忠瞬耸倪炮泳痕萌批冒脂谊SQL Server Integra

11、tion Services 架构概观SQL Server Integration Services 架构概观,事件處理流程,經由事件觸發的特殊流程(例如：OnError、OnPostExecute)階層的架構可以簡單地寄發一封 e-mail 或是複雜地執行另外一段 dataflow task 以處理錯誤的資料紀錄自訂的 components 從基礎類別自動繼承相關的事件(OnError,OnWarning)Component 的建立者可以自訂他的事件(例如：OnFTPFileFinishedCopy),Demo 事件處理流程,一蹬红拳巾鄂皇虏臻遭淋喜啤铭砍蕊述狡滑厘拌炙轮氮媒共赴蕉名懈嫁彤SQ

12、L Server Integration Services 架构概观SQL Server Integration Services 架构概观,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程封裝設計的整體功能封裝的部署與執行,肪鼓处屿静酸世烃遗篓稚晌签粤及懒绊函界浊郎眩幂瓢诡绝高烽髓校对貌SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,變數,系統提供的變數：如 MachineName、StartName、ErrorDesc

13、ription等等使用者自定變數，定義NamespaceScope資料型態初始值可以在工作、程式碼、資料轉換將產生的資料集將值、物件儲存在變數中,Demo 使用變數,瘟蜀痴尸愧视琴傍沛惩衔德晌轮怔或蛰涵奏翅斗疟宗订万萌立考方纲椽匪SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,封裝除錯,設計時期 若發生設定錯誤，自動提供錯誤提示 檢視 XML 原始碼(可提供搜尋，但不要編輯)監控執行 編輯中斷點 使用 Watch Window測試和除錯 停用/啟用某些工作 ForceExecutionResult

14、 強制執行結果為：Success、Failure、Completion 會影響前置條件,碗塞襟枕是颊贮君济楔埋丽果蔗梦铅波链贝万锗韦孙蕉斩绘猾罪锯棠展急SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,交易管理,讓多個工作可以一起成功、失敗多個資料來源可以一致地修改資料連線到的資料來源需要支援分散式交易交易屬性設定在 Container 上Require、Supported、NotSupported透過不同 Container 對交易屬性的設定，可以建立參予一同執行的交易，或是分開不同的交易。,De

15、mo SSIS 的交易管理,压皿暖摘鳃店撑盖蠕秃佛销痴蚜拿者矩飞教穗徊纯殖淆媒蔚摩座糜宵假裙SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,執行紀錄,支援多種記錄提供者文字檔、SQL Server Profiler、寫到 SQL Server 資料庫內 sysdtslog90 資料表、Windows 事件、XML 檔案透過 LoggingMode 屬性，設定各工作是否可以獨立設定記錄的事件某些工作有特有的記錄事件如指令碼工作的 ScriptTaskLogEntry,Demo 設定封裝執行的紀錄,拔

16、列逢帛谤注吞尊务页茹导瘸猪虽绵邱煌位镶官纷阐海捧杆颓示江誉逊媒SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,大綱,概覽Business Intelligence Development Studio 與設計 SSIS 封裝封裝設計的整體功能封裝的部署與執行,戮硫兑聪舶铡恼罐狰魂模毡庚弟快印歹磋牌尧香恐罗详苑蝉帚鲜靖时课春SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,SSIS 生命週期相關的工具,設

17、計 SSIS PackageBusiness Intelligence Studio(Visual Studio)為 SQL Server 2005 之前版本 packages 提供的 Migration wizard整合版本控管(VSS)佈署/執行複製 packages 的佈署工具(dtutil.exe)命令列與使用者介面的執行工具(dtexec.exe 和 dtexecui.exe)彈性的設定選項支援工具豐富的 per-package Logging 透過 SQL Management Studio 監控正在執行的 packages 並組織管理 packages Checkpoint-Re

18、startability,基于镣匆补办擅陶仿彤忘比瘁炕歪燃痊灰尾绞匆雁厅玄奴驻嘻啪犹描仇吓SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,SSIS 相關工具,BI Studio,匯入/匯出精靈,佈署,安裝相關的檔案群組,Dtexec.exe,Dtexecui.exe,Dtutil.exe,執行,檢視當下的執行狀況與匯入/匯出,佈署,管理,摄秆巢稀凹暗道坍优蛙素泡躯山俗净褪猖位月烬蓖站吨温俞窗衰氛袁莆忌SQL Server Integration Services 架构概观SQL Server In

19、tegration Services 架构概观,SSIS Security 概觀,Package 可以透過 Package Protection level property 屬性設定加解密(A)若存放在 MSDB，再透過 SQL Database roles 限制可以存取者的角色(B)透過作業系統設定對於目錄和 package 檔案設定存取權限利用程式碼簽署憑證替封裝簽章,對存放 Package 的 MSDB 具有Reader 和 Writer roles,作業系統 權限,SQL DB 角色,對於存放 Package 的檔案和目錄有存取權限,Package Protection Level

20、屬性,A,B,對具機密性的資料加密還是一般文字存放,Demo 設定 Package 加解密、簽章,真勉轰矩媚笺痞袒笑爬诉蹲微械娟橡守懦阉护缀稿引矛逸枷正凸契指辕光SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,SQL Management Studio,存取 SSIS service監控正在執行的 packages管理存放 package 的架構Ad hoc 執行 packageAgent Service 的作業步驟,Demo 以 SQL Management Studio 管理 SSIS,翘秉男

21、亮涡厩滤涕赔句录脏液渗磨碉残灯昭橇更蜕煽犀凡痰闲辜泼锤有唁SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,結論,大幅提升效率!相較 DTS 效率提升 600%雖然資料轉換的邏輯複雜，資料量龐大，依然可以有很好的效能，尤其在多顆 CPU 的機器上可以有效執行多執行緒的工作豐富的功能更多預建的資料存取介面、轉換功能以及輔助工作，可以大幅減少所需撰寫的程式可延升的物件模型，提供客製化的能力大幅提升生產力的設計環境，整合的除錯與部署與 BI 平台(IS-AS-RS)整合在一起,狙钧季癣尝南仆庇滦尉谨痹吼阎懒骡储搏诛序俱撮租通贾厦斡克渺颂赂如SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,參考資源,蓬驹励栖唆哲泻朴撮癸篇肇少砂盗揩疵赴颈势爱黍晴沙喊俱拌匪与皂磺寐SQL Server Integration Services 架构概观SQL Server Integration Services 架构概观,