工作,生活,休閒,專業,分享,記錄

App Insights JS

Total Pageviews

August 10, 2019

SSIS 認證篇:(Exam 70-767) 資料倉儲 Implementing a Data Warehouse





「資料倉儲」,這是要進入資料分析門檻的第一步。
「資料倉儲」,他並不是一個單一產品,而是指資料處理流程環境的整個 Ecosystem
相信很多人在做資料分析的時候,拿到資料之後,都會直接跳到最後一步,把資料全部倒進分析工具,直接開始做資料分析的的動作,等到遇到困難或是碰到門檻的時候,不是沒有辦法繼續往下做,不然就是困難重重很難繼續,或者是分析工具無法負荷越跑越慢,這些都是因為沒有循序漸進,有系統地搭建資料平台所導致的後果。



其實,在還沒研究 BI 之前,我也是會有這樣的錯覺,慢慢搭建資料平台要等到什麼時候,有資料就直接開使用 BI 工具分析,先讓老闆看到他所需要的報表比較重要,全盤了解資料要等到什麼時候,這些再再都是目前我們所碰到的現況。

所以,就開始投入「資料倉儲」和「資料模型」的研究之路。
「資料倉儲」,是用來解決資料如何處理,資料如何儲存,資料如何讓後續的分析作業流暢,「資料倉儲」同時也是用來解決大數據問題的核心,種種大數據的問題,都可以使用「資料倉儲」的技術解決方案來達成我們想要的目標,提供企業全面整合應用的資料平台。
Ø  資料來源多元,種類繁多
Ø  更新速度非常快
Ø  海量,結構化/非結構化的資料

Microsoft 的資料平台架構:


在資料倉儲的解決方案中,Microsoft 提供 SQL Server Integration Services 服務,讓我們可以在資料匯入、處理、轉換、載入等作業流程(ETL),
能夠很方便,很順利,很快速的建立資料處理流程,通常,我們在建立資料分析平台架構時,大約有 60%~80% 的時間都會花在資料處理作業上,為了減輕這些負荷,我們必須有一個完整好用的解決方案,提供我們良好快速且方便的方法,SQL Server Data Platform 提供一個完整的解決方案,不論是地端或是雲端還是混合式的架構,Microsoft SQL 都提供相對應的解決方案讓我們可以彈性的使用。

前面講了一大堆,都還沒進入主題,今天我們所要介紹的認證考試就是 Exam 70-767 : Implementing a Data Warehouse using SQL,這是針對 Microsoft SQL Server Integration Service SSIS)產品服務的一個考試科目,測試你在資料倉儲的設計、規劃、處理、流程、等專業技術能力上面的技能是否足夠,是否能夠全盤了解 SQL Server 資料倉儲的整體解決方案。


考試介紹:



考試通過之後,你就可以取得一張認證:


考試大約 120 分鐘,考試題目大約 45 題(每次測驗不太相同),測驗的題型大約有選擇,多選,拖拉填空,實作演練的作業選項等。(和 Microsoft 其他的認證考試大同小異,差不多!)


考試內容:

考試重點分配:
1.    Design, implement, and maintain a data warehouse (35–40%)
2.    Extract, transform, and load data (40–45%)
3.    Build data quality solutions (15–20%)

其實,考試內容並不止包含了 SQL Server Integration Service (SSIS),另外還包含了幾大部分:
1.    Relational Data Warehouse 的設計概念與架構
2.    資料倉儲的資料儲存架構
3.    資料庫 Query data (T-SQL) & Stored procedure 的處理作業
4.    使用 SSIS 建構 ETL 資料處理流程
5.    使用 Data Quality Services (DQS) 清洗資料
6.    使用 Master Data Services (MDS) 建構主要資料

所以,這一門考試準備起來很繁瑣,很多,很雜,需要了解的部分很多,最好的方式是要實作,跟著範例實作一次,經驗才會有記憶,網路上目前很多線上課程或參考資料,都可以實際讓我們研讀和操作,以下介紹一些有用實用的參考資料。


參考資源:



# 線上課程:(以下是免費的線上課程,讓你隨時隨地可以學習與練習)
Microsoft: DAT216x   Delivering a Relational Data Warehouse

Microsoft: DAT217x   Implementing ETL with SQL Server Integration Services

Microsoft: DAT218x   Data Cleansing with Data Quality Services (DQS)

Microsoft: DAT226x   Creating a Master Data Solution with SQL Server Master Data Services (MDS)


# 網路連結參考資訊:(直接剪下 Chrome 書籤管理的畫面讓大家參考!)




0 comments: