[認證介紹] Microsoft BI 相關的認證 (Data Warehouse & Data Model & PowerBI)

[認證介紹] Microsoft BI 相關的認證 (Data Warehouse & Data Model & PowerBI)

  April 09, 2019    Blake W.

---

最近正在研究 Microsoft BI 方面的解決方案，研讀了很多 BI, Data Warehouse, 視覺化, Data Analysis 等方面相關的資料，上網查詢了一下 Microsoft 在 BI 方面相關的 Certification 有哪些，我大致整理了一些資料記錄下來，同時提供讓大家參考！

Microsoft BI 開發相關的認證主要有兩個：
1. MCSA: SQL 2016 BI Development (包含兩個測驗)
* Exam 70-767 Implementing a Data Warehouse using SQL
* Exam 70-768 Developing SQL Data Models

2. MCSA: BI Reporting (包含兩個測驗)
* Exam 70-778 Analyzing and Visualizing Data with Power BI
* Exam 70-779 Analyzing and Visualizing Data with Microsoft Excel

Microsoft BI 相關的認證，主要都包含在 SQL Server 相關的產品服務之中，最基本的當然是 SQL Server 本身，SQL Data Warehouse 就是架構在 SQL Server 主體之上，另外加上 SQL Server Enterprise Information Management (EIM) Suite 的成員，三個成員包括有：SQL Server Integration Service (SSIS), Master Data Service (MDS), Data Quality Service(DQS)，然後 Data Model (Cube) 的分析與建立就需要透過 SQL Server Analysis Service (SSAS) 加上 MDX 和 DAX 兩大工具，整個搭配架構合成，用來規劃、架構、分析與建構 BI Data Warehouse & Data Model solution，最後透過 Microsoft 的資料視覺化工具：Power BI or EXCEL 來做呈現，良好的資料權限分割，視覺化的圖示工具，不論是報表、儀表板、即時監控、警告通知等，都有很好的功能來實踐，以上的架構可以參考下圖的說明就會更清楚整個 Microsoft BI 的解決方案。

功能架構如下圖：

系統架構如下圖：

有關 Data Warehouse 的部分，是進入 BI 的第一步關鍵，如何建立 Data Warehouse 更是規劃 BI 最重要的第一步，有了這個 Data Warehouse 之後，我們才能夠往後來建立 Data Model (Cube)，然後才能做資料的視覺化分析與呈現。

以下主要針對 Exam 70-767 這個認證來介紹，這是 Microsoft 在 Data Warehouse 方面主要解決方案的一張認證，如何使用 SQL Server 相關的服務來規劃、設計、建置 BI 資料倉儲的解決方案。
對於認證相關的測驗，我的考試準備內容如下，當然，網路上還有很多線上的資訊需要研讀，但是資料項目太多，無法一一列舉。

# 測驗內容說明：

Exam 70-767 Implementing a Data Warehouse using SQL
https://www.microsoft.com/en-us/learning/exam-70-767.aspx

Skills measured: (考試內容範圍及佔分比例)
* Design, implement, and maintain a data warehouse (35–40%)
* Extract, transform, and load data (40–45%)
* Build data quality solutions (15–20%)

# 閱讀書籍：（這是 Microsoft 出版的認證考試相關課程，最好買一本來慢慢研讀，裡面的內容都要了解清楚，書本裡面的介紹只是部分，自己需要再找相關的資訊來補齊。）

Exam Ref 70-767 Implementing a SQL Data Warehouse
by Raj Uchhana, Jose Chinchilla
Publisher: Microsoft Press
Release Date: November 2017
ISBN: 9781509304486
https://www.oreilly.com/library/view/exam-ref-70-767/9781509304486/

# 線上課程：（線上免費課程，共有三大科目，每一個科目都有很多不同的服務功能介紹，非常適合漸進式的課程學習，Microsoft 安排的課程，不管是分章節、服務功能說明、實作訓練，涵蓋內容深入淺出，非常適合慢慢的課程學習內容，只是需要花很多時間在這些線上課程之上。）

1. DAT216x | edX : Delivering a Relational Data Warehouse
https://courses.edx.org/courses/course-v1:Microsoft+DAT216x+3T2016/course/

2. DAT217x | edX : Implementing ETL with SQL Server Integration Services
https://courses.edx.org/courses/course-v1:Microsoft+DAT217x+2T2016/course/

3. DAT218x | edX : Data Cleansing with Data Quality Services (DQS)
https://www.edx.org/course/data-cleansing-data-quality-services-dqs-microsoft-dat218x-2

# 各項 Topic 的線上參考資訊：（參考的資料非常多，但是每一個 Topic 都需要了解清楚，否則考試會 GG .....）

* SQL Data Warehouse 相關：
什麼是 Azure SQL 資料倉儲？
https://docs.microsoft.com/zh-tw/azure/sql-data-warehouse/sql-data-warehouse-overview-what-is

REST APIs for Azure SQL Data Warehouse
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-manage-compute-rest-api

Partitioning tables in SQL Data Warehouse
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-partition

* SSIS 相關：
Control Flow
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/control-flow?view=sql-server-2017

Integration Services Transformations
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/integration-services-transformations?view=sql-server-2017

Transform Data with Transformations
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/transform-data-with-transformations?view=sql-server-2017

Data Flow
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/data-flow?view=sql-server-2017

Data in Data Flows
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/data-in-data-flows?view=sql-server-2017

Integration Services (SSIS) Logging
https://docs.microsoft.com/en-us/sql/integration-services/performance/integration-services-ssis-logging?view=sql-server-2017

Execute SQL Task
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/execute-sql-task?view=sql-server-2017

Precedence Constraints
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/precedence-constraints?view=sql-server-2017

Lookup Transformation
https://docs.microsoft.com/en-sg/sql/integration-services/data-flow/transformations/lookup-transformation?view=sql-server-2017

Set Package Properties
https://docs.microsoft.com/en-us/sql/integration-services/set-package-properties?view=sql-server-2017

Deploy Integration Services (SSIS) Projects and Packages
https://docs.microsoft.com/en-sg/sql/integration-services/packages/deploy-integration-services-ssis-projects-and-packages?view=sql-server-2017

Debugging Data Flow
https://docs.microsoft.com/en-sg/sql/integration-services/troubleshooting/debugging-data-flow?view=sql-server-2017

Parallel Loop Task
http://www.cozyroc.com/ssis/parallel-loop-task

Union All Transformation
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/union-all-transformation?view=sql-server-2017

MERGE in Integration Services Packages
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/merge-in-integration-services-packages?view=sql-server-2017

Foreach 迴圈容器
https://docs.microsoft.com/zh-tw/sql/integration-services/control-flow/foreach-loop-container?view=sql-server-2017

Debugging Control Flow
https://docs.microsoft.com/en-us/sql/integration-services/troubleshooting/debugging-control-flow?view=sql-server-2017

MERGE (Transact-SQL)
https://docs.microsoft.com/en-us/sql/t-sql/statements/merge-transact-sql?view=sql-server-2017

Columnstore indexes: Overview
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-2017

Change Data Capture Stored Procedures (Transact-SQL)
https://docs.microsoft.com/en-us/sql/relational-databases/system-stored-procedures/change-data-capture-stored-procedures-transact-sql?view=sql-server-2017

Enabling AlwaysOn for SSISDB
https://chrislumnah.com/2017/05/09/enabling-alwayson-for-ssisdb/

Track Data Changes (SQL Server)
https://docs.microsoft.com/en-us/sql/relational-databases/track-changes/track-data-changes-sql-server?view=sql-server-2017

SQL Server Temporal Tables vs Change Data Capture vs Change Tracking - part 2
https://www.mssqltips.com/sqlservertip/5212/sql-server-temporal-tables-vs-change-data-capture-vs-change-tracking--part-2/

Temporal Table Usage Scenarios
https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-table-usage-scenarios?view=sql-server-2017

* DQS 相關：

Install Data Quality Services
https://docs.microsoft.com/en-us/sql/data-quality-services/install-windows/install-data-quality-services?view=sql-server-2017

Data Quality Services (DQS) Cleansing Transformation - SSIS
https://mindmajix.com/ssis/data-quality-services-dqs-cleansing-transformation

Task 7: Adding DQS Cleansing Transform to the Data Flow
https://docs.microsoft.com/en-us/sql/tutorials/task-7-adding-dqs-cleansing-transform-to-the-data-flow?view=sql-server-2014

SSIS: Using the DQS Cleansing component
https://intelligentsql.wordpress.com/2013/07/30/ssis-using-the-dqs-cleansing-component/

Perform Knowledge Discovery
https://docs.microsoft.com/en-us/sql/data-quality-services/perform-knowledge-discovery?view=sql-server-2017

Create a Matching Policy
https://docs.microsoft.com/en-us/sql/data-quality-services/create-a-matching-policy?view=sql-server-2017&viewFallbackFrom=sqlserver-

Data Quality Projects (DQS)
https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-projects-dqs?view=sql-server-2017

DQS Security
https://docs.microsoft.com/en-us/sql/data-quality-services/dqs-security?view=sql-server-2017

* MDS 相關：

Master Data Services
https://docs.microsoft.com/en-us/sql/master-data-services/master-data-services?view=sql-server-2014

SQL Server Master Data Services Tips
https://www.mssqltips.com/sql-server-tip-category/97/master-data-services/

How to version a SQL Server Master Data Services model
https://www.mssqltips.com/sqlservertip/4292/how-to-version-a-sql-server-master-data-services-model/

MDS Versioning, Permission and Security — DatabaseJournal.com
https://www.databasejournal.com/features/mssql/article.php/3908611/MDS-Versioning-Permission-and-Security.htm

Domain-Based Attributes (Master Data Services)
https://docs.microsoft.com/en-us/sql/master-data-services/domain-based-attributes-master-data-services?view=sql-server-2017

Change Tracking (Master Data Services)
https://docs.microsoft.com/en-us/sql/master-data-services/change-tracking-master-data-services?view=sql-server-2017

Read More

MPP 微軟的主題認證學習網站介紹

MPP 微軟的主題認證學習網站介紹

  March 01, 2019    Blake W.

---

這是我的個人儀表板 on MPP 網站，目前取得了三個認證，MPP 網站是一個很好的學習管道，從開始接觸 AI 之後，上過了台灣人工智慧學校的第一屆經理人班，經過密集的課程以及各個老師疲勞式的資訊轟炸，深深了解自己的不足，知道自已必須要好好的進階學習才能夠好好的來了解「人工智慧」這個大主題，所以我選擇了 MPP 線上學習網站來學習各種 AI 所需要的相關細部課程內容，讓自己能夠更加了解 AI 所涵蓋的各項基礎與資訊。

Microsoft Professional Program (MPP) 主題認證網站：
https://academy.microsoft.com/

不要再遲疑了，想要更進階的學習相關的主題內容嗎？就從登入註冊開始吧！
但是，請不要抱持著打混摸魚的心態想要拿到這些認證，每一個認證課程提供相關主題的各項課程，每一門課程都需要上 on-line 課程，除了學習影片，線上內容資訊，每一門課程都有各模組的小考 Quiz，Hand-on LAB 需要實作，以及最後的測驗題目，必須要通過 70% 以上的成績才能夠拿到課程的認證；在取得了主題認證所需要的各門課程的認證之後，最後你才能拿到這個主題的認證。

MPP 認證網站提供了很多相關的主題可以線上學習：（目前持續增加中，這裡列出目前網站上有的主題認證課程）

• Data Science
• Big Data
• Artificial Intelligence (AI)
• Internet of Things (IoT)
• Cybersecurity
• Data Analysis
• Entry Level Software
• IT Support
• DevOps

這是微軟的主題認證網站，所以課程裡面介紹的內容和說明都是以 Microsoft 的相關技術和工具來做說明，但是，因為很多理論基礎是不變的，所以在資料科學、大數據、和人工智慧的主題上還是很有幫助，所以，我首先選了最基礎的主題：「資料科學」，這裡面介紹了資料分析和機器學習所需要的各種基礎理論和課程說明內容，課程整理的非常完整，可以讓你一站式的得到所需要的各種知識內容。

一開始非常的辛苦，因為學校之前教的數學、微積分、線性代數、機率、統計等，全部忘光了，還必須要自己尋找很多相關的資訊來輔助學習，可以說學習進度非常地緩慢。

接下來選擇了「大數據」主題課程來學習，這一門課程介紹了目前有關大數據所需要的各項內容，主要使用微軟 Azure 提供的雲端服務來介紹大數據這個架構，雖然都是微軟的工具，但是基礎的大數據理論和架構都是目前普遍使用的 Hadoop 為基礎，也是非常有用的一門課程，讓你能夠完整的了解大數據架構，以及大數據處理所需要的各種邏輯和流程。

最後，終於進入「人工智慧」這個課程，還好之前選擇先研讀了資料科學和大數據這兩個主題，讓我在 AI 這一門課可以不用再煩惱基礎的數理邏輯、理論、和演算法，可以在 AI 的應用與框架上更為深入的了解，但是，必須要說的是，這課程並不是 AI 的全部，人工智慧還有很多新的技術與應用，而且還有很多未開發的技術領域，需要我們持續的研究和精進。

這三個課程花了很多很多的時間上課，做習題，實作演練，考試，以及最後專題的製作等，學習的內容涵蓋很廣，讓我學習到很多很多，雖然已經拿到了這些認證，但是這些課程還是會在日後有需要時再重新研讀。

以上，是我的讀書學習心得分享，提供給大家參考，希望對有興趣的人能夠有所幫助。
謝謝！

#MPP
#DataScience
#BigData
#AI

Read More

[讀書心得] AI 醫療大未來（智慧醫療關鍵報告）

[讀書心得] AI 醫療大未來（智慧醫療關鍵報告）

  November 10, 2018    Blake W.

---

ＡＩ醫療大未來 -- 台灣第一本智慧醫療關鍵報告  (李友專 著)

路過重慶南路又來逛書店，隨手看到一本還不錯的書「AI 醫療大未來」，手癢忍不住還是買了，雖然 Queue 裡面已經排了很多書還沒看完，但最後還是無法戰勝手癢。

星期六一早馬上翻起這本書，內容非常強而有力的吸引人，翻著翻著，一個早上就馬上看完，一整個覺得好像聽了一場非常棒的演講，針對目前 AI 醫療的深入淺出介紹，雖然我並非醫療科系的人，但是仍然看的如癡如醉，非常的吸引人。

作者提到，ＡＩ智慧醫療是跨領域的結合，除了需要醫療專業知識領域的專家投入，還需要資訊科技的專業技術，配合醫務管理，健康領域的參與，才能達成ＡＩ智慧醫療的大未來。未來最後的贏家，將會是最懂得善用 AI 的人才及組織，無論是精準醫療，預防醫療，大健康產業需要的人工智慧應用不再是想一想而已，而是不能再等，非做不可的。

以下整理了個人看完這本書之後，整理的精華摘要，提供參考！
＊ AI 已成為醫療必要的基礎建設，提供偵測、預測、預防等應用。
＊ 與其不切實際的使用 AI，不如掌握確切的目標，設定特定的應用領域。
＊ 能夠運用人工智慧發揮最高效益的產業，通常具有兩項要件：1. 產品需客製化、多樣且少量；2. 擁有大數據 (Big Data)。
＊ 智慧輔助醫療遇到的難題：1. 心態問題；2. 責任問題。
＊ 「大數據」：針對同一主體，進行多維度、多次、長期的觀察與分析。
＊ 很多數據都早已存在，只是缺乏整合和利用。
＊ 精準醫療：個人化的疾病風險評估預測（基因、生理、環境、行為），將風險量化、時序化，持續監測
＊ AI 輔助醫療，降低醫療錯誤風險的四個面向：預防、診斷、治療、追蹤
＊ 跨領域合作，產生新的合作模式或商業模式。（永遠沒有最好的做法，總是會有更好的做法）

＊ 創新智慧健康產業，學習型健康照護的主要概念：
    1. 從健康資料擷取健康知識（Data to Knowledge）D2K
    2. 由知識發現到實務運用（Knowledge to Practice）K2P
    3. 醫療實務落實於病人的策略（Practice to Consumer）P2C
    4. 持續搜集病人健康數據（Consumer to Data）C2D

最後跟各位分享一個不錯的觀念，上週到醫院去跟 User 做簡報時，一位資訊室的主任跟我分享一個智慧醫療的概念：

『不管人工智慧多厲害，智慧醫療多麽聰明，你必須先清楚知道客戶是誰，你的系統，你的解決方案服務的是誰，然後找出客戶關心的核心需求，才會是有用的解決方案。』

主任還分享了一個健康管理的觀念，我覺得非常好，也在這分享給大家：

「健康管理的觀念不應該是長壽，而是應該以樂活的概念為主。」

本書目錄參考：

Read More

[認證心得] MPP Certification for Big Data

[認證心得] MPP Certification for Big Data

  November 10, 2018    Blake W.

---

MPP for Big Data (Web Page)

MPP 認證並不是一般的一次性考試認證，而是大約有 10 門線上課程組合而成的 package certification，通常會循序漸進一步一步安排課程，每一門課程會有自己的 LAB 及 course final exam，每一門線上課程必須達到 70% 以上的成績才可以拿到這一門課程的認證，最後會有一個 Final Project，需要由你自己使用前面課程的知識內容來完成最後專案的需求，總結 10 門課的認證才能換一張 MPP certification，因為如此，所以要取得這樣的一張認證，你必須要花很多時間，循序漸進，慢慢的上完每一門課程及最後的專案，從實際上手練習到真正運用學習內容的專案建置，可以稱得上較為實務的一張認證，和一般的一次性考試認證較為不同。

有興趣的人可以參考以下網址：
https://academy.microsoft.com/en-us/professional-program/tracks/big-data/

MPP Certification for Big Data 由 10 門課組成，列出如下，而且是依照學習的步驟，循序漸進地教你如何建立一個大數據的架構。

Class List of MPP for Big Data

循序漸進的 10 門課程，有些課程有多個 Option 可以選擇：
* Get Started with Big Data（大數據概念介紹）
  - Introduction to Big Data

* Analyze and Visualize Data（分析和視覺化工具）
  - Analyzing and Visualizing Data with Power BI
  - Analyzing and Visualizing Data with Excel

* Work with NoSQL Data（NoSQL 資料解決方案介紹）
  - Introduction to NoSQL Data Solutions

* Query Relational Data（結構化資料查詢方法介紹）
  - Querying Data with Transact-SQL

* Create a Data Warehouse（資料倉儲）
  - Delivering a Data Warehouse in the Cloud

* Process Big Data at Rest（大數據資料批次處理）
  - Processing Big Data with Azure Data Lake Analytics
  - Processing Big Data with Azure HDInsight

* Process Big Data in Motion（大數據即時資料處理）
  - Processing Real-Time Data Streams in Azure
  - Processing Real-Time Data with Azure HDInsight

* Orchestrate Big Data Solution（治理大數據的方法）
  - Orchestrating Big Data with Azure Data Factory

* Build Big Data Analysis Solutions（大數據分析解決方案）
  - Developing Big Data Solutions with Azure Machine Learning
  - Analyzing Big Data with Microsoft R
  - Implementing Predictive Analytics with Spark in Azure HDInsight

* Final Project（最後專案）

因為這是微軟的 MPP 認證，所以課程介紹的內容和工具都偏向使用 Azure 及 Microsoft 解決方案為主，如果有心學習 Azure 雲端的大數據解決方案的人，非常適合學習這一系列課程。

利用晚上或是假日修習這些線上課程還蠻花時間的，對於想要投入這一系列認證課程的人，建議你需要先安排好足夠的時間，因為需要上課及 LAB 練習需要相當充足的時間才能夠好好的上完這些課程，通過考試及最後專案。（我也是花了好幾個月的時間才完成這些課程）

這一門 Big Data 課程比較偏向工具和系統架構，比較沒有太多的微積分數學和機率統計的理論和公式，適合系統工程師或是大數據架構師來研讀練習。（上次介紹的 MPP for Data Science 就非常的偏向資料分析工程師，有很多的微積分數學和機率統計的理論和公式。）

我的 10 門線上課程的上課成績：（有些課的 LAB 和 Exam 不容易，不只需要花時間，還需要傷很多腦筋來完成，也算是一步一腳印的慢慢完成漫長的 10 門課。）

我的課程認證成績

10 張線上課程的認證：（上完一門線上課程都會有一張 eDx 的通過認證，但是必須要集滿這 10 張才可以換最後有用的那一張 MPP 認證。）

最後 10 張線上課程的認證，可以換取一張微軟 MPP for Big Data 認證：

ＰＳ：雖然都是微軟的 Azure 和 Microsoft 軟體，但是大數據的基礎觀念和架構都是一樣的，也都可以用在其他公有雲和其他大數據軟體之上。

Read More