工作,生活,休閒,專業,分享,記錄

App Insights JS

Total Pageviews

April 10, 2019

BI 相關的參考資料整理(課程、認證、參考連結)


整理了一些 BI 相關的資訊,記錄下來隨時可以來查詢,也提供大家參考!

目前網路上就有很多可以參考的線上課程以及線上資訊,如果有興趣的人可以上網直接參考,這些資訊都還蠻多蠻足夠的,而且都是線上免費的課程和教材,我整理如下。

下列是我正在讀的資料、課程和教材,提供給各位參考,如果各位有興趣可以一起研讀,一起討論。

## BI 線上課程:

* Introduction to Data Modeling

* Delivering a Relational Data Warehouse

* Delivering a Data Warehouse in the Cloud

* Developing a Multidimensional Data Model

* Developing a Tabular Data Model

* Implementing ETL with SQL Server Integration Services

* Creating a Master Data Solution with SQL Server Master Data Services (MDS)

* Data Cleansing with Data Quality Services (DQS)

* Analyzing and Visualizing Data with Power BI

* Data Analysis: Take It to the MAX()

* Analyzing and Visualizing Data with Excel

* Microsoft Excel for the Data Analyst


## BI 相關認證:
----------
1. MCSA: BI Reporting


(1) Exam 70-778/使用 Power BI 來分析和可視化處理資料
(2) Exam 70-779/使用 Microsoft Excel 分析和將資料視覺化

----------
2. MCSA: SQL 2016 BI Development


(1) Exam 70-767/Implementing a SQL Data Warehouse
(2) Exam 70-768/Developing SQL Data Models

----------
3. MCSA: SQL 2016 Database Development


(1) Exam 70-761/Querying Data with Transact-SQL
(2) Exam 70-762/Developing SQL Databases


## BI 認證相關參考資料:

1. Exam 70-767 / Implementing a SQL Data Warehouse

** 書籍:
(1) 測驗參考 70-767 Implementing a SQL Data Warehouse
出版時間:2017  11 

(2) Exam material for Microsoft 70-768 Developing SQL Data Models

(3) Preparing for and Taking Microsoft Exam 70-768 (Developing SQL Data Models)

(4) Developing SQL Data Models v7.0 (70-768)

** 參考資料:
1.) SQL 資料倉儲文件

2.) SQL Server Integration Services

3.) SSIS 如何建立 ETL 封裝

4.) Data Quality Services (DQS) 簡介

5.) Master Data Services

6.) Master Data Services 概觀 (MDS)

---------------
2. Exam 70-768 / Developing SQL Data Models

** 書籍:
(1) Exam Ref 70-768: Developing SQL Data Models
Published: May 2017

(2) Exam material for the Microsoft 70-767 - Implementing a SQL Data Warehouse

(3) Implementing a Data Warehouse using SQL v5.0 (70-767)

** 參考資料:
1.) SQL Server Analysis Services

2.) SQL Server Data Tools

3.) MDX 查詢基礎觀念 (Analysis Services)

4.) Data Analysis Expressions (DAX) Reference

5.) DAX 簡介

April 9, 2019

開始準備認證:Microsoft SQL Data Models (Exam 70-768)


MCSE認證徽章(範例)

這是我規劃預計取得認證 Microsoft Certified Solutions Expert (MCSE) : Data Management and Analytics

應該要通過的考試有三科:
必須先取的 MCSA: SQL 2016 BI Development (包含兩個測驗)
* Exam 70-767 Implementing a Data Warehouse using SQL
* Exam 70-768 Developing SQL Data Models
另外,再通過一科:(有很多項目可以選,我選擇的是 Power BI)
* Exam 70-778 Analyzing and Visualizing Data with Power BI

希望年底前可以達成!

以下就進入這篇文章我想要介紹的主題:Microsoft SQL Data Models (Exam 70-768) 認證

這是 Microsoft 在建立 Data Model 所需要使用的服務、功能、和技術,開始學習 Data Model 的相關技術之前,建議你最好已經熟悉 Data Warehouse 相關的服務功能,因為 SQL Data Model 是建構在 Data Warehouse 上面的模型架構。(最好已經通過 Exam 70-767 的認證之後再來取得這個 70-768 的認證!)

從前面的這個 70-767 Data Warehouse 認證相關的資訊之後,70-768 Data Model 認證涵蓋很多資料分析上的規劃、架構、設計、模型之上,相信在學習並通過取得這個 Data Model 考試認證之後,對於 Microsoft SQL Data Model 你會有很深入的了解與應用,針對 BI Developer, Administrator 開發 BI 資料庫的人員,應該也會有很大的幫助。(同時取得 767 Data Warehouse 和 768 Data Models 認證,你就會得到 Microsoft MCSA:BI Development 認證)

OLAP database 是 SQL Data Model 的基礎,OLAP DB 的設計方法有 Tabular 和 Multidimensional 兩種方式,Tabular 是使用記憶體的 in-Memory DB,Multidimensional 是既有的硬體儲存方法,OLAP 是屬於交易量少,運算複雜,需要多重處理之後的分析資料庫。MDX 是 multidimensional model 的開發分析語言,DAX 是 tabular model 的開發使用語言,在分析規劃 data model 的時候,必須要視你的需求來做相關的規劃。
==> 以上簡單講的這些內容你是否都了解?你知道什麼是 MOLAP?什麼是 ROLAP 嗎?如果答案是「不了解」,那代表你還很不熟悉 SQL Data Model,建議你跟我一樣,慢慢地重頭研讀這些相關的資訊,實際操作演練學習,讓你能夠進入「資料分析」這個令人驚奇的領域吧!(MDX 和 DAX 很難,你必須要有一顆能力很好的邏輯分析腦袋,這些執行的分析作業通常都很複雜難懂,所以你還必須有一顆清晰冷靜的頭腦,我相信,如果你努力學習通過這個考試認證,你會非常有成就感的!)

這個 Exam 70-768 認證考試的參考資訊其實不多,我上網找了很久,並沒有發現太多參考的資訊,以下大致整理我收集到的相關資料。

# 測驗內容說明:
Exam 70-768 Developing SQL Data Models
https://www.microsoft.com/en-us/learning/exam-70-768.aspx

* Skill measured:(考試內容範圍及佔分比例)
Design a multidimensional business intelligence (BI) semantic model (25–30%)
Design a tabular BI semantic model (20–25%)
Develop queries using Multidimensional Expressions (MDX) and Data Analysis Expressions (DAX) (15–20%)
Configure and maintain SQL Server Analysis Services (SSAS) (30–35%)

# 閱讀書籍:(Microsfot 出版的認證考試用書,針對考試內容的主題逐一介紹,也是一本學習 SQL Server Analysis Service 的好書,雖然都是認證考試內容,但是對於 SSAS 的學習也非常有幫助。)
Exam Ref 70-768 Developing SQL Data Models
出版商: Microsoft Press
出版日期: 2017-05-15
ISBN: 1509305157
ISBN-13: 9781509305155

市面上還有很多 SSAS 相關的書籍,可以視個人需求來購買。(你只要上 Google 搜尋 SSAS 相關書籍即可。)


# 線上課程:(以下是免費的線上課程,讓你隨時隨地可以上課,內容非常的多,也需要花蠻多時間才能夠上完這些課,但是這些課程的安排循序漸進,讓你可以慢慢的學習 SSAS 相關的服務功能,是學習 SSAS 非常好用的線上課程。)
Developing a Multidimensional Data Model
https://courses.edx.org/courses/course-v1:Microsoft+DAT224x+2T2018/course/

Developing a Tabular Data Model
https://courses.edx.org/courses/course-v1:Microsoft+DAT225x+3T2018/course/

SSAS (Microsoft 官方教學影片)
https://www.youtube.com/playlist?list=PLRSlaaxiXtw3P0uFOXJPmI9fHJmDByNF8

Data Analysis: Take It to the MAX()
https://courses.edx.org/courses/course-v1:DelftX+EX101x+2T2018/course/

Creating BI Reports with SQL Server Reporting Services(這是 SSRS 服務,跟 768 考試相關性比較小一點)
https://courses.edx.org/courses/course-v1:Microsoft+DAT214x+1T2018a/course/


# 各項 Topic 的線上參考資訊:(參考的資料非常多,無法一一列舉,但是每一個 Topic 都需要了解清楚,否則考試會 GG .....)
----------
* SSAS 相關:
Analysis Services 教學課程
https://docs.microsoft.com/zh-tw/sql/analysis-services/analysis-services-tutorials-ssas?view=sql-server-2017

----------
* Design Data Model 相關:


----------
* MDX & DAX 相關:




[認證介紹] Microsoft BI 相關的認證 (Data Warehouse & Data Model & PowerBI)



最近正在研究 Microsoft BI 方面的解決方案,研讀了很多 BI, Data Warehouse, 視覺化, Data Analysis 等方面相關的資料,上網查詢了一下 Microsoft 在 BI 方面相關的 Certification 有哪些,我大致整理了一些資料記錄下來,同時提供讓大家參考!

Microsoft BI 開發相關的認證主要有兩個:
1. MCSA: SQL 2016 BI Development (包含兩個測驗)
* Exam 70-767 Implementing a Data Warehouse using SQL
* Exam 70-768 Developing SQL Data Models

2. MCSA: BI Reporting (包含兩個測驗)
* Exam 70-778 Analyzing and Visualizing Data with Power BI
* Exam 70-779 Analyzing and Visualizing Data with Microsoft Excel

Microsoft BI 相關的認證,主要都包含在 SQL Server 相關的產品服務之中,最基本的當然是 SQL Server 本身,SQL Data Warehouse 就是架構在 SQL Server 主體之上,另外加上 SQL Server Enterprise Information Management (EIM) Suite 的成員,三個成員包括有:SQL Server Integration Service (SSIS), Master Data Service (MDS), Data Quality Service(DQS),然後 Data Model (Cube) 的分析與建立就需要透過 SQL Server Analysis Service (SSAS) 加上 MDX 和 DAX 兩大工具,整個搭配架構合成,用來規劃、架構、分析與建構 BI Data Warehouse & Data Model solution,最後透過 Microsoft 的資料視覺化工具:Power BI or EXCEL 來做呈現,良好的資料權限分割,視覺化的圖示工具,不論是報表、儀表板、即時監控、警告通知等,都有很好的功能來實踐,以上的架構可以參考下圖的說明就會更清楚整個 Microsoft BI 的解決方案。

功能架構如下圖:


系統架構如下圖:


有關 Data Warehouse 的部分,是進入 BI 的第一步關鍵,如何建立 Data Warehouse 更是規劃 BI 最重要的第一步,有了這個 Data Warehouse 之後,我們才能夠往後來建立 Data Model (Cube),然後才能做資料的視覺化分析與呈現。

以下主要針對 Exam 70-767 這個認證來介紹,這是 Microsoft 在 Data Warehouse 方面主要解決方案的一張認證,如何使用 SQL Server 相關的服務來規劃、設計、建置 BI 資料倉儲的解決方案。
對於認證相關的測驗,我的考試準備內容如下,當然,網路上還有很多線上的資訊需要研讀,但是資料項目太多,無法一一列舉。


# 測驗內容說明:

Exam 70-767 Implementing a Data Warehouse using SQL
https://www.microsoft.com/en-us/learning/exam-70-767.aspx

Skills measured: (考試內容範圍及佔分比例)
* Design, implement, and maintain a data warehouse (35–40%)
* Extract, transform, and load data (40–45%)
* Build data quality solutions (15–20%)

# 閱讀書籍:(這是 Microsoft 出版的認證考試相關課程,最好買一本來慢慢研讀,裡面的內容都要了解清楚,書本裡面的介紹只是部分,自己需要再找相關的資訊來補齊。)

Exam Ref 70-767 Implementing a SQL Data Warehouse
by Raj Uchhana, Jose Chinchilla
Publisher: Microsoft Press
Release Date: November 2017
ISBN: 9781509304486
https://www.oreilly.com/library/view/exam-ref-70-767/9781509304486/


# 線上課程:(線上免費課程,共有三大科目,每一個科目都有很多不同的服務功能介紹,非常適合漸進式的課程學習,Microsoft 安排的課程,不管是分章節、服務功能說明、實作訓練,涵蓋內容深入淺出,非常適合慢慢的課程學習內容,只是需要花很多時間在這些線上課程之上。)

1. DAT216x | edX : Delivering a Relational Data Warehouse
https://courses.edx.org/courses/course-v1:Microsoft+DAT216x+3T2016/course/

2. DAT217x | edX : Implementing ETL with SQL Server Integration Services
https://courses.edx.org/courses/course-v1:Microsoft+DAT217x+2T2016/course/

3. DAT218x | edX : Data Cleansing with Data Quality Services (DQS)
https://www.edx.org/course/data-cleansing-data-quality-services-dqs-microsoft-dat218x-2


# 各項 Topic 的線上參考資訊:(參考的資料非常多,但是每一個 Topic 都需要了解清楚,否則考試會 GG .....)

* SQL Data Warehouse 相關:
什麼是 Azure SQL 資料倉儲?
https://docs.microsoft.com/zh-tw/azure/sql-data-warehouse/sql-data-warehouse-overview-what-is

REST APIs for Azure SQL Data Warehouse
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-manage-compute-rest-api

Partitioning tables in SQL Data Warehouse
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-partition

* SSIS 相關:
Control Flow
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/control-flow?view=sql-server-2017

Integration Services Transformations
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/integration-services-transformations?view=sql-server-2017

Transform Data with Transformations
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/transform-data-with-transformations?view=sql-server-2017

Data Flow
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/data-flow?view=sql-server-2017

Data in Data Flows
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/data-in-data-flows?view=sql-server-2017

Integration Services (SSIS) Logging
https://docs.microsoft.com/en-us/sql/integration-services/performance/integration-services-ssis-logging?view=sql-server-2017

Execute SQL Task
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/execute-sql-task?view=sql-server-2017

Precedence Constraints
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/precedence-constraints?view=sql-server-2017

Lookup Transformation
https://docs.microsoft.com/en-sg/sql/integration-services/data-flow/transformations/lookup-transformation?view=sql-server-2017

Set Package Properties
https://docs.microsoft.com/en-us/sql/integration-services/set-package-properties?view=sql-server-2017

Deploy Integration Services (SSIS) Projects and Packages
https://docs.microsoft.com/en-sg/sql/integration-services/packages/deploy-integration-services-ssis-projects-and-packages?view=sql-server-2017

Debugging Data Flow
https://docs.microsoft.com/en-sg/sql/integration-services/troubleshooting/debugging-data-flow?view=sql-server-2017

Parallel Loop Task
http://www.cozyroc.com/ssis/parallel-loop-task

Union All Transformation
https://docs.microsoft.com/en-us/sql/integration-services/data-flow/transformations/union-all-transformation?view=sql-server-2017

MERGE in Integration Services Packages
https://docs.microsoft.com/en-us/sql/integration-services/control-flow/merge-in-integration-services-packages?view=sql-server-2017

Foreach 迴圈容器
https://docs.microsoft.com/zh-tw/sql/integration-services/control-flow/foreach-loop-container?view=sql-server-2017

Debugging Control Flow
https://docs.microsoft.com/en-us/sql/integration-services/troubleshooting/debugging-control-flow?view=sql-server-2017

MERGE (Transact-SQL)
https://docs.microsoft.com/en-us/sql/t-sql/statements/merge-transact-sql?view=sql-server-2017

Columnstore indexes: Overview
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-2017

Change Data Capture Stored Procedures (Transact-SQL)
https://docs.microsoft.com/en-us/sql/relational-databases/system-stored-procedures/change-data-capture-stored-procedures-transact-sql?view=sql-server-2017

Enabling AlwaysOn for SSISDB
https://chrislumnah.com/2017/05/09/enabling-alwayson-for-ssisdb/

Track Data Changes (SQL Server)
https://docs.microsoft.com/en-us/sql/relational-databases/track-changes/track-data-changes-sql-server?view=sql-server-2017

SQL Server Temporal Tables vs Change Data Capture vs Change Tracking - part 2
https://www.mssqltips.com/sqlservertip/5212/sql-server-temporal-tables-vs-change-data-capture-vs-change-tracking--part-2/

Temporal Table Usage Scenarios
https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-table-usage-scenarios?view=sql-server-2017

* DQS 相關:

Install Data Quality Services
https://docs.microsoft.com/en-us/sql/data-quality-services/install-windows/install-data-quality-services?view=sql-server-2017

Data Quality Services (DQS) Cleansing Transformation - SSIS
https://mindmajix.com/ssis/data-quality-services-dqs-cleansing-transformation

Task 7: Adding DQS Cleansing Transform to the Data Flow
https://docs.microsoft.com/en-us/sql/tutorials/task-7-adding-dqs-cleansing-transform-to-the-data-flow?view=sql-server-2014

SSIS: Using the DQS Cleansing component
https://intelligentsql.wordpress.com/2013/07/30/ssis-using-the-dqs-cleansing-component/

Perform Knowledge Discovery
https://docs.microsoft.com/en-us/sql/data-quality-services/perform-knowledge-discovery?view=sql-server-2017

Create a Matching Policy
https://docs.microsoft.com/en-us/sql/data-quality-services/create-a-matching-policy?view=sql-server-2017&viewFallbackFrom=sqlserver-

Data Quality Projects (DQS)
https://docs.microsoft.com/en-us/sql/data-quality-services/data-quality-projects-dqs?view=sql-server-2017

DQS Security
https://docs.microsoft.com/en-us/sql/data-quality-services/dqs-security?view=sql-server-2017

* MDS 相關:

Master Data Services
https://docs.microsoft.com/en-us/sql/master-data-services/master-data-services?view=sql-server-2014

SQL Server Master Data Services Tips
https://www.mssqltips.com/sql-server-tip-category/97/master-data-services/

How to version a SQL Server Master Data Services model
https://www.mssqltips.com/sqlservertip/4292/how-to-version-a-sql-server-master-data-services-model/

MDS Versioning, Permission and Security — DatabaseJournal.com
https://www.databasejournal.com/features/mssql/article.php/3908611/MDS-Versioning-Permission-and-Security.htm

Domain-Based Attributes (Master Data Services)
https://docs.microsoft.com/en-us/sql/master-data-services/domain-based-attributes-master-data-services?view=sql-server-2017

Change Tracking (Master Data Services)
https://docs.microsoft.com/en-us/sql/master-data-services/change-tracking-master-data-services?view=sql-server-2017