工作,生活,休閒,專業,分享,記錄

App Insights JS

Total Pageviews

Showing posts with label MPP. Show all posts
Showing posts with label MPP. Show all posts

March 1, 2019

[認證心得] MPP Certification for Artificial Intelligence (AI)



Microsoft Professional Program (MPP) 線上學習網站是一個非常好的學習網站,Miscrosoft 提供很多主題性的學習內容,除了結合技術教學內容以外,結合線上測驗 Quiz,上手實作 LAB,以及課程驗證測驗 Exam,最後以上課實做的學習內容,自我完成一個 Project,MPP 是一個完整的訓練課程,提供我們學習一門學科非常好的一個管道。


接下來要介紹 MPP for AI 這一門課程:

接續之前取得的兩門課程:MPP for Data Science & MPP for Big Data,有關資料科學和大數據相關的課程,接著取得有關人工智慧 MPP for AI 這一門課程的認證,這一門課程一樣包含 10 門課程,介紹了人工智慧相關的各項主題,包括了有:AI 相關的基礎數學,AI 倫理道德 (Ethics and Law),從機器學習 (Machine Learning) 介紹一直到深度學習 (Deep Learning) 的各種模型說明,最近非常夯的強化學習 (Reinforcement Learning),還有各種神經網路架構的說明 (CNN, RNN, NLP, etc.),以及電腦視覺、語音處理、自然語言處理等各種人工智慧的理論。

說實在的,這一門認證 MPP for AI 還真不容易學習,除了你應該要先有各種人工智慧應用的認識與瞭解之外,數學基礎與統計分析入門更是需要學習清楚,不然這些課程上不會再額外說明這些數學統計,其他很多演算法和有名的理論邏輯,都需要自己額外搜尋相關的參考文件來學習,總而言之,我覺得 MPP for AI 不是一門普通人可以學習的認證課程,需要自己先學習相關的基礎數理、理論、和演算法之後,才能夠順利完成並瞭解這些課程內容。

花了非常多的時間完成這些課程,但是還有很多理論邏輯沒辦法搞清楚,還是需要持續繼續研讀相關的資料來讓自己更進一步了解人工智慧這許許多多的理論和應用。

最後,秀一下認證的結果,花了這許多時間,終於順利拿到這一張認證,但是認證歸認證,這並不代表我會了什麼,也不代表我了解 AI 這一個主題,更不是代表「你會了」,這只是一個里程碑,在人工智慧的這一條路上,還有很多需要學習和精進的內容,就讓我們一起加油努力學習吧!

#人工智慧學習里程碑
#MPPforAI
#AI

November 10, 2018

[認證心得] MPP Certification for Big Data


MPP for Big Data (Web Page)

MPP 認證並不是一般的一次性考試認證,而是大約有 10 門線上課程組合而成的 package certification,通常會循序漸進一步一步安排課程,每一門課程會有自己的 LAB 及 course final exam,每一門線上課程必須達到 70% 以上的成績才可以拿到這一門課程的認證,最後會有一個 Final Project,需要由你自己使用前面課程的知識內容來完成最後專案的需求,總結 10 門課的認證才能換一張 MPP certification,因為如此,所以要取得這樣的一張認證,你必須要花很多時間,循序漸進,慢慢的上完每一門課程及最後的專案,從實際上手練習到真正運用學習內容的專案建置,可以稱得上較為實務的一張認證,和一般的一次性考試認證較為不同。

有興趣的人可以參考以下網址:
https://academy.microsoft.com/en-us/professional-program/tracks/big-data/

MPP Certification for Big Data 由 10 門課組成,列出如下,而且是依照學習的步驟,循序漸進地教你如何建立一個大數據的架構。
Class List of MPP for Big Data

循序漸進的 10 門課程,有些課程有多個 Option 可以選擇:
* Get Started with Big Data(大數據概念介紹)
  - Introduction to Big Data

* Analyze and Visualize Data(分析和視覺化工具)
  - Analyzing and Visualizing Data with Power BI
  - Analyzing and Visualizing Data with Excel

* Work with NoSQL Data(NoSQL 資料解決方案介紹)
  - Introduction to NoSQL Data Solutions

* Query Relational Data(結構化資料查詢方法介紹)
  - Querying Data with Transact-SQL

* Create a Data Warehouse(資料倉儲)
  - Delivering a Data Warehouse in the Cloud

* Process Big Data at Rest(大數據資料批次處理)
  - Processing Big Data with Azure Data Lake Analytics
  - Processing Big Data with Azure HDInsight

* Process Big Data in Motion(大數據即時資料處理)
  - Processing Real-Time Data Streams in Azure
  - Processing Real-Time Data with Azure HDInsight

* Orchestrate Big Data Solution(治理大數據的方法)
  - Orchestrating Big Data with Azure Data Factory

* Build Big Data Analysis Solutions(大數據分析解決方案)
  - Developing Big Data Solutions with Azure Machine Learning
  - Analyzing Big Data with Microsoft R
  - Implementing Predictive Analytics with Spark in Azure HDInsight

* Final Project(最後專案)

因為這是微軟的 MPP 認證,所以課程介紹的內容和工具都偏向使用 Azure 及 Microsoft 解決方案為主,如果有心學習 Azure 雲端的大數據解決方案的人,非常適合學習這一系列課程。

利用晚上或是假日修習這些線上課程還蠻花時間的,對於想要投入這一系列認證課程的人,建議你需要先安排好足夠的時間,因為需要上課及 LAB 練習需要相當充足的時間才能夠好好的上完這些課程,通過考試及最後專案。(我也是花了好幾個月的時間才完成這些課程)

這一門 Big Data 課程比較偏向工具和系統架構,比較沒有太多的微積分數學和機率統計的理論和公式,適合系統工程師或是大數據架構師來研讀練習。(上次介紹的 MPP for Data Science 就非常的偏向資料分析工程師,有很多的微積分數學和機率統計的理論和公式。)

我的 10 門線上課程的上課成績:(有些課的 LAB 和 Exam 不容易,不只需要花時間,還需要傷很多腦筋來完成,也算是一步一腳印的慢慢完成漫長的 10 門課。)
我的課程認證成績


10 張線上課程的認證:(上完一門線上課程都會有一張 eDx 的通過認證,但是必須要集滿這 10 張才可以換最後有用的那一張 MPP 認證。)


最後 10 張線上課程的認證,可以換取一張微軟 MPP for Big Data 認證:


PS:雖然都是微軟的 Azure 和 Microsoft 軟體,但是大數據的基礎觀念和架構都是一樣的,也都可以用在其他公有雲和其他大數據軟體之上。

August 7, 2018

MPP 三張認證介紹 (Data Science, Big Data, AI)



MPP (Microsoft Professional Program) 是微軟提供的線上訓練認證課程,個人覺得這個線上認證課程是目前微軟的認證比較有用的認證之一,每一個認證主題都會有大約 10 門線上課程加上最後的實作專案,每一門課都需要做實作 LAB,各章節小考,以及課程的 Final Exam,每一門課總成績需要超過 70% 才能取得該門課的 Certification,取得全部的 10 門課程的 Certification 才能夠得到最後該主題的 MPP 認證。

這個認證不會是只要你唸唸書,背背考古題,或是教科書式的教學,MPP 需要你實際上線操作,學習相關的技術,最後會有一個總成的 Project 需要完成,個人覺得 MPP 是一個非常實務,真正學習技術,上手操作的一個線上認證課程,但是也因為這樣,所以非常的花時間,需要花心思,而且再加上相關資訊的研讀,通常會需要很久的時間才能夠完成一個主題。

目前 MPP 提供的認證主題有八個,持續在增加當中:
1. Data Science
2. Big Data
3. AI
4. Front-End Web Development
5. Cloud Administration
6. DevOps
7. IT Support
8. Entry Level Software Development




從資料分析層面相關的主題,一直到軟體系統開發相關的主題,以及雲端和 IT 維運的主題,涵蓋層面非常的廣泛。

今天要跟各位介紹的三個 MPP 認證,主要是跟 Data Analysis 非常相關的主題,因為目前 AI 話題非常的火熱,這三個主題也就跟著熱門了起來:
1. Data Science
2. Big Data
3. AI

PS:因為這是微軟的 MPP 線上認證課程,所以課程中介紹即使用的全部都是微軟相關工具和軟體,主要使用環境是 Azure 雲端服務。

1. Data Science

MPP for Data Science Certification 主要包含資料分析相關的技術,包括各種演算法的介紹與實作,資料視覺化工具(Excel / Power BI),以及機器學習的相關技術,總共 11 門課,最後的 Final Project 會提供一組實際的資料情境,需要你使用線上課程學習的相關知識和技術,完成專案描述的需求,主要評分項目是依據你所使用的演算法/機器學習技術,如何提高你的預測準確率,詳細描述你的專案實作過程及理論依據,這是一個非常實務的線上學習認證課程,非常推薦有心學習資料科學的各位來研讀。

如果你要取得每一門課的 Certification,則需要付費 USD $99,你也可以選擇不要認證,只參加線上課程的學習,每一門課只有三個月的期間可以完成,如果沒有在期限內完成,則需要重新再付費取得認證。

課程明細如下:

2. Big Data

MPP for Big Data Certification 主要是學習大數據相關的技術,各種資料操作技術的課程,還有 Hadoop 相關的技術實作練習,各項 NoSQL 資料庫的操作,當然使用的都是微軟 Azure 雲端上的服務和技術,但是本質上,大數據的實際應用技術也差不多大同小異,只要你上完這些課程,對於大數據相關的技術和操作方法也大致熟悉了六七成了,如果需要其他的應用技術,可以在自行搜尋參考網路上的相關資料,其實網路上已經有非常多非常足夠的資訊提供你學習了。

課程內容如下:

3. AI

這個 MPP for AI Certification 提供給有心學習 AI 領域的技術人員一個非常好的入門學習,不但你可以了解 AI 相關的基礎知識,而且由淺入深,漸漸引導你實作 AI 的相關技術,從 Machine Learning 到 Deep Learning,一步一步引導你學習 AI 相關的使用技術,學習完這門課程可以讓你對 AI 的了解更為深入,對於 AI 如何應用,如何開發,如何訓練,都提供了完整的基礎知識。

課程明細如下:

以上三門課程(Data Science, Big Data, AI)非常推薦給有心學習 AI 方面的資料科學家來實際學習與操作,相信上完這些課程,不但對你的相關知識會有很大的幫助,對於實際使用的技術和操作方法,也會有很大的進展。

提供給大家參考,希望各位學習愉快!

~~  2018/08/07  Blake

August 1, 2018

[認證心得] MPP Certification for Data Science


MPP for Data Science (2018/07/01 從原本的 10 門課改為 11 門課了)

真的整整花了一年的時間,利用空閒的時間,有一段沒一段的陸陸續續修完了 10 門線上課程,終於拿到這一張微軟 MPP Data Science 認證,感覺還蠻累人的,花了不少時間,也花了不少金錢(10 門課的認證費用共三萬多大洋)。

為什麼上個 10 門線上課程需要花這麼久的時間,聽聽課,做作練習,這樣也不用花這麼久的時間啊?

因為,我的習慣是一邊上課一邊做筆記,而且我的目標是上完課之後,必須能夠教學,必須要能夠講給別人聽,所以我一邊聽線上課程,一邊找相關資料,一邊做投影片資料,所以上課的速度變得非常非常慢,但是,上完這些課之後,我也已經準備好了這些課程的相關教學資料,也可以對別人做 Data Science 相關的教育訓練。

原本抱持著自己學習的心態,看看網路上的教材,上上線上課程,學習一下 Data Science 這門科學,從上網找資料,聽聽線上課程,做做裡面的 LAB,找網路上的各種相關參考資料,當作自己慢慢研讀進修的作業,中間也因為工作上的忙碌停了一段時間,也穿插了人工智慧學校的三個月課程,一門一門持續累積之下,後來就決定把 10 門課都上完,順便把這張 MPP Data Science 認證拿下來。

MPP Data Science Certification 學習路徑

這 10 個線上課程,說難也不是非常難,說簡單也不是很簡單,總共有 9 門課外加一個 Final Project 需要完成,每一門課都有四五個課程模組,每個模組有各自的 LAB 需要實做,做完 LAB 後會有 Module Quiz 需要小小的測驗,每一門課最後會有 Final Exam 需要測試,課程的總成績需要在 70% 以上才算通過,可以取得該門課的 Certification。

線上課程通過成績

每一門課只有三個月時間可以完成,如果沒有通過,那就下次再重新來過(再繳一次認證費用 USD $99),修完 9 門線上課程,最後會有一個 Final Project,只有在 1, 4, 7, 10月可以做這個 Final Project,一個月的時間做完這個 Project,實際給你一個資料集,然後用你學習過的演算法,建立一個資料學習模型,在一個月內,上傳你的資料模型正確率(必須達到一定程度的正確率才會有分數,正確率越高分數越高),然後還需要寫一份 Final Project Report,描述你的資料分析過程、分析方法、邏輯、和結果,上傳到平台讓用戶互相之間評分,一個月之後,Final Project 最後成績就會算出來,必須要超過 75% 以上才算通過。

10 張線上課程認證

經過了這一連串的線上課程,最後最後終於取得這張認證,集 10 張線上課程 certification 來換一張 MPP Data Science 認證,算是小小證明一下自己的學習路徑和經驗,讓自己所花的金錢和時間有點小小的回報。



2018.8.1 ~ ~ Blake Wang

April 14, 2018

ML/DL 開發工具另一選擇:Google Colaboratory



來介紹另一個 Python 程式開發工具,也是機器學習模型開發測試的好用工具:Google 開放的 AI 開發工具。這個是 Google 免費開放的雲端開發工具服務,你必須要註冊有 Google Account 才可以使用。(原本是 Google 內部員工使用的開發工具)

https://colab.research.google.com/

各個工具跟其他的 notebook 工具大致上雷同,Colaboratory 開發環境也是基於 Jypyter 架構建置起來的,最大的不同點有兩個:
1. 整合了 Google 各項的雲端服務,Colaboratory 和 Google Drive 以及 Google Doc 整合的非常緊密,你可以直接從 Google Drive 開啟 Colaboratory 來使用。

2. Google 提供了免費的 GPU 讓使用者可以使用,只要在功能表的《選擇》/《筆記本設置》就可以設定使用 GPU。(但是,請記住一點:使用 GPU 不一定比 CPU 快,使用 GPU 不一定比 CPU 快,使用 GPU 不一定比 CPU 快)很著要,所以說三次!必須要看你應用的情境來選擇適合的執行環境。

使用 Collaboratory 開發深度學習的模型訓練範例畫面。


Azure Machine Learning 測試開發工具的新選擇:介紹 Microsoft Azure Notebook



如果你想要練習與測試 Python 程式,Microsoft 提供了一個免費的雲端服務,叫做 Microsoft Azure Notebook,目前還在 Preview 階段,網址如下:

https://notebooks.azure.com/

這個 Azure Notebook 主要是用 Jupyter 建構出來的,是一個互動式的筆記本.讓你能夠將程式碼和文字註記放在一起,方便閱讀。
Microsoft Azure Notebook 提供了很多執行環境,以及範例程式,提供使用者方便撰寫測試和執行測試的工具,包括:R, Python, F#, 以及各式各樣可以使用的 Library,讓使用者節省很多環境安裝設定的時間。

如果你想要使用 Microsoft Azure Notebook 服務,必須要有 Microsoft 帳號,第一次登入 Azure Notebook 會需要你同意存取你的一些資訊。

如果你是初學者,可以透過 Azure Notebook 提供的範例程式,先 Clone 到你自己帳號下的 Library 之中,然後就可以一步一步慢慢執行測試,也可以自行輸入程式碼做測試,使用環境和 Jupyter notebook 非常相似,但是 Azure Notebook 提供了一些直接和 Azure cloud service 整合的工具,讓你可以更方便的跟你的 Azure 雲端環境整合在一起。

開啟你自己 Library 裡面的程式,就會出現 notebook 的操作畫面,操作方法就跟 Jupyter notebook 一樣,如果你不懂操作方法,就上網請教一下「F大神」或「G大師」,網路上已經一堆參考資料,這裡就不再詳細說明。

另外,也可以把 nbserver 的 console 開啟,然後就可以使用 pip install 來安裝你所想要使用的 package,真的非常方便。

如果你是 Microsoft Azure 的愛好使用者,建議你使用 Microsoft Azure Notebook 提供的各項工具,因為我相信,接下來微軟會把各式各樣的 Azure cloud service 雲端服務跟這個開發工具結合整合得更緊密,讓使用者能夠更方便的開發與測試機器學習的模型和服務。


March 18, 2018

[PythonGo] 介紹學習 Python 的好工具 Anaconda


(Reference : indeed.com)

Python 程式設計在排名上持續躍升之中,雖然目前 Java 還是最受歡迎的程式語言,但是隨著資料分析和機器學習/深度學習的應用,Python 程式語言慢慢的一步一步追趕上來,學習 Python 現在已經變成一個顯學,目前在人工智慧應用領域使用最廣泛的語言不外乎三種:Python, R, Java,這三種語言各有各自好用的地方,想要進入資料分析領域的你是否已經選定學習的方向了。


Python 在資料分析、機器學習、資料視覺化的使用上非常的普遍,提供非常多好用的套件,Anaconda 則是 Python 程式開發的懶人包。


學習一種程式設計語言,首先當然需要先把程式環境建立起來,對於 Python 初學者來說,使用 Anaconda 這個工具非常的方便,因為 Anaconda 是一個完全免費的全套工具,所謂“全套”的意思就是:
1. 完全是 Open source (免費)
2. 可以安裝在 Linux, Windows, MAC
3. Anaconda 把 Python 所需要的執行環境都包含進來了,不需要自行配置執行環境
4. 已經包含很多基本的 package
5. 安裝套件 .package 非常的方便(conda 一指令就可完成)
6. 可以自由切換執行版本(Python 2.x / Python 3.x)
7. 整合了 Jupyter notebook
8. 整合了 spyder 編譯器

Anaconda 下載位址:https://www.anaconda.com/download/#macos
下載所需要版本之後,可以自行選擇安裝位置,一路安裝到底。

我用 MAC 畫面來說明(因為目前只有一台 MAC 工作電腦,Windows 和 Linux 版本大致上雷同,請自行操作!)

安裝完成之後,可以先開啟 Anaconda Navigator 來看看,Anaconda Navigator 總共提供五大選項功能:
1. 首頁 Home 的畫面如下:

Anaconda Navigator 把 Python 所需要的執行環境整合在一起,直接點選你想要的開發選項,就可以進入到程式執行的畫面。

2. 選項 Environment:你所安裝的所有環境,例如:我安裝了 Tensorflow 就會列在環境 list 之中。

3. 選項 Project(Beta):管理你的 Project (目前還在 Beta 版),我也還沒使用過。

4. 選項 Learning:Anaconda 整理了很多相關的學習文件,可以直接在線學習。

5. 選項 Community:Anaconda 把相關的論壇都整理在這邊,如果你有心得或問題可以直接到各論壇中發表或尋找答案,非常的方便。

以上是 Anaconda 安裝後的整個環境介紹,今天我們先介紹使用 Console 的方式來執行 Python,改天我們再來完整的介紹 Anaconda Nacigator,或者你們也可以自行先點選試用看看,因為這個工具非常的直覺,很好學習。

使用 Console 指令來執行 Python,我們直接先開啟 Command console,然後輸入 python 就可以直接進入 python 的執行列之中,螢幕會顯示出我們目前使用的版本說明,接下來我們就可以直接打指令來執行看看,執行完畢之後,要離開這個執行環境請打 exit() 就可以回到 console 環境。

另外我們可以執行 ipython (互動的 python interpreter),安裝 Anaconda 也幫我們安裝了 ipython 這個好用的東西,我們一樣使用 command console 來開啟試用看看,在 console 之下輸入 ipython 就可以進入 ipython 執行環境,接下來一樣我們可以輸入指令來執行看看,測試完成之後要離開執行環境一樣要輸入 exit() 就可以離開了。

最後要說明的就是好用的 conda 指令,在 console 之下,我們輸入 conda list 就可以列出我們目前安裝的 package list(有很多,圖片只擷取部分),如果需要安裝其他的 package 檔案,我們可以透過 conda 做線上安裝,或是先下載 .package 之後,再來做安裝。

如果要安裝新的 package ,只需要輸入下列指令:
conda install

如果要更新 package ,只需要輸入下列指令:
conda update

如果要更新全部的 package ,只需要輸入下列指令:
conda update --all

Anaconda 使用上非常的方便好用,也幫我們整合了很多環境,讓我們不用煩惱安裝環境的問題,可以專心花心思在程式設計上。

MAC 安裝完成之後,安裝目錄大致長得像下面這個畫面:(參考!)


#Python
#Anaconda

要進入「人工智慧」這大染缸的人,請三思!



IOT 物聯網,Big Data 大數據,Machine Learning 機器學習,Deep Learning 深度學習,整個大環境目前充斥著各式各樣的 AI 人工智慧相關的議題,不論談到什麼事情,如果沒有跟 AI 掛上關係就不夠流行,大家已經為了 AI 而 AI 了,根本不管是否適合或是有沒有用,不論是企業、政府、教育、士農工商各行各業大家爭相「AI化」,冠上一個「人工智慧」價值就往上提升數倍,但是真正做到 AI 應用的有多少呢?我估計應該不到一半 50%,甚至應該少於這個數字。



隨著人工智慧的熱門議題,大家也都爭相要擠入 AI 這個領域,不論是硬體開發商,軟體開發整合業,顧問服務業,系統分析師,軟體發開人員,甚至學校的學生,全部都想破頭要擠入人工智慧這個領域,不管未來的發展性如何,公司的走向是否相關,有沒有商業模式,不管三七二十一,先搭上這個順風車再說,這樣的風氣實在有點令人擔憂。

大家都想走近路,儘早搭上這班車,怕自己晚了會落在別人後頭,失去機會,失去商機,但是「人工智慧」這是一個涵蓋層面非常廣的領域,除了資訊科技的各項技術之外,還有各種數學統計的學理基礎,更包含了各種領域的專業知識理論,這三者缺一不可,一個人能夠擁有兩項已經非常厲害了,更何況要三者皆熟悉的更是少數的天才,市面上目前真正的「人工智慧」專家或人才,看起來都是學校教授、博士研究、或是在資料分析產業打滾多年的老前輩,缺少很多有能力或有實務開發的人才,人才的斷層非常嚴重,使得市面上人才的需求水漲船高,但是也導致很多走捷徑的人,快速地學習使用機器學習工具,胡亂地套用開源軟體,很快的學會各種機器學習或深度學習模板,但是卻不明究理,不知道模型背後的理論和應用根據,無法解釋模型的演算邏輯,無法說明自己產出的結果,造成很大的落差。


接下來想給幾個建議,如果想要進入「人工智慧」領域的人,還是要先從了解基礎知識開始,包括有資料結構、演算法、機率統計,這三個已經是最基本的要件,不能再少了,如果還有餘力需要在補充相關知識,包括有程式設計、資料庫、線性代數、機器學習的各項理論等,我們這裡說的還不包含個專業領域的知識,就像如果你想要做金融業的人工智慧應用,那對於各項金融方面的領域知識當然也必須要充實,其他像是製造業,醫療產業,教育領域等,各專業領域各有不同的專業領域知識,專業領域知識的重要性不在話下,例如:如果不了解專業領域知識,你怎麼知道各項資料代表的意義,各種資料數值代表的意思,如:EPS、週轉率、替代率、良率、績效等資料代表什麼?要怎麼從海量的資料中撈取計算出有用的資訊知識出來。

雖然我們一個人要學習的東西那麼多,每個人的力量有限,所以分工合作,協同運作,溝通討論非常重要,和各個領域的專家一起協同合作,才能縮短時間,創造雙贏的結果。

最後,奉勸想要踏進「人工智慧」這大染缸的人要有心理準備,這是一條很艱苦的道路,學都學不完的知識,千萬不要被淹沒在這龐大資訊的大染缸之中,一定要循著自己的腳步,一步一腳印從基礎慢慢學起,不要看到電腦視覺很熱門就學這個,那個語音辨識很新就學那個,自然語言機器人很炫就想跳進去,這樣到最後你會不知所措,規劃好自己的學習路徑,一步一腳印的慢慢努力實現,相信最後結果就會是甜美的。

祝大家學習愉快!

#AI人工智慧
#心得分享