為何我要學習 Azure 雲端資料的應用與設計？

企業機關資料的叢林

現今狀況，不管機關或者企業的組織大小，即使是一個小小的辦公室，一天當中產生的資料不勝其數；離線儲存或者區域網路儲存比比皆是，資料的數量與種類也非常多；採用的儲存方式，不外乎有透過系統輸入或者匯入的結構式資料，或者是單機檔案室的儲存架構等。

可以說是一個文管系統或者整合資料庫各種大大小小的應用系統才能完全覆蓋這些資料，進行有效的管理與應用。

但事實上，我們常常看到企業沒有妥善的文管系統，沒有完整的 Workflow 系統，甚至在數位整合與應用上的系統，也不近完全就位與符合應用需求。

因此，有採用離線資料儲存在個人的電腦儲存設備中，或者透過應用系統儲存於結構式資料庫伺服器中；衍生了在效能與安全性需求，在長久使用下顯現調整的不夠與不易。

這所謂機關或者企業的資料叢林，即使是小單位或者是組織，幾乎是同樣的資料叢生產生者儲存的彈性不足與管理的不易，逐步衍生如下所列的問題：

管理不易
空間彈性調整不足
安全性漏洞
資料大量流失
個人管理徒增整合不易
資料彙總與遷移的困難性
分析資料不易建模
分析資料不易處理

雲端資料領域

Azure 雲端資料概念領域，將來職務上，必須被要求與具備的技能項目；在迎合雲端整合與職場上職缺的需求，我們需要學習到，如何將地端資料目前面對的問題與成本，配合雲端化系統的解決方案。這讓我們得面對下一波職場上的能力要求上，需要提早準備。

Azure Data 基礎概念的應用課程，主要就是針對下列工作領域相關使用的資源進行概念與架構說明。

資料管理師
資料工程師
資料分析師

配合這三個工程師的技術領域，先行了解 Azure 有哪些服務或者資源可以提供相關的應用需求、應用概念、建置概念，或者架構概念。

並且透過地端安裝於本機上的相關的應用或者管理工具，讓您方便且在熟悉 Azure 雲端資料管理、建置與開發的環境中，方便學習與使用。

這些地端工具中包含有：

Azure CLI
Azure Data Studio
Azure Storage Explorer
Power Shell
Visual Studio 2022
Microsoft Azure DataFactory Tools for Visual Studio 等

Azure 資料服務與資源可以協助我完成哪些工作？

透過這一門課程的學習，我們聚焦在學習面對資料處理相關問題時，可以採用 Azure 相對的雲端服務或者資源進行協助與架構建立，並且完成問題的解決方案與實現。

1.如結構式資料需求方案，我們可以採用 SQL Database 或者支援的第三方資料庫，如 MySQL 或者 PostgreSQL 等。

2.整合 NoSQL ，如 MongoDB 或者是 Core SQL 的 CosmosDB。

3.進行整合服務 (Integration Service) 與自動化資料遷移 workflow 設計的 Data Factory。

4.進行非結構式文件管理的 Azure Storage (Blob/Share File/Table) 等。

5.完全受控的巨量資料分析與建模的存放區-Data Lake Analytics。

6.具有優異速度產生分析資料的 Aure Synapse Analytics。

7.可以整合 IoT 進行即時串流處理的 Azure Stream Analytics。

8.使用在完全受控且整合 Apache Spark 的 Azure Databricks。

我們採用的學習方式

在這一個符合認證課程 DP-900 的課程範圍內，除了透過圖解與實際進入 Azure 相關服務與資源的產品介面，以及概念與應用說明外。我們希望透過可以實際可行操作的範疇，整合地端工具與運端工具，帶領你進入相關產品與服務的建置與設計範圍。讓您可以入門階段的演練與操作，能夠實務在實務，不單純只針對考試議題或者方向講解與說明。

另外在實際演練 SQL Database 過程中，讓您準備熟悉雲端資料庫實際的應用，可順利進入 DP-300 關聯式資料庫管理師的範疇進行實作的練習與操作。

地端與雲端 SQL Database 實體操作演練，讓您準備進入 DP-300 資料庫管理師範疇，前置能力訓練與準備。

這一門課程實務與概念並用，同時將地端檔案管理與資料庫伺服器等管理的基礎，串接到 Azure 雲端，讓您可以在實務操作與概念接軌，順利進入 Azure 資料處理的各種領域概念。