從資料工程職位角色，我們可看到有資料工程師、高級資料工程師、資料架構師和首席AI/資料科學家等4個職位。資料工程師不同於AI資料科學家，工作重點在建立數據處理流程、設計資訊架構、開發資訊架構。優化解決方案性能和維護數據處理解決方案。可了解資料工程師經過實戰經驗，更精進技術和解決方案，便可往上升遷。
在訓練AI模型之前，巨量資料在經過清洗進入資料探勘分析之前，
也可說是資料科學家工作開始之前，資料工程師的角色就已經上場了。
每一個資料驅動的業務都需要一個適用於資料科學管道的框架，
這就是資料工程師的日常!
大多數人都懷抱著成為資料科學家的夢想而進入資料科學世界，
但都沒有意識到資料工程師是做什麼的 ?
或者這個角色需要具備什麼能力？
資料工程師是在資料科學專案中的重要組成部分，
對於巨量資料的環境，很多產業對資料工程師的需求量正不斷地往上攀升。
什麼是資料工程師？
資料工程師主要是負責建構和維護資料科學專案資料架構，他們必須確保服務器和應用程式之間的資料串流是連續的。改進資料基礎應用程式，將新的資料管理技術和軟體結合到現有系統中，如何構建資料收集管道，都屬於資料工程師的職責。
在資料工程中最受歡迎的技能之一就是建構資料倉庫的能力。資料倉庫是包含 (收集、儲存和清理) 所有原始資料的地方，如果沒有資料工程師進行，一個資料科學家做的所有任務就會變得沒意義
ETL（萃取、轉換和載入）是資料工程師構建資料管道所準備的步驟，實際上是一份關於如何處理、轉換及收集來的原始資料分析藍圖。與資料科學家不同的是，這個角色不需要太多的學術理論和相關知識。因此，對構建大規模結構和體系結構的開發人員或工程師非常適合這個角色。
資料工程師需具備技能
- 基本程式語言：Python
- 基本ETL技術
- 資料庫知識：SQL、NoSQL
- 資料倉庫：Hadoop、MapReduce、 Spark、Kafka
- 基礎機器學習知識
緯育TibaMe依據新加坡專業技能的相關文獻，訂定了資料工程師的主要工作、關鍵職責、專業&核心職能，幫助企業人資在找尋人才或是培訓員工能參考。
看完了資料工程師的職能介紹，你還對哪些領域數位人才職位好奇嗎?完成問卷就可獲得14個數位人才專業職能白皮書唷！
👉 https://lihi1.com/tiYMy
緯育TibaMe已經有10萬人次來學習AI/資料科學知識或技術，若你想進一步了解或學習 AI / 資料科學的相關知識或技能，歡迎來TibaMe 👉https://www.tibame.com/eventpage/ai_datascientist
下篇文章也將為大家揭曉 資料分析師主要工作和專業&核心職能是什麼？
每週4則，每日5分鐘， 提拔我園丁陪你快速添補AI/資料科學知識與技能。
若你想了解更多AI/資料科學的小知識、及各產業的相關應用，歡迎訂閱TibaMe FB及部落格，或你有其他想了解的主題歡迎在下方留言讓我們知道唷！
