非資訊背景工程師,如何靠實務專題轉職資料工程師?
我過去一直在土木工程領域工作,前一段時間開始,公司積極推動大數據與 AI 技術,工作上也慢慢用開始使用到相關AI工具。
因此,啟發了想要深入學習資料科學應用,跟了解AI工具在實務上銜接。很單純地想搞懂:
「資料科學到底在做什麼?為什麼現在工程這麼常跟 AI、資料扯在一起?」
我不想只停在「工具會用」,卻連背後原理都說不清楚。
一開始學 Python、SQL,其實真的滿挫折的
在參加 資料工程師養成班 之前,我對資料工程是完全陌生的,說真的,對資料處理、工程開發這一塊,我可以說是完全沒有基礎。
剛開始學習 Python、SQL 甚至是 Linux 操作時,其實非常吃力,有時候連錯誤訊息都看不懂。
結訓專題,讓我第一次真正走完一條資料流程
在資料工程師養成班的學習過程中,在結訓專題中真正應用所學解決問題時,那種成就感讓我至今難忘。
我和團隊合作的專題是《全台露營資訊整合與評論分析》。
這個專題需要從多個平台網路爬蟲蒐集資料,包含 Google Maps、痞客邦、ETtoday 等來源,再進一步用 Gemini AI 進行評論文字分析與標籤歸類。
在專題中,我負責的是資料工程相關的工作,包含資料清洗、ETL 流程設計,以及將資料部署到 Google Cloud 平台。
這是我第一次,不只是寫程式,而是實際思考「資料怎麼進來、怎麼被處理、最後怎麼被使用」。
最具挑戰的是,資料量龐大時,流程出問題的解決方案
隨著資料量逐漸增加,新的問題也隨之出現。資料爬取的過程中,常因網路不穩或資料量龐大,導致中斷、重複處理,甚至影響整體流程穩定性。
這些問題,沒有辦法靠單次手動處理解決。於是我們嘗試導入 checkpoint 機制,並利用 Airflow 搭配 Docker 進行排程與任務監控。
這個過程不只提升了效率,也讓我真正理解到自動化與雲端部署在實務中的意義。
從確立技能到與多家公司談薪:對自己的技術堆疊與專案經驗更有信心
參加資料工程師轉職培訓班對我的職涯有很大的幫助。課程內容從資料清理、資料庫操作、ETL流程到雲端部署與專案實作,都非常扎實且實務導向。
過去我對資料工程只有模糊的概念,透過這段密集的訓練,我不僅打下技術基礎,也開始能夠獨立思考並解決資料流程中的問題。
結訓之後,我更有信心投遞與資料相關的職缺。在面試中,也能清楚說明自己的技術堆疊與專案經驗,這對一個跨領域轉職的人來說,是非常關鍵的一步。
從課程設計到職涯輔導,緯育TibaMe資料工程師養成班值得推薦的地方
我覺得緯育TibaMe養成班值得推薦的地方在於它的課程設計非常貼近業界需求,而且師資陣容專業、有耐心,會一步一步引導學員從零開始建立技能。同時也有輔導履歷、模擬面試等職涯服務,對於希望順利進入職場的新手非常友善。
跨領域轉職,不要害怕重新開始,也不要低估自己的潛力
如果要給正在經歷職涯轉換、或感到迷惘的人一句話,我會說:
「不要害怕重新開始,也不要低估自己的潛力。」
轉職的過程一定會有焦慮和不安,但只要你肯學、持續練習,成長的速度往往超出想像。
如果你也想了解資料工程領域…
如果你想進一步了解資料工程師的工作內容、專題實作方式,或想看看課程是否適合自己,可以先參考 緯育TibaMe 資料工程師養成班 或課程說明會。
