資料工程
資料移轉不只是搬資料 — 在不確定性中推進專案
以跨系統資料移轉的實務經驗,記錄如何在資料移轉與新系統開發並行時整理規則、協調跨部門需求並推進專案。
前情提要#
從客戶的新功能需求訪談、規格確認、程式開發、功能驗證,到最後部署至正式環境,都是我日常工作的一部分。
然而這些開發大多建立在既有系統上。即使是全新功能,也有現有的系統架構、資料結構及商業邏輯可以參考。
這次參與的資料移轉專案,卻是一個截然不同的情境。
客戶希望將累積近二十年的歷史資料移轉至全新的企業管理平台,涵蓋六大核心模組,以及超過百萬筆的歷史銷售資料。
當新系統不再以舊系統為基礎#
這次專案比較特別的地方,在於客戶並不希望新系統只是舊系統的翻版。
在需求訪談及架構設計階段,客戶刻意避免讓舊系統的功能與規範影響新系統的設計,希望重新從業務需求出發,建立一套全新的企業管理平台。
某種程度上,這是一套從零開始打造的系統。
但對於負責 Migration 的我而言,這也代表很難透過舊系統的運作方式,直接推論新系統的設計。
更重要的是,Migration 與新系統開發是同時進行的。
在我開始撰寫移轉規格書、資料分析報告及移轉程式時,許多資料表、欄位定義及商業規則都尚未定案。
有時候,前幾天才確認的資料結構,過幾天就可能因為需求調整而改變。
然而,專案有既定的上線時程,不可能等到新系統全部開發完成後,才開始進行資料移轉。
因此,如何在資訊不完整的情況下持續推進工作,成為我在這次專案中面臨的第一個挑戰。
那段經常加班到半夜的日子#
在專案進行的過程中,有一段時間,我經常加班到半夜。
並不是因為百萬筆資料有多難處理,也不完全是因為程式開發的工作量,而是我花了大量時間產出的報告及文件,並不是客戶真正想看到的內容。
當時的我,會希望將資料結構、欄位對應、異常情況及處理邏輯盡可能完整地呈現。
站在工程師的角度,我認為只要內容夠詳細、資料夠完整,就能讓客戶理解目前的狀況。
但經過幾次會議及文件調整後,我才逐漸發現,客戶關注的方向與我想像的並不完全相同。
客戶更希望知道的是:
- 目前各模組進度如何?
- 哪些問題需要他們協助確認?
- 什麼時間之前必須完成確認?
- 如果沒有如期確認,會影響哪些工作?
- 資料移轉完成後,要如何驗證結果?
這些問題看似簡單,卻是當時的我在整理文件時,沒有充分考量的面向。
那段時間雖然投入了大量時間,但其中有不少工作,其實是因為一開始沒有掌握報告的目的,而產生的重複修改。
後來我才慢慢理解,文件並不是寫得越詳細越好,而是應該依照閱讀對象及使用目的,提供對方真正需要的資訊。
努力完成工作,與有效地完成工作,其實是兩件不同的事情。
重新調整文件與資訊管理方式#
隨著專案持續進行,各模組需要確認的事項越來越多,資料移轉規則也不斷調整。
如果每次討論結果都分散在不同的會議紀錄、規格書及報告中,時間一久,就很難確認哪一份文件才是最新的資訊。
因此,我開始重新調整文件的管理方式。
我將待確認事項依照不同模組整理,並集中在 Excel 中管理,記錄每個問題的背景、影響範圍、暫定處理方式、確認狀態及討論結果。
如果後續有新的問題或規則異動,就直接更新既有文件,而不是每次重新產出一份獨立的問題清單。
同時,我也將移轉規則區分為三種狀態:
- 已確認:依照正式確認的規則進行開發。
- 暫定:依據目前掌握的資訊先行處理。
- 待確認:仍需要客戶或其他相關人員進一步確認。
這樣的方式,除了讓我更容易掌握每個模組的狀況,也能讓後續的會議有更明確的討論方向。
規格書負責說明移轉內容,待確認事項則集中管理,程式再依據目前的規則進行開發。
對於部分尚未定案的規則,也可以透過設定值保留調整空間,降低後續修改程式的成本。
我逐漸建立起一套管理資訊、追蹤決議及因應變動的工作方式,而不是單純依靠增加工作時間來處理問題。
第一次跨部門合作#
雖然過去已有與客戶訪談及確認需求的經驗,但這次是我第一次參與涉及如此多部門與角色的專案。
除了公司內部的 PM、SA 及各模組開發人員,也需要與客戶端的人資、財務、BI 團隊、各業務模組負責人,以及外部合作夥伴進行溝通。
不同部門有不同的工作方式,也有各自關注的重點。
在專案初期,我比較習慣以程式開發的角度估算時程,卻低估了需求討論、資料確認、客戶回覆及其他團隊開發所需要的時間。
即使自己的程式已經完成,只要相關的業務規則尚未確認,或者其他模組還在調整,工作就可能無法進入下一個階段。
後來,我開始重新思考工作的優先順序。
不再只是按照各模組的開發工作量安排時程,而是將問題的複雜度、影響範圍、其他團隊的依賴關係,以及客戶需要多少時間進行確認,一併納入考量。
我也逐漸理解,專案進度並不是所有人的工作進度加總,而是不同角色之間能否順利銜接。
學習站在客戶的角度思考#
過去即使經常與客戶討論新功能,我在分析問題時,仍然比較習慣站在工程師的角度思考。
例如,當資料出現異常時,我第一時間想到的可能是資料表、欄位定義、SQL 語法或程式處理方式。
但客戶更在意的,是這些問題是否會影響日常作業,以及新系統最終會呈現什麼樣的結果。
在這次資料盤點中,我發現產品主檔中包含大量非產品類型的資料、系統上的在職員工數量與實際人數不一致,以及部分歷史價格的有效期限與業務現況有所落差。
這些問題可以透過 SQL 找出來,但如何處理,卻不能單純由工程師決定。
因此,我開始使用客戶熟悉的報表欄位、實際案例、資料筆數及白話說明,讓客戶更容易理解問題。
與其直接詢問客戶異常資料應該如何處理,不如先整理出實際明細、可能的處理方式,以及不同選擇所帶來的影響,再讓客戶進行判斷。
過程中,客戶也透過我們整理的資料,發現一些過去未曾注意到的問題,甚至回頭修正舊系統中的歷史資料。
這讓我發現,Migration 不只是協助客戶將資料移轉至新系統,也是一個讓客戶重新認識自己系統的過程。
從功能開發到理解整體系統#
由於同時負責各模組的 Migration 及 Reporting,我必須理解新舊系統的資料結構,以及不同模組之間的關聯。
例如,客戶主檔重新移轉後,可能連帶影響銷售紀錄、價格資料及其他外部系統的資料匯入。
這也代表我不能只確認單一移轉程式是否正確,而是需要掌握整體資料流、執行順序及可能造成的影響。
在驗證方面,我也學習將資料庫比對、系統畫面驗證及 BI 報表驗證分開規劃,讓不同角色可以使用自己熟悉的方式確認資料。
工程師可以透過 SQL 驗證資料是否正確,但對於一般使用者而言,他們可能更適合透過實際畫面或日常使用的報表進行確認。
如何讓不同角色都能參與驗證,也是這次專案帶給我的重要經驗。
AI 在這次專案中的角色#
這次專案中,我也大量運用 AI 協助規格書整理、SQL 撰寫、移轉程式開發、測試工具建立及資料交叉比對。
AI 確實讓我能夠在有限的時間內完成更多工作,但這次經驗也讓我看到 AI 的另一個限制。
如果我自己都還沒有理解客戶想要什麼,即使 AI 能夠快速產出一份內容完整的報告,也不代表那就是客戶需要的報告。
AI 可以加快產出的速度,卻無法替我完成對需求、商業邏輯及專案背景的理解。
因此,如何正確定義問題、提供背景資訊,以及判斷產出的結果是否符合需求,仍然是工程師需要具備的能力。
如果再做一次,我會怎麼做?#
回頭檢視這段經歷,如果有機會重新參與類似的專案,我想自己會做出一些不同的選擇。
一、先確認對方想看到什麼,再開始大量產出。
在建立正式報告或規格書之前,先提供一份小規模的範例,確認文件方向、內容深度及呈現方式,避免投入大量時間後才發現方向不符。
二、從專案的整體角度安排時程。
除了程式開發時間,也將需求確認、跨部門溝通、其他團隊的開發進度及可能發生的變動納入規劃,並優先處理風險較高的模組。
三、從專案初期就建立統一的資訊管理方式。
依照模組集中管理待確認事項、移轉規則、討論結果及異動紀錄,避免資訊分散在不同文件中,也讓每個問題都能被持續追蹤。
四、接受不確定性,但不要讓不確定性失去管理。
對於尚未定案的規格,明確記錄目前的假設、暫定方案及影響範圍,在不影響正式資料的前提下先行開發,並保留後續調整的空間。
五、提早站在使用者的角度思考驗收。
不只思考程式要怎麼寫,也要思考完成後如何讓客戶理解成果、驗證資料,以及確認這些成果是否符合實際業務需求。
這些事情,都是我希望自己在下一次專案中,能夠更早開始做到的。
這次專案帶給我的成長#
我仍然是一名 RD,也仍然喜歡透過技術解決問題。
但這次專案讓我發現,工程師的成長不一定只是學會更多程式語言、框架或開發工具。
理解客戶的想法、掌握商業邏輯、管理不確定性,以及與不同部門共同推進一個專案,同樣是需要透過經驗不斷累積的能力。
回頭看那段經常加班到半夜的日子,我不認為延長工作時間就是解決問題的方法。那些經歷真正有價值的地方,是讓我看見自己工作方式上的不足,並逐漸找到改善的方法。
過去的我,比較在意一件事情能不能完成。
現在的我,也開始思考這件事情是否做在正確的方向上、是否符合對方的期待,以及能不能用更有效率的方式完成。
專案仍在進行,我也還有很多需要學習的地方。
但相較於百萬筆資料的移轉,我認為這些思考方式上的改變,才是這次專案最值得被記錄下來的收穫。