返回文章

資料工程

資料移轉不只是搬資料 — 在不確定性中推進專案

以跨系統資料移轉的實務經驗,記錄如何在資料移轉與新系統開發並行時整理規則、協調跨部門需求並推進專案。

前情提要#

從客戶的新功能需求訪談、規格確認、程式開發、功能驗證,到最後部署至正式環境,都是我日常工作的一部分。

然而這些開發大多建立在既有系統上。即使是全新功能,也有現有的系統架構、資料結構及商業邏輯可以參考。

這次參與的資料移轉專案,卻是一個截然不同的情境。

客戶希望將累積近二十年的歷史資料移轉至全新的企業管理平台,涵蓋六大核心模組,以及超過百萬筆的歷史銷售資料。

當新系統不再以舊系統為基礎#

這次專案比較特別的地方,在於客戶並不希望新系統只是舊系統的翻版。

在需求訪談及架構設計階段,客戶刻意避免讓舊系統的功能與規範影響新系統的設計,希望重新從業務需求出發,建立一套全新的企業管理平台。

某種程度上,這是一套從零開始打造的系統。

但對於負責 Migration 的我而言,這也代表很難透過舊系統的運作方式,直接推論新系統的設計。

更重要的是,Migration 與新系統開發是同時進行的。

在我開始撰寫移轉規格書、資料分析報告及移轉程式時,許多資料表、欄位定義及商業規則都尚未定案。

有時候,前幾天才確認的資料結構,過幾天就可能因為需求調整而改變。

然而,專案有既定的上線時程,不可能等到新系統全部開發完成後,才開始進行資料移轉。

因此,如何在資訊不完整的情況下持續推進工作,成為我在這次專案中面臨的第一個挑戰。

那段經常加班到半夜的日子#

在專案進行的過程中,有一段時間,我經常加班到半夜。

並不是因為百萬筆資料有多難處理,也不完全是因為程式開發的工作量,而是我花了大量時間產出的報告及文件,並不是客戶真正想看到的內容。

當時的我,會希望將資料結構、欄位對應、異常情況及處理邏輯盡可能完整地呈現。

站在工程師的角度,我認為只要內容夠詳細、資料夠完整,就能讓客戶理解目前的狀況。

但經過幾次會議及文件調整後,我才逐漸發現,客戶關注的方向與我想像的並不完全相同。

客戶更希望知道的是:

  • 目前各模組進度如何?
  • 哪些問題需要他們協助確認?
  • 什麼時間之前必須完成確認?
  • 如果沒有如期確認,會影響哪些工作?
  • 資料移轉完成後,要如何驗證結果?

這些問題看似簡單,卻是當時的我在整理文件時,沒有充分考量的面向。

那段時間雖然投入了大量時間,但其中有不少工作,其實是因為一開始沒有掌握報告的目的,而產生的重複修改。

後來我才慢慢理解,文件並不是寫得越詳細越好,而是應該依照閱讀對象及使用目的,提供對方真正需要的資訊。

努力完成工作,與有效地完成工作,其實是兩件不同的事情。

重新調整文件與資訊管理方式#

隨著專案持續進行,各模組需要確認的事項越來越多,資料移轉規則也不斷調整。

如果每次討論結果都分散在不同的會議紀錄、規格書及報告中,時間一久,就很難確認哪一份文件才是最新的資訊。

因此,我開始重新調整文件的管理方式。

我將待確認事項依照不同模組整理,並集中在 Excel 中管理,記錄每個問題的背景、影響範圍、暫定處理方式、確認狀態及討論結果。

如果後續有新的問題或規則異動,就直接更新既有文件,而不是每次重新產出一份獨立的問題清單。

同時,我也將移轉規則區分為三種狀態:

  • 已確認:依照正式確認的規則進行開發。
  • 暫定:依據目前掌握的資訊先行處理。
  • 待確認:仍需要客戶或其他相關人員進一步確認。

這樣的方式,除了讓我更容易掌握每個模組的狀況,也能讓後續的會議有更明確的討論方向。

規格書負責說明移轉內容,待確認事項則集中管理,程式再依據目前的規則進行開發。

對於部分尚未定案的規則,也可以透過設定值保留調整空間,降低後續修改程式的成本。

我逐漸建立起一套管理資訊、追蹤決議及因應變動的工作方式,而不是單純依靠增加工作時間來處理問題。

第一次跨部門合作#

雖然過去已有與客戶訪談及確認需求的經驗,但這次是我第一次參與涉及如此多部門與角色的專案。

除了公司內部的 PM、SA 及各模組開發人員,也需要與客戶端的人資、財務、BI 團隊、各業務模組負責人,以及外部合作夥伴進行溝通。

不同部門有不同的工作方式,也有各自關注的重點。

在專案初期,我比較習慣以程式開發的角度估算時程,卻低估了需求討論、資料確認、客戶回覆及其他團隊開發所需要的時間。

即使自己的程式已經完成,只要相關的業務規則尚未確認,或者其他模組還在調整,工作就可能無法進入下一個階段。

後來,我開始重新思考工作的優先順序。

不再只是按照各模組的開發工作量安排時程,而是將問題的複雜度、影響範圍、其他團隊的依賴關係,以及客戶需要多少時間進行確認,一併納入考量。

我也逐漸理解,專案進度並不是所有人的工作進度加總,而是不同角色之間能否順利銜接。

學習站在客戶的角度思考#

過去即使經常與客戶討論新功能,我在分析問題時,仍然比較習慣站在工程師的角度思考。

例如,當資料出現異常時,我第一時間想到的可能是資料表、欄位定義、SQL 語法或程式處理方式。

但客戶更在意的,是這些問題是否會影響日常作業,以及新系統最終會呈現什麼樣的結果。

在這次資料盤點中,我發現產品主檔中包含大量非產品類型的資料、系統上的在職員工數量與實際人數不一致,以及部分歷史價格的有效期限與業務現況有所落差。

這些問題可以透過 SQL 找出來,但如何處理,卻不能單純由工程師決定。

因此,我開始使用客戶熟悉的報表欄位、實際案例、資料筆數及白話說明,讓客戶更容易理解問題。

與其直接詢問客戶異常資料應該如何處理,不如先整理出實際明細、可能的處理方式,以及不同選擇所帶來的影響,再讓客戶進行判斷。

過程中,客戶也透過我們整理的資料,發現一些過去未曾注意到的問題,甚至回頭修正舊系統中的歷史資料。

這讓我發現,Migration 不只是協助客戶將資料移轉至新系統,也是一個讓客戶重新認識自己系統的過程。

從功能開發到理解整體系統#

由於同時負責各模組的 Migration 及 Reporting,我必須理解新舊系統的資料結構,以及不同模組之間的關聯。

例如,客戶主檔重新移轉後,可能連帶影響銷售紀錄、價格資料及其他外部系統的資料匯入。

這也代表我不能只確認單一移轉程式是否正確,而是需要掌握整體資料流、執行順序及可能造成的影響。

在驗證方面,我也學習將資料庫比對、系統畫面驗證及 BI 報表驗證分開規劃,讓不同角色可以使用自己熟悉的方式確認資料。

工程師可以透過 SQL 驗證資料是否正確,但對於一般使用者而言,他們可能更適合透過實際畫面或日常使用的報表進行確認。

如何讓不同角色都能參與驗證,也是這次專案帶給我的重要經驗。

AI 在這次專案中的角色#

這次專案中,我也大量運用 AI 協助規格書整理、SQL 撰寫、移轉程式開發、測試工具建立及資料交叉比對。

AI 確實讓我能夠在有限的時間內完成更多工作,但這次經驗也讓我看到 AI 的另一個限制。

如果我自己都還沒有理解客戶想要什麼,即使 AI 能夠快速產出一份內容完整的報告,也不代表那就是客戶需要的報告。

AI 可以加快產出的速度,卻無法替我完成對需求、商業邏輯及專案背景的理解。

因此,如何正確定義問題、提供背景資訊,以及判斷產出的結果是否符合需求,仍然是工程師需要具備的能力。

如果再做一次,我會怎麼做?#

回頭檢視這段經歷,如果有機會重新參與類似的專案,我想自己會做出一些不同的選擇。

一、先確認對方想看到什麼,再開始大量產出。

在建立正式報告或規格書之前,先提供一份小規模的範例,確認文件方向、內容深度及呈現方式,避免投入大量時間後才發現方向不符。

二、從專案的整體角度安排時程。

除了程式開發時間,也將需求確認、跨部門溝通、其他團隊的開發進度及可能發生的變動納入規劃,並優先處理風險較高的模組。

三、從專案初期就建立統一的資訊管理方式。

依照模組集中管理待確認事項、移轉規則、討論結果及異動紀錄,避免資訊分散在不同文件中,也讓每個問題都能被持續追蹤。

四、接受不確定性,但不要讓不確定性失去管理。

對於尚未定案的規格,明確記錄目前的假設、暫定方案及影響範圍,在不影響正式資料的前提下先行開發,並保留後續調整的空間。

五、提早站在使用者的角度思考驗收。

不只思考程式要怎麼寫,也要思考完成後如何讓客戶理解成果、驗證資料,以及確認這些成果是否符合實際業務需求。

這些事情,都是我希望自己在下一次專案中,能夠更早開始做到的。

這次專案帶給我的成長#

我仍然是一名 RD,也仍然喜歡透過技術解決問題。

但這次專案讓我發現,工程師的成長不一定只是學會更多程式語言、框架或開發工具。

理解客戶的想法、掌握商業邏輯、管理不確定性,以及與不同部門共同推進一個專案,同樣是需要透過經驗不斷累積的能力。

回頭看那段經常加班到半夜的日子,我不認為延長工作時間就是解決問題的方法。那些經歷真正有價值的地方,是讓我看見自己工作方式上的不足,並逐漸找到改善的方法。

過去的我,比較在意一件事情能不能完成。

現在的我,也開始思考這件事情是否做在正確的方向上、是否符合對方的期待,以及能不能用更有效率的方式完成。

專案仍在進行,我也還有很多需要學習的地方。

但相較於百萬筆資料的移轉,我認為這些思考方式上的改變,才是這次專案最值得被記錄下來的收穫。