-
1 # 明企科技
-
2 # 古月神活
分享一下我的經驗,首先如果是跑了很多年的老系統遷移到新系統,建議將資料遷移和系統切割當成一個獨立的專案來管理,其次,至少建立兩套測試環境用來驗證遷移後的資料;再次,制定遷移方案時要分別從資料維度,功能模組維度,主次維度,資料冷熱維度分別考慮,總之沒有最好的方案,只有最適合的方案。
-
3 # 甲行申
不知道提問者說的特別複雜具體是指哪方面的。如果能描述得比較具體的話,以個人經驗應該能給出一些解決方案。
從個人實施的相關專案的資料遷移工作來看,資料遷移過程中,有兩個比較關鍵的工作:
歷史資料(舊系統)整理和清洗;確認遷移方法和開發資料遷移工具。在實施過程中,個人遇到的比較難的情況主要有以下三點:
資料量大,舊系統中資料量異常龐大,給資料清洗和整理造成比較大的困難;垃圾資料很多,舊系統中存著很多垃圾資料,在遷移過程中需要將這些垃圾資料清理掉;新舊系統的資料模型差異較大,由於資料模型的差異,導致遷移工具的開發需要比較長的時間,同事由於差異還可能需要業務對相關資料進行補齊,工作量非常大。因此,在遇到這些問題時,通常會採取以下做法:
-
4 # yzlyzlyz1
遷移場景是什麼?
同構資料庫還是非同步資料庫的遷移?
全量遷移還是增量遷移?
遷移後的資料校驗方案?
可瞭解我司的容災工具:
沃信資料容災方案實施步驟如下:
1. 透過沃信資料遷移工具將某個時間點的資料從生產資料庫遷移到備份資料庫,當然,也可以採用冷備份方式(磁帶備份恢復)進行資料遷移。見上圖中第一步。
2. 資料遷移完成後,沃信資料同步工具將從備份點往後開始資料同步,按照生產系統上交易發生順序,將生產資料庫的變化同步到備份資料庫,並保證兩端資料一致性。這也是最經常的應用方式,見上圖中第二步(綠色線路)。
3. 正常情況下,上圖中第三步的紅色線路是不會啟用的,這是一個反向同步操作,只有當生產資料庫故障或需要進行滾動維護升級時,才需要啟動紅色線路,此時步驟如下:
ü 生產系統故障時:
a) 首先備份資料庫將資料同步到故障發生時的最後資料,然後停止綠色線路,由備份資料庫繼續提供服務,啟動紅色線路,進行反向資料同步。如果是生產資料庫和備份資料庫是負載均衡模式,那麼不需要進行切換,如果是其他模式,則需要將備份資料庫切換為生產資料庫。
b) 沃信資料同步工具從備份資料庫中獲取Redo Log來跟蹤備份資料庫的變化,並進行正常的日誌分析。
c) 如果生產資料庫恢復正常,沃信資料同步工具將分析出的SQL語句在生產資料庫上重做,讓生產資料庫的資料與備份資料庫一致。
d) 當資料同步後,如果生產資料庫和備份資料庫是負載均衡的,那麼可以開放生產資料庫,開始提供業務服務。否則,需要停止紅色線路,讓生產資料庫對外提供服務,然後恢復綠色線路,恢復到正常工作模式。
ü 滾動維護升級時:除了因故障導致必須被動停止綠色線路,改成主動停止生產資料庫對外服務,再停止綠色線路,然後進行生產資料庫維護升級,並且在備份資料庫維護升級前需要停止備份資料庫對外服務外,其他步驟與生產故障時的步驟相同。
a) 首先主資料庫的對外服務,將備份資料庫資料同步到主資料庫的最後資料,然後停止綠色線路,進行資料庫切換,由備份資料庫繼續提供服務,進行主資料庫硬體維護或軟體升級,同時啟動紅色線路,進行反向資料同步。
b) 沃信資料同步工具從備份資料庫中獲取Redo Log來跟蹤備份資料庫的變化,並進行正常的日誌分析。
c) 等生產資料庫維護升級完成,正常啟動後,沃信資料同步工具將分析出的SQL語句在生產資料庫上重做,讓生產資料庫的資料與備份資料庫一致。
d) 當資料同步後,如果生產資料庫和備份資料庫是負載均衡的,那麼可以開放生產資料庫,開始提供業務服務。否則,需要停止紅色線路,進行資料庫切換,讓生產資料庫對外提供服務,然後恢復綠色線路,恢復到正常工作模式。
4. 備份資料庫故障:當備份資料庫大面積故障時,可以停止裝載程序,進行備份資料庫維護,修復故障後,重啟裝載程序,恢復到正常同步過程。如果備份資料庫單個表發生故障,導致針對該表的裝載步驟出錯時,沃信容災系統允許跳過該表的部分交易,繼續進行後續交易同步,不影響整體容災過程。同時,可以利用資料遷移工具和資料校驗工具補充跳過部分的交易資料,使整個資料庫恢復正常。
5. 沃信容災系統故障:沃信容災系統相關程序均可獨立重啟,一旦某個程序發生故障,重新啟動該程序,系統會保證資料一致性,並從故障前最後的正常資料開始進行後續處理,除了故障階段的時間延遲外,不會影響容災過程的正確性和資料一致性、完整性。
回覆列表
資料遷移是資料系統整合中保證系統平滑升級和更新的關鍵部分。在資訊化建設過程中,隨著技術的發展,原有的資訊系統不斷被功能更強大的新系統所取代。從兩層結構到三層結構,從Client/Server 到Browser/Server。在新舊系統的切換過程中,必然要面臨一個數據遷移的問題。