數據遷移:從sql2008到oracle 10g

一、背景
新舊系統數據庫不一致,要將舊系統數據遷到新系統上。部分關鍵表的數據,更改數據結構(類型長度等)錄入到新庫表中。單表數據量百萬-千萬。
二、遷移工具
1、vc開發程序或其他開發工具,同時連接sql和oracle,一一對應數據庫表和字段。對應字段間的映射關係,修改主鍵等。靈活性大。
2、據說kettle是開源數據遷移軟件,有興趣的可以試試。附一個例子:http://ainidehsj.iteye.com/blog/1735434
三、小技巧
1、vc連接數據庫採用otl方式,速度較快。
2、oracle相關表關閉logging功能,insert語句採用insert /+APPEND/ into
3、數據後期處理時,因爲數據量太大,往往採用create table as select 方式取出要處理的數據或者按照自己希望的方式進行排序,在新建表中省去order操作。同時也刪除索引等,根據需要重建索引,處理完畢後復原所有索引。
4、並行處理:待處理數據分成幾塊(本機4核處理器,故分成3塊,plsql佔用一個核),寫3個存儲過程,生成3個job,讓3個job同時運行(一個job運行一個存儲過程),可實現並行處理。(存儲過程的並行好像沒法實現,依託於job實現並行)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章