方法1:採用表分區技術。
第一次聽說表分區,是以前的一個oracle培訓。oracle既然有表分區,就想到mssql是否有表的分區,當時我回家就google了一把,資料還是有的,在這我兒只是再作一次推廣,讓更多的人瞭解和運用這些技術。
表分區,就是將一個數據量比較大的表,用某種方法把數據從物理上分成若干個小表來存儲,從邏輯來看還是一個大表。首先來個結構圖:
上圖雖然不能很清晰的表達表分區的執行過程,但是可以看出表分區要用到那些對象,比如數據文件,文件組,分區方案,分區函數等。
我們以一個用戶表(TestUser)爲例,假設這個表準備用來存儲中國部分公民的數據,每條數據記錄着每個人所屬的省份(Area),以及每個人的姓名(UserName),如下圖所示。當數據量達到1千萬的時候,查詢就比較慢了,這時候的數據優化就迫在眉睫。
在優化之前,根據數據的結構,讀寫操作等,肯定會提出若干個解決方案。在這兒就以分區表的方案來優化數據庫的查詢,這兒以區域來分別存儲數據,比如廣東的公民存放在AreaFile01.MDF文件中,湖南的公民存放在AreaFile02.MDF的文件中,四川的公民存放在AreaFile03.MDF的文件中,以此類推其它省份,爲了實現這個功能我們就得做分區方案。在做分區方案時,首先要搞清楚分區方案要涉及到的四個對象:文件組,文件,分區函數,分區方案。
a:文件組,用來組織數據文件(.MDF)的一個虛擬名稱,一個文件組可以添加多個數據文件(.MDF)。打開SQL管理器,找到具體的數據庫,然後右鍵【屬性】,進入到【文件組】選項卡,添加Area01,Area02,Area03,Area04四個文件組。如圖:
b:然後選擇中【文件】選項卡,添加AreaFile01,AreaFile02,AreaFile03,AreaFile04,AreaFile05,AreaFile06六個數據文件(.MDF),然後指定每個文件屬於那個文件組(一個文件組可以存儲多個數據文件),以及這個文件的物理路徑。在這兒大家已經看明白了,這些數據文件,就是物理上來分割一個數據表的數據的。也就是說一個表的數據有可能存儲在AreaFile01中,也有可能存儲在AreaFile02中,只要用某種方法來指定他們的存儲規則就行了。
c:分區函數,就是指定數據的存儲規則。就是告訴SQL,把新增的數據如何分區。創建一個分區函數,可以用下邊的SQL語句來實現。
1
2
|
CREATE
PARTITION FUNCTION
partitionFunArea (nvarchar(50)) AS
RANGE Left
FOR
VALUES
( '廣東' , '湖南' , '四川' ) |
d:辛苦的創建了文件,又爲其指定文件組,還建一個分區函數,目的只有一個,就是爲了創建一個分區方案。分區方案可以用以下代碼來創建。
1
2
3
4
5
6
7
|
CREATE
PARTITION SCHEME partitionSchemeArea AS
PARTITION partitionFunArea TO
( Area01, Area02, Area03, Area04) |
經過緊張的四步操作,一個分區方案就呈現在我們的眼前了。接下來的事,就是我們要怎樣來消費這個分區方案。
首先我們創建一人普通的表,然後給這個表指定一個分區方案。如下代碼。
1
2
3
4
5
|
CREATE
TABLE
TestUser( [Id]
[ int ]
IDENTITY(1,1) NOT
NULL , [Area]
nvarchar(50), [UserName]
nvarchar(50) )
ON
partitionSchemeArea([Area]) |
爲了能看到效果,再插入一些數據。
1
2
3
4
5
6
7
8
9
10
11
|
INSERT
TestUser ([Area],[UserName]) Values ( '四川' , '肖一' ); INSERT
TestUser ([Area],[UserName]) Values ( '四川' , '肖二' ); INSERT
TestUser ([Area],[UserName]) Values ( '四川' , '肖三' ); INSERT
TestUser ([Area],[UserName]) Values ( '四川' , '肖四' ); INSERT
TestUser ([Area],[UserName]) Values ( '廣東' , '張一' ); INSERT
TestUser ([Area],[UserName]) Values ( '廣東' , '張二' ); INSERT
TestUser ([Area],[UserName]) Values ( '廣東' , '張三' ); INSERT
TestUser ([Area],[UserName]) Values ( '湖南' , '楊一' ); INSERT
TestUser ([Area],[UserName]) Values ( '湖南' , '楊二' ); |
查詢所有的數據,可以用select * from TestUser; 按分區查詢:就用如下方法:
1
2
3
4
5
6
|
select
$PARTITION.partitionFunArea([Area]) as
分區編號, count (id)
as
記錄數 from
TestUser group
by
$PARTITION.partitionFunArea([Area]) select
* from
TestUser where
$PARTITION.partitionFunArea([Area])=1 select
* from
TestUser where
$PARTITION.partitionFunArea([Area])=2 select
* from
TestUser where
$PARTITION.partitionFunArea([Area])=3 select
* from
TestUser where
$PARTITION.partitionFunArea([Area])=4 |
你們看我一個簡單的表的分區是不是就已經完成了。呵呵,當然在實際應用中,僅僅掌握這點是不夠的,比如在原分區方案上添加一個分區,刪除一個分區。
方法2:用xml類型代替主從表設計,從而達到提高查詢性能。
優化和提高數據庫的性能,是從一個良好的數據庫設計開始的。以一個會議預訂系統爲例,一個預訂會議系統包括了會議時間,會議地點,主持人,參與人,知會人,記錄者等相關信息。在的TDD,DDD模型主導的時代,在這兒爲了更好的想表達我要闡述的問題,還是以表驅動模型來進行開發。
用戶需求:
a:一個會議可能有多個主持人,雖然這種情況比較少,但是也有可能有。
b:一個會議有多個參與人,這個不難理解。
c:一個會議有可能要讓某人知曉,這人可以參與或不參與會議,一般爲高層。
d:一個會議有可能有零個或者多個記錄者。
e:一個會議需要遠程視頻,投影儀,電腦,麥克風等會議設備中的某些設備。
f:會議預訂成功,或者會議時間,會議地點等重要信息修改後,郵件通知與會人員。
常規數據庫設計:
a:建一個Meeting的主表,用於存放會議名稱,會議地點,會議時間等的相關信息。
b:再建一個MeetingUser的表存儲主持人,參與人,知會人,記錄者。
c:同樣,會議所需要的設備用MeetingDevice表來存儲相關的信息。如圖:
這樣的表結構,是比較常規的設計方法,但是在實際應用中,你會發現一些待改進的問題。比如:
a:在提取一個會議的相關信息時,會連接多個表進行查詢。這種查詢在很大的程序上影響了數據庫性能。
b:在做修改操作時也夠嗆的,先修改主表的相關信息,再把主表關聯的子表信息全部刪除重新插入一次,這樣的操作是否夠吐血了。當然有人精益求精,會比較修改前和修改後的數據,再用增加,刪除,修改的手段達到子表數據的更新。這樣的操作在有些ORM操作中已經實現了,但當自己code代碼來實現的時候,特別是在多次code的時候,感覺總是那麼煩心。
吐槽了這麼多,是否有更好的解決方案呢?當然,在SQL裏,我們可以XML數據類型來消除主從表的設計。如圖:
上面的表結構設計,是不是有一個小清新的感覺呢?很明顯,可以把第一種表的設計缺陷給消除了。一個會議的相關信息都存儲在了一個表的一條記錄中,這樣的數據看起來是不是更直觀呢?
a:獲取一個預訂會議的詳細信息,我不需要進行多個表的連接查詢,我要做的是隻需用C#的Linq.Xml來解析查詢出來的XML字符串即可。
b:修改操作時,我只需要重新組合XML數據,一個Update就更新了與會議相關的信息,操作是不是簡單多了。
表面上看這種設計已經完美了,但是用戶的需求是無止境的,有一天,你收到了一個需求,查詢某個用戶參與過的所有會議(就是隻要主持人,參與人,或者記錄者中包括了這個用戶,就把這些記錄都給查詢出來),Oh!My God 這種表結構設計應該怎麼解決這個問題呢?其實可以用XQuery解決這個問題,還沒接觸過XQuery的那得趕快充一下電了。XQuery中最常用的有exist(),value()這些函數,這兒就不詳細的介紹了,網上搜索一下有很多相關資料,如果有必要,我會把以前項目中用的XQuery技巧與大家分享。
本文轉載自:伯樂在線