1、發現中醫症狀間的關聯關係和諸多症狀間的規律性，並且依據規則分析病因、預測病情發展以及爲未來臨牀診治提供有效借鑑。
根據數據實現以下目標：
1）藉助三陰乳腺癌患者的病理信息，挖掘患者的症狀與中醫證型之間的關聯關係。
2）對截斷治療提供依據，挖掘潛性證素。
2、數據獲取：以問卷調查方式對數據進行收集，並將問卷信息整理成原始數據。（患者臨牀病理性息大部分都記錄在紙張上，包含了患者的基本信息，具體患病信息等，很少會將患者的患病信息存放於系統中，因此進行數據分析時會面臨數據缺乏的情況，針對這種情況採用問卷調查方式收集數據。）
3、數據預處理：本案例中數據預處理過程包括數據清洗、屬性規約和數據變換。
1）數據清洗：在收回的問卷中，存在無效的問卷，爲了便於模型分析，需要對其進行處理。
2）屬性規約：本案例收集到的數據共有73個屬性，爲了更有效地對其進行挖掘，將其中冗餘屬性與挖掘任務不相關的屬性剔除。
3）數據變換：本章數據變換主要採用屬性構造和數據離散化兩種方法對數據進行處理。首先通過屬性構造獲得症型係數，然後通過聚類算法對數據進行離散化處理，形成建模數據。
4、模型構建
本案例的目標是探索乳腺癌患者TNM分期與中醫症型係數之間的關係，因此採用關聯規則算法，挖掘它們之間的關聯繫數。
關聯規則算法主要用於尋找數據集中項之間的關聯關係。它揭示了數據項間的未知關係，基於樣本的統計規律，進行關聯規則挖掘。根據所挖掘的關聯關係，可以從一個屬性的信息來推斷另一個屬性的信息。當置信度達到某一閾值時，就可以認爲規則成立。
#coding:utf-8
#數據聚類離散化代碼
'''
聚類離散化，最後的result格式爲：
1 2 3 4
A 0 0.178698 0.257724 0.351843
An 240 356 281 53
即（0，0.178698]有240個，（0.178698,0.257724]有356個，依此類推
'''
import pandas as pd
from sklearn.cluster import KMeans #導入K均值聚類算法
datafile = './data/data.xls' #待聚類的數據文件
processedfile = './tmp/data_processed.xls' #數據處理後文件
typelabel = {u'肝氣鬱結證型係數':'A',u'熱毒蘊結證型係數':'B',u'衝任失調證型係數':'C',
u'氣血兩虛證型係數':'D',u'脾胃虛弱證型係數':'E',u'肝腎陰虛證型係數':'F'}
k = 4 #需要進行的聚類類別數
#讀取數據並進行聚類分析
data = pd.read_excel(datafile) #讀取數據
keys = list(typelabel.keys()) #['肝氣鬱結證型係數', '熱毒蘊結證型係數'...]
result = pd.DataFrame() #創建DataFrame DataFrame是一個類似於表格的數據類型
if __name__ == '__main__': #判斷是否主窗口運行
for i in range(len(keys)):
#調用k-means算法，進行聚類離散化
print(u'正在進行"%s"的聚類...'%keys[i])
kmodel = KMeans(n_clusters=k, n_jobs=4) #n_jobs是並行數，一般等於CPU數較好
kmodel.fit(data[[keys[i]]].as_matrix()) #訓練模型 as_matrix()將對應列的數據轉換爲矩陣
r1 = pd.DataFrame(kmodel.cluster_centers_, columns=[typelabel[keys[i]]]) #聚類中心
# print(r1)
# eg:
# B
# 0 0.206957
# 1 0.386306
# 2 0.094575
# 3 0.593103
r2 = pd.Series(kmodel.labels_).value_counts() #分類統計 Series結構是基於NumPy的ndarray結構，是一個一維的標籤矩陣（感覺跟python裏的字典結構有點像）
# print(r2)
#eg:
# 2 356
# 0 281
# 1 240
# 3 53
# dtype: int64
r2 = pd.DataFrame(r2, columns=[typelabel[keys[i]]+'n']) #轉爲DataFrame，記錄各個類別的數目
# print(r2)
#eg:
# Bn
# 2 385
# 1 323
# 0 168
# 3 54
#concat函數是在pandas底下的方法，可以將數據根據不同的軸作簡單的融合 axis:需要合併鏈接的軸，0是行，1是列
r = pd.concat([r1, r2], axis=1).sort_values(typelabel[keys[i]]) #匹配聚類中心和類別數目
r.index = [1, 2, 3, 4]
# print(r)
# B Bn
# 1 0.094575 325
# 2 0.206957 396
# 3 0.386306 180
# 4 0.593103 29
r[typelabel[keys[i]]] = pd.rolling_mean(r[typelabel[keys[i]]], 2) #rolling_mean()用來計算相鄰2行的均值，以此作爲邊界點
# print(r[typelabel[keys[i]]])
# 1 NaN
# 2 0.150766
# 3 0.296631
# 4 0.489705
# Name: B, dtype: float64
r[typelabel[keys[i]]][1] = 0.0 #這兩句代碼將原來的聚類中心改爲邊界點
result = result.append(r.T)
result = result.sort_index() #以Index排序，即以A,B,C,D,E,F順序排
result.to_excel(processedfile)#coding:utf-8
# Apriori關聯規則算法
import pandas as pd
from apriori import * #導入自行編寫的高效Apriori函數
import time #導入時間庫用來計算用時
inputfile = './data/apriori.txt' #輸入事物集文件
data = pd.read_csv(inputfile, header=None, dtype=object)
start = time.clock() #計時開始
print(u'\n轉換原始數據至0-1矩陣...')
ct = lambda x: pd.Series(1, index= x[pd.notnull(x)]) #轉換0-1矩陣的過渡函數，即將標籤數據轉換爲1
b = map(ct, data.as_matrix()) # 用map方式執行
data = pd.DataFrame(list(b)).fillna(0) #實現矩陣轉換，除了1外，其餘爲空，空值用0填充 b爲迭代器，不可直接使用
end = time.clock() #計時結束
print(u'\n轉換完畢，用時：%0.2f秒'%(end - start))
del b #刪除中間變量b,節省內存
support = 0.06 #最小支持度
confidence = 0.75 #最小置信度
ms = '---' #連接符，默認'--'，用來區分不同元素，如A--B。需要保證原始表格中不含有該字符
start = time.clock() #計時開始
print(u'\n開始搜索關聯規則...')
find_rule(data, support, confidence, ms)
end = time.clock() #計時結束
print(u'\n搜索完成，用時：%0.2f秒'%(end - start))#coding:utf-8
import pandas as pd
#Apriori算法實現文件
#自定義連接函數，用於實現L{k-1}到C_k的連接
def connect_string(x,ms):
x = list(map(lambda i:sorted(i.split(ms)),x))
l = len(x[0])
r = []
for i in range(len(x)):
for j in range(i,len(x)):
if x[i][:l-1] == x[j][:l-1] and x[i][l-1] != x[j][l-1]:
r.append(x[i][:l-1]+sorted([x[j][l-1], x[i][l-1]]))
return r
#尋找關聯規則函數
def find_rule(d, support, confidence, ms=u'--'):
result = pd.DataFrame(index=['support', 'confidence']) # 定義輸出結果
support_series = 1.0 * d.sum() / len(d) # 支持度序列 DataFrame中1的和/DataFrame的長度
#eg:
#A1 0.262366
# A2 0.381720
# A3 0.298925
column = list(support_series[support_series > support].index) # 初步根據支持度篩選
k = 0
while len(column) > 1:
k = k + 1
print(u'\n正在進行第%s次搜索...' % k)
column = connect_string(column, ms)
print(u'數目：%s...' % len(column))
sf = lambda i: d[i].prod(axis=1, numeric_only=True) # 新一批支持度的計算 prod函數連乘操作，將裏面所有的元素相乘
# 創建連接數據，這一步耗時、耗內存最嚴重。當數據集較大時，可以考慮並行運算優化。
d_2 = pd.DataFrame(list(map(sf, column)), index=[ms.join(i) for i in column]).T
support_series_2 = 1.0 * d_2[[ms.join(i) for i in column]].sum() / len(d) # 計算連接後的支持度
column = list(support_series_2[support_series_2 > support].index) # 新一輪支持度篩選
support_series = support_series.append(support_series_2)
column2 = []
for i in column: # 遍歷可能的推理，如{A,B,C}究竟是A+B-->C還是B+C-->A還是C+A-->B？
i = i.split(ms)
for j in range(len(i)):
column2.append(i[:j] + i[j + 1:] + i[j:j + 1])
cofidence_series = pd.Series(index=[ms.join(i) for i in column2]) # 定義置信度序列
for i in column2: # 計算置信度序列
cofidence_series[ms.join(i)] = support_series[ms.join(sorted(i))] / support_series[ms.join(i[:len(i) - 1])]
for i in cofidence_series[cofidence_series > confidence].index: # 置信度篩選
result[i] = 0.0
result[i]['confidence'] = cofidence_series[i]
result[i]['support'] = support_series[ms.join(sorted(i.split(ms)))]
result = result.T.sort_values(['confidence', 'support'], ascending=False) # 結果整理，輸出
print(u'\n結果爲：')
print(result)
return result
