1.列表生成式：res=[x*x for x in range(5)]
2.匿名函数：
与普通函数的区别
#普通函数
1. def func(x,y):
return x+y
#匿名函数
2. lambda x,y: x+y3.决策树：
1.基本算法是贪心（也就是每次取局部最优）
2.在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。
3.根据分割方法的不同，决策树可以分为两类：基于信息论的方法（较有代表性的是ID3、C4.5算法等）和最小GINI指标方法（常用的有CART、SLIQ及SPRINT算法等）。
4.决策树的结构
5.决策树的基本算法（ID3）：
输入：训练样本
输出：决策树
什么是信息熵？
根据香农(Shannon)给出的信息熵公式，对于任意一个随机变量X，它的信息熵定义如下，单位为比特(bit)：
用通俗的话来说：每种可能出现的情况概率乘以该概率的对数（一般以2为底），依次求和，最后取反
处理流程：
1.得到结构化的数据集
2.计算在当前数据集中哪个属性所对应的信息增益最大
2.1对该数据集未进行属性划分前计算（基）信息熵
2.2对该数据集按某个属性划分后计算划分后的信息熵
2.3这个属性所对应的信息增益 就是未划分属性的信息熵-划分属性的信息熵
2.4选择信息增益最大的那个属性作为此次划分的属性
3.在数据集中把已经划分的属性列去除
4.递归往下进行构造
6.练习
'''
1.读取test2.csv文件中的内容，对列M的平均学分绩点进行统计，规定GPA>3.5为优秀，
GPA>3.0为良好,GPA>2.0为合格，否则为不合格，统计每种类别的人数，并对平均学分绩点
这列属性求它的熵
'''
import csv
import math
def getEntropy(dic):
sum=0
for i in dic.values():
sum+=i
entropy=0
for i in dic:
prob=dic[i]/sum
entropy+=prob*math.log(prob,2)
return -entropy
file="D:\\winter_python\\test2.csv"
with open('D:\\winter_python\\test2.csv') as f:
f_csv = csv.reader(f)
next(f_csv)
next(f_csv)
gpa=[]
for row in f_csv:
if row[12]!='':
gpa.append(float(row[12]))
#print(gpa)
dic={}
for i in gpa:
if i >3.5:
if '优秀' in dic.keys():
dic['优秀']+=1
else:
dic['优秀']=1
elif i>3.0:
if '良好' in dic.keys():
dic['良好']+=1
else:
dic['良好']=1
elif i >2.0:
if '合格' in dic.keys():
dic['合格']+=1
else:
dic['合格']=1
else:
if '不合格' in dic.keys():
dic['不合格']+=1
else:
dic['不合格']=1
#print(dic)
res=getEntropy(dic)
print(res)'''
2.读取test2.csv文件中的ED列,EE列，输出2016年和2017年入馆次数前10分别是多少次
2016入馆次数 2017入馆次数
ED--> 5*26+3=107
'''
with open('D:\\winter_python\\test2.csv') as f:
f_csv = csv.reader(f)
next(f_csv)
next(f_csv)
cnt2016=[]
cnt2017=[]
for row in f_csv:
if row[133]!='':
cnt2016.append(int(row[133]))
if row[134]!='':
cnt2017.append(int(row[134]))
cnt2016.sort(reverse=True)
cnt2017.sort(reverse=True)
print(cnt2016[:10])
print(cnt2017[:10])'''
4.读取0120.txt中的文件，构造成一个二维数组dataset（list嵌套list），
根据读取的元素计算未进行属性划分前的信息熵，以及按对应属性划分后所对应的信息熵，
通过信息熵作差求得每种属性所对应的信息增益，将计算值和PPT上的进行核对
'''
import math
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet: #统计每个类标签出现的次数，'yes'2次，'no'3次
currentLabel = featVec[-1]
if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key])/numEntries
shannonEnt -= prob * math.log(prob,2)
return shannonEnt
def chooseBestFeatureToSplit(dataSet):
GainList=[]
numFeatures = len(dataSet[0]) - 1 #返回属性个数
baseEntropy = calcShannonEnt(dataSet) #计算分裂前的信息熵
bestInfoGain = 0.0; bestFeature = -1
for i in range(numFeatures):
featList = [example[i] for example in dataSet] #获取第i个属性的所有可能取值
uniqueVals = set(featList) #去除重复取值
newEntropy = 0.0
for value in uniqueVals: #计算按第i个属性划分后的信息熵
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet)/float(len(dataSet))
newEntropy += prob * calcShannonEnt(subDataSet)
infoGain = baseEntropy - newEntropy #计算信息增益
GainList.append(infoGain)
if (infoGain > bestInfoGain): #计算最好的信息增益及相应的属性
bestInfoGain = infoGain
bestFeature = i
print("GainList: ",GainList)
return bestFeature
def splitDataSet(dataSet, axis, value): #将dataSet中第axis列等于value的数据子集抽取后返回（去除第axis列）
retDataSet = []
for featVec in dataSet:
if featVec[axis] == value:
reducedFeatVec = featVec[:axis]
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec)
return retDataSet
def solve(dataset):
dic={}
for i in dataset:
label=i[-1]
if label in dic.keys():
dic[label]+=1
else:
dic[label]=1
print(dic)
baseEntropy=getEntropy(dic)
input=open("D:\\winter_python\\0120.txt")
res=input.readlines()
dataset=[]
for i in res:
data=i.split()
dataset.append(data)
#print(dataset)
#res=splitDataSet(dataset,1,'female')
chooseBestFeatureToSplit(dataset)
