趁着deadline的前一天把作业做完了，主要是后面两个编程的题目比较花时间。下面直接进入主题吧。
Question 1
这题直接求导就好了Question 2
黑塞矩阵，求二阶偏导（是叫这个吧）就求出来了Question 3
这个看了视频应该都知道了Question 4
替换一下带入公式就行了，两个值都是正值所以要与0求一个maxQuestion 5
Question 6
好像挺简单
x2
x2
x2
Question 7
假设两个点是(a,a*a)和(b,b*b），由这两点确定的直线是(a+b)*x-a*b
a+b的期望就是1，a*b的期望是a的期望乘以b的期望（iid）就是1/4，然后答案就出来啦
x2
x2
x2
Question 8
这个没什么好说的- -！x2
x2
x2
Question 9
这个1/99不用解释了吧x2
x2
x2
Question 10
因为资料都是整形，所以theta取大于当前的最小整数就好啦x2
x2
x2
Question 11
x2x2x2x2
2d(R-L)+2）我觉得这题有点不对，他没保证所有stumb的数量是2d(R-L)+2，
如果数量是这个的话，答案就是如下
Kds(x,x′)=2d(R−L)−4∥x−x′∥1+2
x2
x2下面这个式子就是针对两个资料，分类器结果相同的数量减去分类器结果不同的数量。
x2
x2下面这个式子就是针对两个资料，分类器结果相同的数量减去分类器结果不同的数量。
x2
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
也就是所有分类器的数量减去两倍
分类结果不同的分类器的数量。所有分类器最多有
x2
x22d(R-L)+2个
x22d(R-L)+2个
而分类不同的分类器的那条切线正好夹在两个数据之间。就是x2
x2
∥x−x′∥1
x2
∥x−x′∥1
x2
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
Question 12~18
这题好爽，一段代码做六题，不对是七题。我直接贴代码吧
import numpy as np
import math
trD=np.loadtxt('E:/ML/Taiwan_ML/skill/homework2/hw2_adaboost_train.dat')
teD=np.loadtxt('E:/ML/Taiwan_ML/skill/homework2/hw2_adaboost_test.dat')
trX=trD[:,0:trD.shape[1]-1]
trY=trD[:,trD.shape[1]-1]
teX=teD[:,0:teD.shape[1]-1]
teY=teD[:,teD.shape[1]-1]
#teX=[:,0:2]
#teY=[:,2:3]
def predict(para,x):
y=np.ones(x.shape[0])
for i in range(0,x.shape[0]):
value=0
for t in range(0,para.shape[0]):
cy=0
if(x[i][para[t][0]]>para[t][1]):
cy=1
else:
cy=-1
cy=cy*para[t][2]
value=value+cy*para[t][3]
if value>0:
y[i]=1
else:
y[i]=-1
return y
def zeroOneErr(y1,y2):
return sum(y1!=y2)/y2.shape[0]
x=trX
y=trY
dataSize=trX.shape[0]
featureSize=trX.shape[1]
iterTimes=300
u=np.empty((iterTimes+1,dataSize))
alpht=np.empty((iterTimes))
para=np.empty((iterTimes,4))
u[0]=1/trD.shape[0]
for t in range(0,iterTimes):
#print(sum(u[t]))
stheta=0
si=0
ss=1
se=1
#print(u[t])
for i in range(0,featureSize):
#print("feature!!!!!",i)
currentX=x[:,i]
sortedIndex=np.argsort(currentX)
flag=currentX[sortedIndex[0]]-1
#print("flag",flag)
ci=i
cs=1
ctheta=currentX[0]-1
eup=0
edown=0
currentY=np.ones(dataSize)
for j in range(0,dataSize):
edown=edown+u[t][j]
if currentX[j]<=flag:
currentY[j]=-1
if(currentY[j]!=y[j]):
eup=eup+u[t][j]
e=eup/edown
#print("e",e)
if e>0.5:
e=1-e
cs=-1*cs
if e<se:
stheta=ctheta
si=ci
ss=cs
se=e
#print("se1",se)
for j in range(0,dataSize):
#print("j~~~~~~~~",j)
if currentY[sortedIndex[j]]==y[sortedIndex[j]]*cs:
e=e+1*(u[t][sortedIndex[j]]/edown)
#print("e add",e)
else:
e=e-1*(u[t][sortedIndex[j]]/edown)
#print("e min",e)
if e>0.5:
e=1-e
cs=-1*cs
#print("e",e)
if e<se:
stheta=currentX[sortedIndex[j]]
ss=cs
si=ci
se=e
#print("se2",se)
para[t][0]=si
para[t][1]=stheta
para[t][2]=ss
#print(si)
#print(stheta)
#print(ss)
#print(se)
f=math.sqrt((1-se)/se)
para[t][3]=math.log(f,math.e)
for j in range(0,dataSize):
cy=0
if(x[j][si]>stheta):
cy=1
else:
cy=-1
cy=cy*ss
if(cy==y[j]):
u[t+1][j]=u[t][j]/f
else:
u[t+1][j]=u[t][j]*f
py=predict(para,teX)
sh=zeroOneErr(teY,py)
大概说一下我个人的思路吧。首先是将当前维度的feature排序嘛，刚开始可以将所有都分为正类，然后按排序顺序依次加一个到负类里面去，并且判断当前改变
与实际结果是否相同就是这一句
x2x2
if currentY[sortedIndex[j]]==y[sortedIndex[j]]*cs:当其他参数相同，只有S不同时，两个hypotheses的err加起来肯定是1，选其中一个较小的就可以了，这样就把S不同的情况直接讨论进去了。
执行结果我就不再跑了
x2
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))
Question 19~20
这边代码也是刚开始写错了，后来改的，还是没有完全理解好representer theorem（这个词组还是我刚刚查的=。=，记不住）
下面就是代码
import numpy as np
import math
data=np.loadtxt("E:/ML/Taiwan_ML/skill/homework2/hw2_lssvm_all.dat")
dataTrain=data[0:400,:]
dataTest=data[400:,:]
traX=dataTrain[:,0:data.shape[1]-1]
traY=dataTrain[:,data.shape[1]-1]
teX=dataTest[:,0:data.shape[1]-1]
teY=dataTest[:,data.shape[1]-1]
def gaussK(x,y,g):
return math.exp(-1*g*sum((x-y)*(x-y)))
_gammaArr=[32,2,0.125]
_lambdaArr=[0.001,1,1000]
dataSize=dataTrain.shape[0]
featureSize=traX.shape[1]
for _gamma in _gammaArr:
for _lambda in _lambdaArr:
k=np.empty((dataSize,dataSize))
n=0
for i in range(0,dataSize):
for j in range(0,i+1):
#print(_gamma)
#print(sum((traX[i]-traX[j])*(traX[i]-traX[j])))
#print(traX[i]-traX[j])
#print(sum((traX[i]-traX[j])*(traX[i]-traX[j])))
k[j][i]=gaussK(traX[i],traX[j],_gamma)
n=n+1
if i!=j:
k[i][j]=k[j][i]
n=n+1
#print(k[i][j])
#print(k[0][0])
#print(_lambda)
para=_lambda*np.eye(dataSize)+k
#print(para[0][0])
#print(n)
#print(k)
#print("!!!!!!!!!!!!!!!")
#print(para)
#pp=para
para=np.linalg.inv(para)
#print(para*pp)
#traY=np.transpose(traY)
beta=para*np.transpose(np.matrix(traY))
#print("beta",beta.shape)
#w=np.zeros(featureSize)
beta=np.array(beta)
#for i in range(0,dataSize):
# s=beta[i][0]*traX[i,:]
# #print("s",s)
# w=w+s
#print("w",w)
py=np.zeros(teY.shape[0])
for i in range(0,teY.shape[0]):
for j in range(0,traX.shape[0]):
py[i]=py[i]+beta[j]*gaussK(teX[i],traX[j],_gamma)
#py=np.matrix(teX)*np.transpose(np.matrix(w))
#py=np.array(py)
#py=py[:,0]
#print(py)
for i in range(0,py.shape[0]):
if(py[i]>0):
py[i]=1
else:
py[i]=-1
#print(py)
e=sum(py!=teY)/py.shape[0]
print(py.shape[0],_gamma,_lambda,e)x2
x2
x2
20题的结果如下
x2
x2
只有一个小于0.4的，我都不太敢选- -！
x2
100 32 0.001 0.45 100 32 1 0.45 100 32 1000 0.45 100 2 0.001 0.44 100 2 1 0.44 100 2 1000 0.44 100 0.125 0.001 0.46 100 0.125 1 0.45 100 0.125 1000 0.39
只有一个小于0.4的，我都不太敢选- -！
x2最后今天的作业就结束了，下周的课我还没开始看，作业已经出来了，要抓紧了。
如果答案有什么错误，新手多多包涵，欢迎指正。
x2
x2
x2
Kds(x,x′)=(ϕds(x))T(ϕds(x′))