无监督学习(unsupervised learning) 1.线性方法
1 unspervised learning
- Reduction(化繁为简):Clustering & Dimension,只有输入
- Generation(无中生有):只有输出
2 Clustering
- How many clusters?
K-Means:
- 将
X={x1,x2,…,xN} 聚成K类 - 随机初始化聚类中心
ci,i=1,2,…,K - 对每一个
xn ,计算它离每一个聚类中心的距离bin ,它离的最近的即为它的类 - 更新聚类中心:
ci=∑xnbinxn/∑xnbin - 重复以上几步
- 将
Hierarchical Agglomerative Clustering (HAC)
- step 1:build a tree,两两算相似度,相似度最大的两个合并,重复……
- step 2:pick a threshold,切分K类
3 dimension reduction
- Distributed Representation:每个对象使用一个向量表示,而不仅仅是一个类
- MNIST:描述一个数字不需要28*28的向量
- Feature Selection:
Principle component analysis(PCA):
z=Wx ,线性降维- 投影得到的z越大越好
- 投影到d维,
w1,…,wd 相互正交,W=[w1,…,wd] 为正交矩阵 z1=w1x,z¯1=w1x¯ Var(z1)=∑z1(z1−z¯1)2=wT1∑(x−x¯)(x−x¯)Tw1=wT1Cov(x)w1=wT1Sw1 - 找到
w1 使得wT1Sw1 达到最大,且wT1w1=1 - 使用Lagrange multiplier:
g(w1)=wT1Sw1−α(wT1w1−1) ,求偏导数得Sw1=αw1 ,w1 即为S的特征向量。wT1Sw1=α ,α 即为S的最大的特征值。 - 找到
w1 使得wT1Sw1 达到最大,且wT1w1=1,wT2w1=0 - ……解得
β=0 ,w2 是第二大的特征值对应的特征向量。 - ……
cov(z)=WSWT=[λ1e1,…,λKeK]
4 PCA——another point of view
x−x¯=c1u1+…+cKuK=x^ - Reconstruction error:
L=min{u1,…,uK}=∑||(x−x¯)−(∑k=1Kckuk)||2 - SVD分解:
Xm∗n=Um∗k∑k∗kVk∗n - LDA:考虑labelled data的降维(监督)
- PCA的弱点:1、unsupervised;2、linear
- 需要多少principle components?
计算每个特征值的ratio
5 Non-negative matrix factorization
- NMF非负矩阵分解,所有的参数和component均为非负
- minimize error:
XM∗N≈AM∗KBK∗N
L=∑(i,j)(rirj−nij)2 ,不考虑缺失的数据- 用于推荐系统(Recommender systems)
→L=∑(i,j)(rirj+bi+bj−nij)2 - 应用:Latent Semantic Analysis 潜语义分析LSA
- 应用:Latent Dirichlet allocation 主题模型LDA