实现一下Parzen窗估计

自己计划实现一遍模式识别里的内容。

Parzen窗估计是非参数估计。我在非参数技术——Parzen窗估计方法文章和非参数估计-Parzen窗口函数法文章里面整理出了算法基本过程：利用第一篇博客给出的样本数据对给定的数据进行分类。分类的方法就是根据公式分别求出对于三个类的数值。公式是

求出来数值之后，比较大小，给定数据属于数值较大的一类。运算通过numpy包实现，通过循环得出数值，进行比较。

代码实现如下，计算的结果和非参数技术——Parzen窗估计方法文中给的内容基本一致。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
# parzen窗法
# 原始数据
# w1
data1=[[0.28,1.31,-6.2],
       [0.07,0.58,-0.78],
       [1.54,2.01,-1.63],
       [-0.44,1.18,-4.32],
       [-0.81,0.21,5.73],
       [1.52,3.16,2.77],
       [2.20,2.42,-0.19],
       [0.91,1.94,6.21],
       [0.65,1.93,4.38],
       [-0.26,0.82,-0.96]
]
w1=np.mat(data1)
# w2
data2=[[0.011,1.03,-0.21],
       [1.27,1.28,0.08],
       [0.13,3.12,0.16],
       [-0.21,1.23,-0.11],
       [-2.18,1.39,-0.19],
       [0.34,1.96,-0.16],
       [-1.38,0.94,0.45],
       [-0.12,0.82,0.17],
       [-1.44,2.31,0.14],
       [0.26,1.94,0.08]
]
w2=np.mat(data2)
# w3
data3=[[1.36,2.17,0.14],
       [1.41,1.45,-0.38],
       [1.22,0.99,0.69],
       [2.46,2.19,1.31],
       [0.68,0.79,0.87],
       [2.51,3.22,1.35],
       [0.60,2.44,0.92],
       [0.64,0.13,0.97],
       [0.85,0.58,0.99],
       [0.66,0.51,0.88]
]
w3=np.mat(data3)
#得到Φ函数的结果
# 要是用np.mat创建矩阵，np.array是不行的，是数组没有转置
def get_phi(x, xi, h):
    x = np.mat(x)
    xi = np.mat(xi)
    phi = np.exp(-(x - xi) * (x - xi).T / (2 * h * h))
    return phi
# 整体公式的算数
def get_px(x, xi, h):
    phi = 0
    n = len(xi)
    for i in range(n):
        # print("xi[i]", xi[i])
        phi += get_phi(x, xi[i], h)
    px = phi  / ( n * np.power(h, 3))
    return px
# 利用parzen窗判断目标数据属于哪个类
def parzen(h, test):
    # 数组用来比较结果属于哪一类
    px = [0, 0, 0]
    # h的取值
    print("h =", h)
    px[0] = get_px(test,w1,h)
    px[1] = get_px(test, w2, h)
    px[2] = get_px(test, w3, h)
    # 输出一下计算结果，用来和已知内容比较
    print("w1",px[0])
    print("w2",px[1])
    print("w3",px[2])
    # 加一个plt的图形展示，可以显示已经有的点和分类的点，正好自己不熟悉，练习一下
    fig = plt.figure()
    ax = fig.add_subplot(111, projection='3d')
    ax.scatter(w1[:, 0], w1[:, 1], w1[:, 2], s=20, c='r')
    ax.scatter(w2[:, 0], w2[:, 1], w2[:, 2], s=20, c='g')
    ax.scatter(w3[:, 0], w3[:, 1], w3[:, 2], s=20, c='y')
    if px[0] > px[1] :
           if px[0] > px[2] :
               print("属于第一类")
               ax.scatter(test[0], test[1], test[2], s=50, c='r')
           else :
               print("属于第三类")
               ax.scatter(test[0], test[1], test[2], s=50, c='y')
    else :
        if px[1] > px[2]:
            print("属于第二类")
            ax.scatter(test[0], test[1], test[2], s=50, c='g')
        else:
            print("属于第三类")
            ax.scatter(test[0], test[1], test[2], s=50, c='y')
    # xyz轴的名称
    ax.set_xlabel('X ')
    ax.set_ylabel('Y ')
    ax.set_zlabel('Z ')
    # 标题名称，有变量，向string一样%s处理
    plt.title("h=%s"%h)
    plt.show()
#  计算
def main():
    # 数组分别为 [0.5, 1.0, 0.0]   [0.31, 1.51, -0.50]  [-0.3, 0.44, -0.1]
    # 切换test的数组内容可以测试每一个数据
    test=[0.31, 1.51, -0.50]
    h1 = 1
    h2 = 0.1
    parzen(h1, test)
    parzen(h2, test)
#     入口
if __name__ == '__main__':
    main()

除了利用parzen窗判断目标数据属于哪个类，还把这些点和目标点用pyplot展示了一下，目标点会放大效果如下