机器学习--K近邻算法

sklearn.neighbors.KNeighborsClassifier：https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html#sklearn.neighbors.KNeighborsClassifier

1、定义：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

KNN算法最早是由Cover和Hart提出的一种分类算法。

两个样本的距离通过欧式距离计算

2、sklearn K-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

• n_neighbors : int，可选默认=5，k_neighbors查询默认使用的邻居数
• algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25,random_state=42)

knn = KNeighborsClassifier(n_neighbors=3)  # 超参数n_neighbors
knn.fit(x_train,y_train)
y_pred=knn.predict(x_test)
print("k近邻预测值：",y_pred)
print("k近邻预测准确率：",knn.score(x_test,y_test))

 

>>> X = [[0], [1], [2], [3]]
>>> y = [0, 0, 1, 1]
>>> from sklearn.neighbors import KNeighborsClassifier
>>> neigh = KNeighborsClassifier(n_neighbors=3)
>>> neigh.fit(X, y)
KNeighborsClassifier(...)
>>> print(neigh.predict([[1.1]]))
[0]
>>> print(neigh.predict_proba([[0.9]]))
[[0.66666667 0.33333333]]