机器学习之KNN算法（分类）

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

KNN算法是解决分类问题的最简单的算法。同时也是最常用的算法。KNN算法也可以称作k近邻算法，是指K个最近的数据集，属于监督学习算法。

开发流程：

1.加载数据，加载成特征矩阵X与目标向量Y。

2.给定一个新的数据，算出新数据和所有数据的距离，找到距离最近的前K个数据，K的取值范围一般是3-15个。凭经验。

3.统计前K个距离最近的样本对应的类别，然后少数服从多数，将这个数据划分为出现次数最多的那个类别。

注：这里面的距离指的是欧式距离

优缺点：

简单

支持多分类

K的取值会影响结果

噪声数据敏感

使用经验：

在实际使用中，我们可以使用所有训练数据构成特征X与目标变量Y，使用fit()函数进行训练。在正式分类时，通过一次性构造测试集或者一个一个输入样本的方式，得到样本对应的分类结果。

有关K的取值：

1.如果较大，相当于使用较大领域中的训练实例进行预测，可以减少估计误差，但是距离较远的样本也会对预测起作用，导致预测错误。

2.相反的如果K较小，相当于使用较小的领域进行预测，如果令居恰好是噪声点，会导致过拟合。

3.一般情况下，K会倾向选取较小的值，并使用交叉验证法选取最优K值。

KNN的使用：