KNN-k最近邻 KNN(K-NearestNeighbor)–k最近邻,NN代表神经网络的意思 k最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居表示 核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并且具有这个类别样本的特性。 算法三要素 k值的选取 距离度量的方式 分类决策规则 k值的选择 对于k值的选择,没有一个固定的经验,一般根据样本的分布,选择一个较小的值,可以通过交叉验证选择一个合适的k值。 选择较小的k值,就相当于用较小的领域中的训练实例进行预测,训练误差会减小,容易发生过拟合 选择较大的k值,就