KNN 概述

k-近鄰（kNN, k-NearestNeighbor）算法是一種基本分類與回歸方法，我們這里只討論分類問(wèn)題中的 k-近鄰算法。

k 近鄰算法的輸入為實(shí)例的特征向量，對(duì)應(yīng)于特征空間的點(diǎn)；輸出為實(shí)例的類別，可以取多類。k 近鄰算法假設(shè)給定一個(gè)訓(xùn)練數(shù)據(jù)集，其中的實(shí)例類別已定。分類時(shí)，對(duì)新的實(shí)例，根據(jù)其 k 個(gè)最近鄰的訓(xùn)練實(shí)例的類別，通過(guò)多數(shù)表決等方式進(jìn)行預(yù)測(cè)。因此，k近鄰算法不具有顯式的學(xué)習(xí)過(guò)程。

k 近鄰算法實(shí)際上利用訓(xùn)練數(shù)據(jù)集對(duì)特征向量空間進(jìn)行劃分，并作為其分類的“模型”。 k值的選擇、距離度量以及分類決策規(guī)則是k近鄰算法的三個(gè)基本要素。

閱讀全文：http://ml.apachecn.org/mlia/knn/