首页 / 算法 / 学习knn算法笔记

学习knn算法笔记

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了学习knn算法笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9536字，纯文字阅读大概需要14分钟。

内容图文

定义

kNN == k-NearestNeighbor k个最近的邻居

核心思想——如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。

最大特点——kNN方法在类别决策时，只与极少量的相邻样本有关。

适用情况——类域的交叉或重叠较多的待分样本集

例子

已知条件如下

一、聪明人用蓝色方块表示

二、笨人用红色三角形表示

三、有个村庄，里面只有两种人：聪明人&&笨人，凭据是小学第一次语文数学考试成绩，但是具体规则只有村长知道

四、一天村里来了一个外乡人，但是村长不在，村民们就炸了毛，不知道ta是聪明人？笨人？

五、从户籍转入申请书上，我们获得了外乡人的语文数学考试成绩问外乡算什么人？？

学习knn算法笔记 - 文章图片

算法描述

1)计算测试数据和各个训练数据之间的距离

2)按照距离的递增关系进行排序

3)选取距离最小的k的个点

4)确定前k个点所有类别的出现频率

5)返回前k个点中出现频率最高的类别作为测试数据的预测分类

衍生

怎么选出最接近的k个人？

计算出全体已分类成员与待分类成员的欧式距离（公式：学习knn算法笔记 - 文章图片），

取距离最小的前k个怎么选出最恰当的k值？

首先确定一系列k值（一般从1取到min（20，已分类成员总数开方）），在已分类的成员里面选出一小部分作为待分类成员，拿到取不同k值时的误差率，将误差最小的k值视为最恰当k值

 1 import numpy as np
 2 import matplotlib.pyplot as plt
 3 
 4 
 5 amount = 12
 6 wtnum = [5,7]
 7 bgnums = np.zeros((amount,3))
 8 bgnums[0] = [17, 7, 1]
 9 bgnums[1] = [4, 12, 2]
10 bgnums[2] = [5, 17, 2]
11 bgnums[3] = [8, 11, 1]
12 bgnums[4] = [13, 9, 1]
13 bgnums[5] = [16, 9, 2]
14 bgnums[6] = [14, 7, 1]
15 bgnums[7] = [10, 15, 2]
16 bgnums[8] = [15, 18, 2]
17 bgnums[9] = [11, 17, 2]
18 bgnums[10] = [13, 19, 1]
19 bgnums[11] = [12, 10, 2]
20 colmap = {1:'r',2:'g'}
21 for i in range(amount):
22     plt.scatter(bgnums[i][0],bgnums[i][1],color = colmap[bgnums[i][2]])
23 plt.scatter(wtnum[0],wtnum[1],color = 'k',alpha = 0.8)
24 plt.xlim(0,20)
25 plt.ylim(0,20)
26 plt.show()

学习knn算法笔记 - 文章图片

distance = np.zeros((amount,2))
for i in range(amount):
    distance[i][0] = (bgnums[i][0] - wtnum[0])**2 + (bgnums[i][1] - wtnum[1])**2
    distance[i][1] = bgnums[i][2]
print(distance)

for i in range(amount):
    for j in range(amount - 1):
        if distance[j][0] > distance[j+1][0]:
            distance[j][0],distance[j+1][0] = distance[j+1][0],distance[j][0]
            distance[j][1],distance[j+1][1] = distance[j+1][1],distance[j][1]
print(distance)

学习knn算法笔记 - 文章图片

k = 3
num1 = 0
num2 = 0
for i in range(k):
    if distance[i][1] == 1:
        num1 += 1
    elif distance[i][1] == 2:
        num2 += 1

if num1 >= num2:
    print("该测试点归为第1类")
elif num1 < num2:
    print("该测试点归为第2类")
else:
    print("something2 wrong has happened")

学习knn算法笔记 - 文章图片

import numpy as np
import matplotlib.pyplot as plt

def belong_which( bgnums, amount, wtnum, k ):
    
    for i in range(amount):
        plt.scatter(bgnums[i][0],bgnums[i][1],color = colmap[bgnums[i][2]])
    plt.scatter(wtnum[0],wtnum[1],color = 'k',alpha = 0.8)
    plt.xlim(0,20)
    plt.ylim(0,20)
    plt.show()

    distance = np.zeros((amount,2))
    for i in range(amount):
        distance[i][0] = (bgnums[i][0] - wtnum[0])**2 + (bgnums[i][1] - wtnum[1])**2
        distance[i][1] = bgnums[i][2]
    print(distance)

    for i in range(amount):
        for j in range(amount - 1):
            if distance[j][0] > distance[j+1][0]:
                distance[j][0],distance[j+1][0] = distance[j+1][0],distance[j][0]
                distance[j][1],distance[j+1][1] = distance[j+1][1],distance[j][1]
    print(distance)

    num1 = 0
    num2 = 0
    for i in range(k):
        if distance[i][1] == 1:
            num1 += 1
        elif distance[i][1] == 2:
            num2 += 1

    if num1 >= num2:
        print("该测试点归为第1类")
    elif num1 < num2:
        print("该测试点归为第2类")
    else:
        print("something2 wrong has happened")

amount = 12
wtnum = [5,7]
bgnums = np.zeros((amount,3))
bgnums[0] = [17, 7, 1]
bgnums[1] = [4, 12, 2]
bgnums[2] = [5, 17, 2]
bgnums[3] = [8, 11, 1]
bgnums[4] = [13, 9, 1]
bgnums[5] = [16, 9, 2]
bgnums[6] = [14, 7, 1]
bgnums[7] = [10, 15, 2]
bgnums[8] = [15, 18, 2]
bgnums[9] = [11, 17, 2]
bgnums[10] = [13, 19, 1]
bgnums[11] = [12, 10, 2]
colmap = {1:'r',2:'g'}
k = 3
belong_which( bgnums, amount, wtnum, k )

import numpy as np
import matplotlib.pyplot as plt


def belong_which( bgnums, amount, wtnum, k ):
    
    distance = np.zeros((amount,2))
    for i in range(amount):
        distance[i][0] = (bgnums[i][0] - wtnum[0])**2 + (bgnums[i][1] - wtnum[1])**2
        distance[i][1] = bgnums[i][2]
    for i in range(amount):
        for j in range(amount - 1):
            if distance[j][0] > distance[j+1][0]:
                distance[j][0],distance[j+1][0] = distance[j+1][0],distance[j][0]
                distance[j][1],distance[j+1][1] = distance[j+1][1],distance[j][1]

    num1 = 0
    num2 = 0
    num3 = 0
    for i in range(k):
        if distance[i][1] == 1:
            num1 += 1
        elif distance[i][1] == 2:
            num2 += 1
        elif distance[i][1] == 3:
            num3 += 1
    if num1 >= num2:
        if num1 >= num3:
            #print("该测试点归为第1类")
            return 1
        else:
            if num1 < num3:
                #print("该测试点归为第3类")
                return 3
            else:
                print("something wrong has happened")
    else:
        if num2 >= num3:
            #print("该测试点归为第2类")
            return 2
        else:
            if num2 < num3:
                #print("该测试点归为第3类")
                return 3
            else:
                print("something2 wrong has happened")

amount = 26
wtnum = [12,16]
bgnums = np.zeros((amount,3))
bgnums[0] = [84, 91, 1]
bgnums[1] = [55, 82, 2]
bgnums[2] = [81, 70, 1]
bgnums[3] = [70, 80, 1]
bgnums[4] = [75, 75, 1]
bgnums[5] = [75, 74, 2]
bgnums[6] = [85, 99, 1]
bgnums[7] = [56, 28, 3]
bgnums[8] = [96, 100, 1]
bgnums[9] = [31, 33, 3]
bgnums[10] = [62, 35, 3]
bgnums[11] = [96, 76, 1]
bgnums[12] = [39, 55, 3]
bgnums[13] = [60, 64, 2]
bgnums[14] = [75, 75, 1]
bgnums[15] = [74, 73, 2]
bgnums[16] = [43, 47, 3]
bgnums[17] = [56, 71, 2]
bgnums[18] = [90, 89, 1]
bgnums[19] = [45, 67, 2]
bgnums[20] = [77, 88, 1]
bgnums[21] = [65, 55, 2]
bgnums[22] = [55, 45, 3]
bgnums[23] = [78, 85, 1]
bgnums[24] = [44, 32, 3]
bgnums[25] = [77, 98, 1]
colmap = {1:'r',2:'g',3:'b'}
k_num = 5
test_num = 6
amount_t = amount - test_num
wtnum_t = np.zeros((test_num,2))
bgnums_t = np.zeros((amount_t,3))
error = np.zeros(test_num)
error_rate = np.zeros(k_num)

for i in range(test_num, amount):
    plt.scatter(bgnums[i][0], bgnums[i][1], color = colmap[bgnums[i][2]])
for i in range(test_num):
    plt.scatter(bgnums[i][0], bgnums[i][1], s = 10, color = 'k', alpha = 0.5)
plt.xlim(0,100)
plt.ylim(0,100)
plt.show()

for i in range(test_num):
    wtnum_t[i][0] = bgnums[i][0]
    wtnum_t[i][1] = bgnums[i][1]
for i in range(amount_t):
    bgnums_t[i] = bgnums[i + test_num]

start_num = 1
for j in range(start_num, start_num + k_num):
    print("\n\n现在的k值为", j)
    for i in range(test_num):
        print("\n现在的待归类村民成绩为", wtnum_t[i][0], wtnum_t[i][1])
        m = belong_which(bgnums_t, amount_t, wtnum_t[i], j)
        print("根据knn算法，该村民属于", m, "，实际上该村民属于", bgnums[i][2],)
        if m == bgnums[i][2]:
            error[i] = 0
        else:
            error[i] = 1
    print("k值为", j, "时，error的列表为", error)
    print("--------------------------------------")
    error_rate[j - start_num] = sum(error)/test_num
print("error_rate is", error_rate)
print("错误率最低的k为", error_rate.tolist().index(min(error_rate))+start_num)

学习knn算法笔记 - 文章图片

现在的k值为 1

现在的待归类村民成绩为 84.0 91.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 55.0 82.0
根据knn算法，该村民属于 2 ，实际上该村民属于 2.0

现在的待归类村民成绩为 81.0 70.0
根据knn算法，该村民属于 2 ，实际上该村民属于 1.0

现在的待归类村民成绩为 70.0 80.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 75.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 74.0
根据knn算法，该村民属于 1 ，实际上该村民属于 2.0
k值为 1 时，error的列表为 [0. 0. 1. 0. 0. 1.]
--------------------------------------


现在的k值为 2

现在的待归类村民成绩为 84.0 91.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 55.0 82.0
根据knn算法，该村民属于 2 ，实际上该村民属于 2.0

现在的待归类村民成绩为 81.0 70.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 70.0 80.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 75.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 74.0
根据knn算法，该村民属于 1 ，实际上该村民属于 2.0
k值为 2 时，error的列表为 [0. 0. 0. 0. 0. 1.]
--------------------------------------


现在的k值为 3

现在的待归类村民成绩为 84.0 91.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 55.0 82.0
根据knn算法，该村民属于 2 ，实际上该村民属于 2.0

现在的待归类村民成绩为 81.0 70.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 70.0 80.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 75.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 74.0
根据knn算法，该村民属于 1 ，实际上该村民属于 2.0
k值为 3 时，error的列表为 [0. 0. 0. 0. 0. 1.]
--------------------------------------


现在的k值为 4

现在的待归类村民成绩为 84.0 91.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 55.0 82.0
根据knn算法，该村民属于 2 ，实际上该村民属于 2.0

现在的待归类村民成绩为 81.0 70.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 70.0 80.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 75.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 74.0
根据knn算法，该村民属于 1 ，实际上该村民属于 2.0
k值为 4 时，error的列表为 [0. 0. 0. 0. 0. 1.]
--------------------------------------


现在的k值为 5

现在的待归类村民成绩为 84.0 91.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 55.0 82.0
根据knn算法，该村民属于 2 ，实际上该村民属于 2.0

现在的待归类村民成绩为 81.0 70.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 70.0 80.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 75.0
根据knn算法，该村民属于 1 ，实际上该村民属于 1.0

现在的待归类村民成绩为 75.0 74.0
根据knn算法，该村民属于 1 ，实际上该村民属于 2.0
k值为 5 时，error的列表为 [0. 0. 0. 0. 0. 1.]
--------------------------------------
error_rate is [0.33333333 0.16666667 0.16666667 0.16666667 0.16666667]
错误率最低的k为 2

内容总结

以上是互联网集市为您收集整理的学习knn算法笔记全部内容，希望文章能够帮你解决学习knn算法笔记所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/844564.html

来源：【匿名】

【上一篇】这样学算法，包会包懂so easy~【下一篇】浅谈php实现映射的两种方法（链表和二叉树）

更多 ►

【学习knn算法笔记】教程文章相关的互联网学习教程文章

python用K近邻（KNN）算法分类MNIST数据集和Fashion MNIST数据集【代码】

一、KNN算法的介绍　　K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法之一，理论上比较成熟。KNN算法首先将待分类样本表达成和训练样本一致的特征向量；然后根据距离计算待测试样本和每个训练样本的距离，选择距离最小的K个样本作为近邻样本；最后根据K个近邻样本判断待分类样本的类别。KNN算法的正确选取是分类正确的关键因素之一，而近邻样本是通过计算测试样本与每个训练集样本的距离来选定的，故定义合适的...

Machine Learning In Action 第二章学习笔记: kNN算法【代码】【图】

本文主要记录《Machine Learning In Action》中第二章的内容。书中以两个具体实例来介绍kNN（k nearest neighbors)，分别是：约会对象预测手写数字识别通过“约会对象”功能，基本能够了解到kNN算法的工作原理。“手写数字识别”与“约会对象预测”使用完全一样的算法代码，仅仅是数据集有变化。约会对象预测1 约会对象预测功能需求主人公“张三”喜欢结交新朋友。“系统A”上面注册了很多类似于“张三”的用户，大家都想结交心朋友...

python实现简单knn算法【代码】

原理：计算当前点（无label，一般为测试集）和其他每个点（有label，一般为训练集）的距离并升序排序，选取k个最小距离的点，根据这k个点对应的类别进行投票，票数最多的类别的即为该点所对应的类别。代码实现（数据集采用的是iris）： 1import numpy as np2from sklearn.datasets import load_iris3from sklearn.model_selection import train_test_split4from sklearn import neighbors5from sklearn.metrics import accuracy_sc...

KNN算法【代码】【图】

KNN算法的介绍请参考：http://blog.csdn.net/zouxy09/article/details/16955347统计学习方法里面给出了KD Tree的算法介绍,按照书上的进行了实现：# -*- coding: utf-8 -*-from operator import itemgetter from copy import deepcopy import heapqclass Node(object):def__init__(self, dim, label=None, parent = None,split = 0):"""kd树的节点:param dim: 节点的向量:param label: 节点的label:param parent: 父节点:param spli...

使用KNN算法对鸢尾花数据集进行分类处理【图】

首先对数据进行读取与处理然后实现KNN分类算法上边是把原始数据集切割为测试集和训练集，然后创建KNN对象进行训练和测试原文：https://www.cnblogs.com/lxt-/p/11523385.html

KNN算法Hadoop实现及kaggle digit recognition数据测试【图】

软件版本：Hadoop2.6,MyEclipse10.0 , Maven 3.3.2源码下载地址：https://github.com/fansy1990/knn 。1. KNN算法思路如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。-- 摘自《邻近算法》，百度百科2. KNN算法MR实现：Hadoo...

KNN算法--python实现【代码】

邻近算法或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。关于K最近邻算法，非常好的一篇文章：KNN算法理解行业应用：客户流失预测、欺诈侦测等（更适合于稀有事件的分类问题）写在前面的：Python2.7 数据iris: http://pan.baidu.com/s/1bHuQ0A 测试数据集: iris的第1行数据；训练数据: ir...

机器学习系列(5) KNN算法【代码】【图】

KNN算法一、KNN算法介绍KNN算法全称是K Nearest Neighbors ，KNN原理就是当预测一个值属于什么分类，根据它最近的K个分类是什么进行预测它属于什么类别。重点有两个： K 的确定和距离的计算距离的计算：欧式距离K值的计算：通过交叉验证（将样本数据按照一定的比例拆分成训练用的数据和验证用的数据），从中选取一个较小的K值开始，不断增加K的值，然后计算验证集合方差，最终找到一个比较适合的K值二、KNN的优缺点优点：简单易用，...

kNN算法【代码】

import numpy as np import operator import os def createDataset():group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])lables=[‘A‘,‘A‘,‘B‘,‘B‘]return group,lablesdef classify0(inX,dataSet,labels,k):dataSetSize=dataSet.shape[0]diffMat=np.tile(inX,(dataSetSize,1))-dataSetsqDiffMat=diffMat**2sqDistances=sqDiffMat.sum(axis=1)distances=sqDistances**0.5sortDistancesIndex=distances.argsort()classCo...

《机学五》KNN算法及实例【代码】【图】

一、概述【定义】如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。二、距离计算公式两个样本的距离可以通过如下公式计算，又叫【欧式距离】设有特征，a(a1,a2,a3),b(b1,b2,b3)，那么：\[\sqrt{(a1-b1)^{2}+(a2-b2)^{2}+(a3-b3)^{2}}\]三、sklearn k-近邻算法APIsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')n_neighbors：int,可选（...

算法 - 最热教程

浅谈SQLServer查询优化器中的JOIN算法有没那种可逆算法是密文比明文短的呢？...javascript-类似Excel里面的NORMDIST函...C++中的分治算法及常见题目汇总压缩感知重构算法综述-学习笔记 c++中内置函数qsort（快速排序）和bsea...一、fpga图像处理算法整合基于遗传算法（deap）的非线性函数寻优...集成学习-Bagging集成学习算法随机森林...机器学习笔记（九）聚类算法及实践（K-...

首页 / 算法 / 学习knn算法笔记

学习knn算法笔记

内容导读

内容图文

内容总结

内容备注

内容手机端

【学习knn算法笔记】教程文章相关的互联网学习教程文章

python用K近邻（KNN）算法分类MNIST数据集和Fashion MNIST数据集【代码】

Machine Learning In Action 第二章学习笔记: kNN算法【代码】【图】

python实现简单knn算法【代码】

KNN算法【代码】【图】

使用KNN算法对鸢尾花数据集进行分类处理【图】

KNN算法Hadoop实现及kaggle digit recognition数据测试【图】

KNN算法--python实现【代码】

机器学习系列(5) KNN算法【代码】【图】

kNN算法【代码】

《机学五》KNN算法及实例【代码】【图】

Python中KNN算法(k-近邻算法)的详细介绍（附示例）【图】

关于KNN算法详细介绍【图】

kNN算法python实现和简单数字识别的方法【图】

Python机器学习算法之KNN算法【代码】【图】

KNN算法实战-改进约会网站配对效果【代码】【图】

算法 - 相关标签

算法 - 最新教程

算法 - 最热教程