#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/11/7 14:50 # @Author : gylhaut # @Site : "http://www.cnblogs.com/gylhaut/" # @File : KNNAlgorithm.py # @Software: PyCharm# coding:utf-8from numpy import * import operator##给出训练数据以及对应的类别 def createDataSet():group = array([[1.0, 2.0], [1.2, 0.1], [0.1, 1.4], [0.3, 3.5]])labels = [A, A, B, B]return group, labels###通过...
最近邻法和k-近邻法下面图片中只有三种豆，有三个豆是未知的种类，如何判定他们的种类？提供一种思路，即：未知的豆离哪种豆最近就认为未知豆和该豆是同一种类。由此，我们引出最近邻算法的定义：为了判定未知样本的类别，以全部训练样本作为代表点，计算未知样本与所有训练样本的距离，并以最近邻者的类别作为决策未知样本类别的唯一依据。但是，最近邻算法明显是存在缺陷的，比如下面的例子：有一个未知形状(图中绿色的圆点)，如...
机器学习实战之kNN算法 ? 机器学习实战这本书是基于python的，如果我们想要完成python开发，那么python的开发环境必不可少： （1）python3.52,64位，这是我用的python版本 （2）numpy 1.11.3,64位，这是python的科学计算包，是python的一个矩阵类型，包含数组和矩阵，提供了大量的矩阵处理函数，使运算更加容易，执行更加迅速。 （3）matplotlib 1.5.3，64位，在下载该工具时，一定要对应好python的版本，处理器版本，matplotl...
? ①dataSetSize = dataSet.shape[0] 是来计算共有多少数据集,如是([[1,3],[3,4]]),就是两组数据集，相当于 | x1 | x2 | | 1 | 3 | | 3 | 4 | dataSetSize = dataSet.shape[0] = 2 ②diffMat = tile(inX,(dataSetSize,1)) - dataSet 这是来计算,未知类的数据集与已知数据集的差,但为了方便 要把未知类的数据集化成矩阵计算，设未知类数据是([[0,3]]) 即 | x1 | x2 | | 0 | 3 | 我们想计算 0-1,3-3;0-3，3...
一、概念：KNN(K Near Neighbor):K个最近的邻居，即每个样本都可以用它最接近的K个邻居来代表。 当k=1时，？可以用红方块代表，因为k=1时，方块离？最近 当k=5时，？可以用三角代表，因为k=5时，5个离?最近的图片中，有三个是三角，少数服从多数，所以可以用三角代表 二、判别方法 1、计算已知类别数据集中的点与当前点之间的距离 2、按距离递增次序排序 3、选取当前点距离最小的K个点 4、统计前k个点所在类别出现的概率 5、...
from numpy import * import operator from os import listdir import matplotlib.pyplot as plt"""程序清单2-1 K近邻算法""" def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize, 1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classC...