回归技术 回归算法是用于预测连续数值的机器学习技术。他们是有监督的学习任务，这意味着他们需要标记的训练示例。 案例： 根据尺寸，品牌和位置预测产品的适当价格根据商店位置，公共假日，星期几和最接近的竞争对手来预测每天的销售数量 以下是最常用的预测数值的算法的介绍：线性回归，决策树，神经网络和K最近邻 线性回归 线性回归尝试将直的超平面拟合到最接近所有数据点的数据集中。当数据集中的变量之间存在线性关系时，这是...
机器学习–利用卷积神经网络进行鸟类识别 本实验是在Windows10系统上安装Anaconda 3，基于建立在TensorFlow上的模块化的、透明的深度学习库TFLearn，完成实验训练及验证结果。（一）算法原理分析 卷积神经网络（Convolutional Neural Network，CNN）是根据大脑神经元而设计的，是一种前馈多层网络。其信息流动只有一个方向，即从输入到输出，每个层使用一组卷积核执行多个转换。卷积神经网络模型主要包括卷积层、池化层和全连接层。...
关于机器学习和人工神经网络 卓晴 TsinghuaJoking 在昨天人工神经网络课程之后，有一位同学课下问了一个问题，她这学期也在学习“机器学习”课程，感觉“人工神经网络”课程的内容与机器学习课程的内容大同小异。究竟这些课程之间有何区别呢？弄不清楚这些自己这学期的课程很是担心。 之所以产生这样的疑问，原因来自于这两门课程之间的相似之处，而且随着学科的发展它们重合度也在增加。但它们之间的差异在哪儿呢？ 除了它们各自...
目录GNN的用处分类（Classification）生成（Generation）为什么要用GNN使用GNN时可能遇到的问题GNN的两种思路GNN导图任务和数据集常见任务常用数据集其它 GNN的用处 分类（Classification） 比如，有很多不同的化学分子，将其表示成图作为输入，用GNN判断其是否会导致突变，这就是一个有监督分类问题。 生成（Generation） 比如，我们需要开发针对新冠病毒的新药，我们可以训练出一个可以生成我们想要的分子（输出形式为图）的GNN，...
为交叉熵和平方误差神经网络损失函数的吸引域可视化 1 论文概述1.1 文章摘要1.2 专业术语1.3 引言 2 相关工作3 损失函数4 适应值曲面分析4.1 渐进梯度行走4.2 损失梯度云4.3 量化吸引域 5 实验过程5.1 基准问题5.2 取样参数 6 实验结果7 结论展望 1 论文概述 2020年3月发表在Neurocomputing上的一篇文章，对两种常见的神经网络损失函数(即二次损失和熵损失)的局部极小值和相关吸引域进行了可视化和数值分析。 1.1 文章摘要 神经网络...
在学习了机器学习的相关知识以后，我们知道其中的算法有很多种，比如回归算法、K近邻算法等等，这些都是需要大家掌握的算法，而神经网络算法是一个十分实用的算法，在这篇文章中我们就给大家介绍一下机器学习算法中的神经网络算法知识。 那么什么是神经网络算法呢？其实神经网络也称之为人工神经网络，简单就是ANN，而算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，随着深度学习的发展，神经网络再次出现在大...
1. 关于非线性转化方程(non-linear transformation function) ? ? ?sigmoid函数(S 曲线)用来作为activation function: ? ? ?sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。具有这种性质的S型函数统称为sigmoid函数。 ? ? ?? ? ? ?1.1 双曲函数(tanh)? ? ? ? 双曲函数（hyperbolic function）可借助...
项目简介： 目标：识别全班61个人的人脸。 实现途径：卷积神经网络用全班采集的照片训练直接训练自己的模型（图片格式132*197，每人10张，8张加入训练集，1张validation，1张test） 调用keras.application中的base_model（xception、inception、resnet50、VGG16、VGG19）做特征提取，更换我们自己的全链接层。 把basemodel的顶层的卷积层和池化层放开+全链接层方法：用了第三种【不要放开太多层，否则提前用大量图片训练的模型就失...
转自：http://www.ruanyifeng.com/blog/2017/07/neural-network.html 眼下最热门的技术，绝对是人工智能。 人工智能的底层模型是"神经网络"（neural network）。许多复杂的应用（比如模式识别、自动控制）和高级模型（比如深度学习）都基于它。学习人工智能，一定是从它开始。什么是神经网络呢？网上似乎缺乏通俗的解释。 前两天，我读到 Michael Nielsen 的开源教材《神经网络与深度学习》（Neural Networks and Deep Learning）...
bp神经网络 先来了解一下什么是神经网络一个神经网络包含：输入层（输入特征个数）、隐藏层（个数不限制）、输出层（类别）、权重（重要程度）、偏执/阈值（有偏执率）其中还要加上偏执，sgn是激活函数，它是为了防止结果值太大，把结果缩小到一定的范围内。这样得到的结果可能还不太准确，和真实值会有误差，于是我们用最小误差值倒推w，这个思想叫训练也叫bp神经网络BP（Back Propagation）网络是1986年由Rumelhart和McCelland为...
本文参考《Python神经网络编程》的相关章节 现在很火的一个机器学习数据集就是手写数字数据集（MNIST） 这个网站提供了两个CSV文件： 训练集：http://www.pjreddie.com/media/files/mnist_train.csv 测试集：http://www.pjreddie.com/media/files/mnist_test.csv 训练集有60000个标记样本，用于训练。测试集有10000个标记样本，用于测试 以下网站提供了两个较小的数据集，我们在调试程序的过程中可以使用他们： ...
上一篇 ※※※※※※※※ 【回到目录】 ※※※※※※※※ 下一篇10.1 代价函数 首先引入一些便于稍后讨论的新标记方法： 假设神经网络的训练样本有
神经网络在机器学习中有很大的应用，甚至涉及到方方面面。本文主要是简单介绍一下神经网络的基本理论概念和推算。同时也会介绍一下神经网络在数据分类方面的应用。首先，当我们建立一个回归和分类模型的时候，无论是用最小二乘法（OLS）还是最大似然值（MLE）都用来使得残差达到最小。因此我们在建立模型的时候，都会有一个loss function。而在神经网络里也不例外，也有个类似的loss function。对回归而言：对分类而言：然后同样方...
此算法的实现基于下面理论那里的西瓜书伪代码，读数据部分直接用了大神的一段代码，源地址https://blog.csdn.net/qdbszsj/article/details/79110888 同时给出一些理论：https://blog.csdn.net/aaalswaaa1/article/details/83046813import pandas as pd import numpy as np import random import math# 激活函数 def sigmoid(X, d):if d == 1:for i in range(len(X)):X[i] = 1 / (1 + math.exp(-X[i]))else:for i in range(len(X)):...
长文预警: 共22727字 注意：文末附有所有源码的地址 建议：收藏后找合适时间阅读。一、Net类的设计与神经网络初始化 闲言少叙，直接开始 既然是要用C++来实现，那么我们自然而然的想到设计一个神经网络类来表示神经网络，这里我称之为Net类。由于这个类名太过普遍，很有可能跟其他人写的程序冲突，所以我的所有程序都包含在namespace liu中，由此不难想到我姓刘。在之前的博客反向传播算法资源整理中，我列举了几个比较不错的资...