深度学习——人工神经网络再掀研究热潮胡晓林 人工神经网络起源于上世纪40年代，到今天已经70年历史了。就像人的一生，经历了起起落落，有过辉煌，有过黯淡，有过嘈杂，有过冷清。总体说来，过去的20年中人工神经网络的研究不温不火，直到最近三五年，随着深度学习概念的提出，人工神经网络才又重新焕发生机，甚至再度掀起研究热潮。本文简述一下人工神经网络的“前世今生”，并简单展望一下它的未来。第一个神经元模型是1943年McC...
参考：https://github.com/chenyuntc/pytorch-book/tree/v1.0/chapter7-GAN生成动漫头像GAN解决了非监督学习中的著名问题：给定一批样本，训练一个系统能够生成类似的新样本 生成对抗网络的网络结构如下图所示：生成器(generator)：输入一个随机噪声，生成一张图片判别器(discriminator):判断输入的图片是真图片还是假图片训练判别器D时，需要利用生成器G生成的假图片和来自现实世界的真图片；训练生成器时，只需要使用噪声生成假图...
Contents 图像数据集基础全连接神经网络解决图片问题的弊端（前世）卷积神经网络的今生 网络结构卷积操作池化操作小结 图像数据集基础 数字图像划分为彩色图像、灰度图像、二值图像和索引图像几种。其中，像素是构成图像的基本单位，例如一张28×28像素的图片，即表示横向有28个像素点，纵向有28个像素点。最常用的彩色图像和灰度图像：彩色图像：每个像素由RGB三个分量来表示，即红绿蓝。每个分量介于（0，255）。那么，对于一个...
原文链接 序 读书期间对于深度学习也有涉及，不过只是皮毛，在这个数据和算法的时代，也需要更加贴近算法。于是从一名工程师角度出发，希望通过几篇文章，将深度学习基础记录下来，同时也是对于自己学习的总结和积累。总体思路是ANN－CNN－DNN，中间想起来有什么忘记的，也会加番。神经网络概述这是一张典型的人工神经网络的图，图中的节点称为神经元，图共分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层。输入层接受外...
深度学习的特点：1）建立、模仿人脑学习的机制2）含多隐层的多层感知器；组合底层特征形成更加抽象的高层特征3）发现数据的分布性特征4）源于人工神经网络 人工神经网络的低潮：1）容易过拟合、参数难tune，需要不少trick2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优 人工神经网络和DL的训练机制的区别：人工神经网络：back propagation；采用迭代的算法来训练整个网络，随机设定初值，计算当前网...
论文链接：https://arxiv.org/pdf/1803.01271.pdfTCN（Temporal Convolutional Networks）TCN特点：可实现接收任意长度的输入序列作为输入，同时将其映射为等长的输出序列，这方面比较像RNN。计算是layer-wise的，即每个时刻被同时计算，而非时序上串行。其卷积网络层层之间是有因果关系的，意味着不会有“漏接”的历史信息或是未来数据的情况发生，即便 LSTM 它有记忆门，也无法完完全全的记得所有的历史信息，更何况要是该信息无...
Week 1 Quiz: Recurrent Neural Networks(第一周测验：循环神经网络)\1. Suppose your training examples are sentences (sequences of words). Which of the following refers to the jth word in the ith training example?( 假设你的训练样本是句子(单词序列)，下 面哪个选项指的是第??个训练样本中的第??个词?)【 】 $??^{(??)<??>} $【 】 \(??^{<??>(??) }\)【 】 \(??^{(??)<??>}\)【 】 \(??^{<??>(??)}\)答案 【★】 ??(?...
版权声明：本文为博主原创文章，欢迎转载，并请注明出处。联系方式：460356155@qq.com在前一篇文章MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（一）中，直接用python创建全连接神经网络模型进行深度学习训练，这样可以对神经网络有较为深刻的认识。但是在实际应用中，一般都是采用各种深度学习框架来开展人工智能项目，以下就采用pytorch来实现前一篇文章中的全连接神经网络（784-300-10）。...
导读：关于Alfa Go的评论文章很多，但真正能够与开发团队交流的却不多，感谢Alfa Go开发团队DeepMind的朋友对我这篇文章内容的关注与探讨，指出我在之前那一版文章中用字上的不够较精确，所以在此又作调整。我之前文章提到的「全局」指的是跨时间点的整场赛局，很容易被误认为是某个特定时点整个棋盘的棋局，所以后面全部都修改为「整体棋局」。此外，关于整体棋局评估，除了透过脱机数据学习的评价网络之外，还可以透过根据目前状...
深度学习简介深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。深度学习是一个框架，包含多个重要算法: Convolutional Neural Networks(CNN)卷积神经网络AutoEncoder自动编码器Sparse Coding稀疏编码Restricted Bol...
话题 3: 基于深度学习的二进制恶意样本检测分享主题：全球正在经历一场由科技驱动的数字化转型，传统技术已经不能适应病毒数量飞速增长的发展态势。而基于沙箱的检测方案无法满足 APT 攻击的检测需求，也受到多种反沙箱技术的干扰。在充分考察过各种技术方案的优劣后，瀚思科技开发出了基于深度学习的二进制病毒样本检测技术，可以做到沙箱同等水平的 99% 的检测准确率，而误报率低于 1/1000。基于深度学习的病毒检测技术无需沙箱环...
1. RNN首先思考这样一个问题：在处理序列学习问题时，为什么不使用标准的神经网络（建立多个隐藏层得到最终的输出）解决，而是提出了RNN这一新概念？ 标准神经网络如下图所示：标准神经网络在解决序列问题时，存在两个问题：难以解决每个训练样例子输入输出长度不同的情况，因为序列的长度代表着输入层、输出层的维度，不可能每训练一个样例就改变一次网络结构。标准的神经网络不能共享从文本不同位置上学到的特征。举例说明：如果...
1. 第i层网络 Z[i] = W[i]A[i-1] + B[i]，A[i] = f(Z[i])。 其中， W[i]形状是n[i]*n[i-1]，n[i]是第i层神经元的数量； A[i-1]是第i-1层的神经元，形状是n[i-1]*p，p是样本数量； B[i]形状是n[i]*p，B[i]的每一列都是一样的，所以其实有效的参数只是n[i]个，python里直接用n[i]*1的b[i]然后boradcasting成n[i]*p方便做加法。 A[0]对应输入层，n[0]是单个输入样本的特征数量。f()是...
1、Wide & Deep 模型https://arxiv.org/abs/1606.07792 https://blog.csdn.net/google19890102/article/details/78171283在Wide & Deep模型中包括两个部分，分别为Wide部分和Deep部分，Wide部分如上图中的左图所示，Deep部分如上图中的右图所示。wide模型：实际上，Wide模型就是一个广义线性模型, $y = w^T x+b$deep模型：Deep模型是一个前馈神经网络联合训练：同时训练Wide模型和Deep模型，并将两个模型的结果的加权和作为最终的预...
使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。一，首先需要安装GPU环境（说明：我...