深度学习500问https://github.com/scutan90/DeepLearning-500-questions/ NLP部分：https://github.com/scutan90/DeepLearning-500-questions/blob/master/ch16_%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86(NLP)/%E7%AC%AC%E5%8D%81%E5%85%AD%E7%AB%A0_NLP.pdf原文：https://www.cnblogs.com/charlesblc/p/9929159.html
并发编程简介 并发编程可以帮助我们将程序划分为多个分离的、独立运行的任务。通过多线程机制，这些独立任务中的每一个都将由执行线程来驱动。一个线程就是在进程中的一个单一的顺序控制流，因此单个进程可以拥有多个并发执行的任务，但是程序使得每个任务都好像拥有自己的CPU一样，其底层机制是切分CPU时间。CPU会轮流为每个任务分配占用时间。 线程共享静态变量 每个线程拥有各自独立的地址空间，而其中的静态成员变量是可以被多...
简介 过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。 虽然结果好，我们也必须思考……它们为什么这么好使？ 在这篇文章里，我综述一下在自然语言处理（NLP）上应用深度神经网络得到的一些效果极其显著的成果。我希望能提供一个能解释为何深度神经网络好用的理由。我认为这是个非常简练而优美的视角。 单隐层神经网络单隐层神经网络有一个普适性（uni...
什么是过拟合所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。举个例子：现在我训练一个模型来识别狗狗，训练的数据恰好全是二哈的图片，结果多次迭代后把二哈的全部特点都识别成狗狗特有的了（比如二哈的颜色、和爱拆家的特点等）。这样如果我去识别一只金毛的时候则无法识别。这就是过拟合。 简单的一句话就是机器模型学到了太...
深度学习的特点：1）建立、模仿人脑学习的机制2）含多隐层的多层感知器；组合底层特征形成更加抽象的高层特征3）发现数据的分布性特征4）源于人工神经网络 人工神经网络的低潮：1）容易过拟合、参数难tune，需要不少trick2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优 人工神经网络和DL的训练机制的区别：人工神经网络：back propagation；采用迭代的算法来训练整个网络，随机设定初值，计算当前网...
论文链接：https://arxiv.org/pdf/1803.01271.pdfTCN（Temporal Convolutional Networks）TCN特点：可实现接收任意长度的输入序列作为输入，同时将其映射为等长的输出序列，这方面比较像RNN。计算是layer-wise的，即每个时刻被同时计算，而非时序上串行。其卷积网络层层之间是有因果关系的，意味着不会有“漏接”的历史信息或是未来数据的情况发生，即便 LSTM 它有记忆门，也无法完完全全的记得所有的历史信息，更何况要是该信息无...
作者|Nouman
编译|VK
来源|Towards Data Science在这篇文章中，我将教你建立你自己的网页应用程序，它将接受你的狗的图片，并输出其品种。准确率超过80%！我们将使用深度学习来训练一个模型的数据集的狗图像与他们的品种，以学习的特征来区分每一个品种。数据分析数据集可以从这里下载（https://s3-us-west-1.amazonaws.com/udacity-aind/dog-project/dogImages.zip）。在成功加载和浏览数据集后，以下是关于数据的一些介绍：犬种总...
主要针对RNN与LSTM的结构及其原理进行详细的介绍，了解什么是RNN，RNN的1对N、N对1的结构，什么是LSTM，以及LSTM中的三门（input、ouput、forget），后续将利用深度学习框架Kreas，结合案例对LSTM进行进一步的介绍。一、RNN的原理RNN（Recurrent Neural Networks），即全称循环神经网络，它是一种对序列型的数据进行建模的深度模型。如图1.1所示。 图1.11、其中 为序列数据。即神经网络的输入，例如nlp中，X1可以看作第一个单词、...
第三周 超参数调试、Batch Norm和程序框架3.1 & 3.2 & 3.3 选择超参数 在训练神经网络时我们有很多超参数要进行调试：学习率、动量、Adam的参数、学习率衰减、batch size、隐藏层数、隐藏单元数等等。吴恩达老师建议较为重要，可以考虑调节的参数顺序为：学习率、动量（ \( \beta 一般取0.9 \) ）、batch size、隐藏单元数、其它。在进行实验时，两个参数调试要在一个矩形数组内搜索最优组合，三个参数则要在一个立方数组内搜索最优...
深度学习允许由多个处理层组成的计算模型来学习多个抽象层数据的表示。这些方法大大提高了目前最先进的语音识别，可视对象识别，目标检测和其他诸多领域如药物发现和基因组。深度学习发现大数据集结构很复杂，该结构使用BP算法来指示机器应该如何改变内部参数，这些参数是用于从前一层的表示来计算每层的表示。深度卷积网已经在处理图像，视频，语音和音频方面取得了突破，而递归网已经触及到连续数据，如文本和语音。机器学习技术...
AlexNet在LeNet的基础上增加了3个卷积层。但AlexNet作者对它们的卷积窗?、输出通道数和构造顺序均做了?量的调整。虽然AlexNet指明了深度卷积神经?络可以取得出?的结果，但并没有提供简单的规则以指导后来的研究者如何设计新的?络。VGG，它的名字来源于论?作者所在的实验室Visual Geometry Group。VGG提出了可以通过重复使?简单的基础块来构建深度模型的思路。一、VGG块VGG块的组成规律是：连续使?数个相同的填充为1、窗?形状为 的卷...
Week 1 Quiz: Recurrent Neural Networks(第一周测验：循环神经网络)\1. Suppose your training examples are sentences (sequences of words). Which of the following refers to the jth word in the ith training example?( 假设你的训练样本是句子(单词序列)，下 面哪个选项指的是第??个训练样本中的第??个词?)【 】 $??^{(??)<??>} $【 】 \(??^{<??>(??) }\)【 】 \(??^{(??)<??>}\)【 】 \(??^{<??>(??)}\)答案
【★】 ??(?...
版权声明：本文为博主原创文章，欢迎转载，并请注明出处。联系方式：460356155@qq.com在前一篇文章MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（一）中，直接用python创建全连接神经网络模型进行深度学习训练，这样可以对神经网络有较为深刻的认识。但是在实际应用中，一般都是采用各种深度学习框架来开展人工智能项目，以下就采用pytorch来实现前一篇文章中的全连接神经网络（784-300-10）。...
关注公众号“从机器学习到深度学习那些事”获取更多最新资料写在前面学习建议：以下学习过程中有不理解可以简单查找下资料，但不必纠结（比如非得深究某一个函数等），尽量快速的学一遍，不求甚解无妨。多实操代码，不能只复制代码，或者感觉懂了就只看。熟能生巧，我亦无他，唯手熟尔今天介绍一些基础函数及其用法，基本全是代码，一些解释都放在代码的注释里了。直接看代码吧，记得在你本地跑一下看哦代码1#tensor.get_shape() 获...
在上一节中，我们讲到了OpenCV库的安装，现在我们来进行实战，看如何利用Python来调用OpenCV库。一：如果您的电脑是win10的系统，那么请您按下win键，再按下空格键，输入Python，进入Python的IDEA shell界面。这个时候您也可以直接进入CMD进行民命令行模式的编辑，因为第一次可我们并不会很多的代码需要您去编辑。在后期您可以使用轻量级的IDEA，比如sublime test3 或者重量级的Pycharm IDEA进行编辑，它们都是现在世界上十分常用的...
