1. DNN神经网络的前向传播（FeedForward）2. DNN神经网络的反向更新（BP）3. DNN神经网络的正则化1. 前言和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。2. DNN的L1和L2正则化想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。而DNN的L2正则化通常的做法是只针对与线性系数矩阵\(W\),而不针对偏倚系数\(b\...
目录 1.超参数调试 为超参数选择合适的范围 超参数训练的实践 2.Batch 标准化 Batch Norm为什么奏效 测试时的Batch Norm 3.Softmax回归 训练Softmax分类器 4.深度学习框架 TensorFlow框架 1.超参数调试 深度神经网络需要调试的超参数（Hyperparameters）较多，包括：α：学习因子β：动量梯度下降因子：Adam算法参数#layers：神经网络层数#hidden units：各隐藏层神经元个数learning rate decay：学习因子下降参数mini-batch siz...