1，概述 模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现接口。 对于量化用现在常见的min-max方式可以用公式概括为： $r = S (q - Z)$ 上面式子中q为量化后的值，r为原始浮点值，S为浮点类型的缩放稀疏，Z为和q相同类型的表示r中0点的值...
# coding: utf-8# #### 假设我们要最小化函数 $y=x^2$, 选择初始点 $x_0=5$# #### 1. 学习率为1的时候，x在5和-5之间震荡。# In[1]:import tensorflow as tf TRAINING_STEPS = 10 LEARNING_RATE = 1 x = tf.Variable(tf.constant(5, dtype=tf.float32), name="x") y = tf.square(x)train_op = tf.train.GradientDescentOptimizer(LEARNING_RATE).minimize(y)with tf.Session() as sess:sess.run(tf.global_variables_initialize...
这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。项目地址： https://github.com/aymericdamien/TensorFlow-Examples教程索引0 - 先决条件机器学习入门：笔记： https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/0_Prerequisite/ml_...
首先，看一下神经网络反向传播优化流程图： 反向传播算法实现了一个迭代的过程。每次迭代的开始，都选取一部分训练数据batch。然后，这个batch的样例会通过前向传播算法得到神经网络模型的预测结果。因为训练数据都是有正确答案标注的，所以可以计算出当前神经网络模型的预测答案与正确答案之间的差距。最后，基于这个差距，通过反向传播算法会更新神经网络参数的取值，使得在这个batch上神经网络的预测结果与真实答案更加接近。 ...
import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Densemodel= Sequential() model.add(Dense(units=8,activation='relu',input_dim=1)) model.add(Dense(units=1,activation='sigmoid')) model.compile (loss='mean_squared_error', optimizer='sgd')x=[1,2,3,10,20,-2,-10,-100,-5,-20] y=[1.0,1.0,1.0,1.0,1.0,0.0,0.0,0.0,0.0,0.0] model.fit(x, y, epochs=10, b...