正文
Python之TensorFlow的变量收集、自定义命令参数、矩阵运算、梯度下降-4
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
一、TensorFlow为什么要存在变量收集的过程，主要目的就是把训练过程中的数据，比如loss、权重、偏置等数据通过图形展示的方式呈现在开发者的眼前。
自定义参数：自定义参数，主要是通过Python去执行，然后传入对应的参数。常见的有路径、训练次数等。
梯度下降：这个应该是最常见的训练手段了，在监督学习中，基本上都是采用这种方式，所以了解其中的使用过程还是很多必要的。
二、变量收集
tf.summary.scalar(<name>, <tensor>)：通过标量的方式来统计数据（简单一点有点像曲线图的方式，一般用于loss、accuary的收集）
tf.summary.histogram(<name>, <values>)：直方图的形式展示、一般用于高纬度的数据收集。
merged = tf.summary.merge_all()：合并数据，返回收集到的数据
summary = sess.run(merged)：运行收集到数据
file_write = tf.summary.FileWriter(<logdir>,<graph=None>)：记录收集数据的writer
file_write.add_summary(<summary>, <global_step=None>)：写入收集的数据，global_step为每一步长
三、自定义命令参数
1）首先声明需要传入的参数
tf.flags.DEFINE_integer("max_step", 2000, "最大训练次数")FLAGS = tf.flags.FLAGS
注意：这里的数据类型，可以自己更具需要传入
tf.flags.DEFINE_integer(<name>, <default_value>, <desc>)
tf.flags.DEFINE_string(<name>, <default_value>, <desc>)
2）替换需要手动传入的部分
for i in range(FLAGS.max_step)：
获取参数：
定义：
FLAGS = tf.flags.FLAGS
获取：
FLAGS.<name>
3）通过Python的方式去执行*.py文件，带入参数
python <py_name> --<name>=<value>
四、矩阵运算
矩阵运算：
乘法：tf.matmul(x, y)
平方：tf.square(error)
均值：tf.reduce_mean(error)
说明：矩阵运算，这里只是一少部分，实际开发中用到的需要自行查阅
五、梯度下降
线性回归步骤：
1、准备特征数据和目标值
2、建立模型 y = wx + b,主要求解w,b的值
3、计算损失值：误差loss均方误差（y1-y1'）^2 + ... + (yn - yn')^2 / n 其中：yn为特征值矩阵，yn'为平均值矩阵
4、梯度下降，优化损失过程，需要指定学习率
梯度下降：
tf.train.GradientDescentOptimizer(learning_rate)
method: minimize(loss)
return: 梯度下降op
学习率：
如果学习率过大会出现梯度消失/梯度爆炸导致NaN
优化：
1、重新设计网络
2、调整学习率
3、使用梯度截断
4、使用激活函数
六、代码演示
import os
import tensorflow as tf# tf.flags.DEFINE_integer("max_step", 2000, "最大训练次数")
#
# FLAGS = tf.flags.FLAGSdef tensorflow_linear_regression():
with tf.variable_scope("data"):
# 1、准备特征值和目标值
x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x")
# 矩阵相乘必须是二维(为了模拟效果而设定固定值来训练)
y_true = tf.matmul(x, [[0.7]]) + 0.8 with tf.variable_scope("model"):
# 2、建立回归模型，随机给权重值和偏置的值，让他去计算损失，然后在当前状态下优化
# 模型 y = wx + b, w的个数根据特征数据而定，b随机
# 其中Variable的参数trainable可以指定变量是否跟着梯度下降一起优化(默认True)
w = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w", trainable=True)
b = tf.Variable(0.0, name="b")
# 预测值
y_predict = tf.matmul(x, w) + b with tf.variable_scope("loss"):
# 3、建立损失函数，均方误差
loss = tf.reduce_mean(tf.square(y_true - y_predict)) with tf.variable_scope("optimizer"):
# 4、梯度下降优化损失
# 学习率的控制非常重要，如果过大会出现梯度消失/梯度爆炸导致NaN
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss) # 1）收集变量
tf.summary.scalar("losses", loss)
tf.summary.histogram("ws", w) # 2）合并变量
merged = tf.summary.merge_all() tf.add_to_collection("y_predict", y_predict) # 定义一个初始化变量的op
init_op = tf.global_variables_initializer() # 定义保存模型
saver = tf.train.Saver() # 通过绘画运行程序
with tf.Session() as sess:
sess.run(init_op)
print("运行前，权重值：%f, 偏置：%f" % (w.eval(), b.eval()))
file_write = tf.summary.FileWriter("tmp/summary/regression", sess.graph) # 加载上次训练的模型结果
if os.path.exists("model/checkpoint/checkpoint"):
saver.restore(sess, "model/checkpoint/model") # 循环训练
for i in range(2000):
# python tensorflow_linear_regression_demo.py --max_step=1000
# for i in range(FLAGS.max_step):
sess.run(train_op)
print("运行 %d 后，权重值：%f, 偏置：%f" % (i + 1, w.eval(), b.eval())) # 运行合并后的数据
summary = sess.run(merged)
file_write.add_summary(summary, i) # 保存模型
if (i + 1) % 100 == 0:
saver.save(sess, "model/checkpoint/model")
