商务网站建设软件,wordpress+组织架构,郑州企业名单,泉州参考文献#xff1a;
https://zhuanlan.zhihu.com/p/71328244
目录
1.可视化计算图
2.可视化参数
3. 远程tensorboard
4、报错 真是出来混迟早是要还的#xff0c;之前一直拒绝学习Tensorboard#xff0c;因为实在是有替代方案#xff0c;直到发现到了不得不用的地步…参考文献
https://zhuanlan.zhihu.com/p/71328244
目录
1.可视化计算图
2.可视化参数
3. 远程tensorboard
4、报错 真是出来混迟早是要还的之前一直拒绝学习Tensorboard因为实在是有替代方案直到发现到了不得不用的地步。下面主要介绍一下怎么使用Tensorboard来可视化参数损失以及准确率等变量。
1.可视化计算图
下面是一个单层网络的手写体分类示例
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_datamnist input_data.read_data_sets(MNIST_data, one_hotTrue)batch_size 100
n_batch mnist.train.num_examples // batch_sizewith tf.name_scope(input):x tf.placeholder(dtypetf.float32, shape[None, 784], namex_input)y tf.placeholder(dtypetf.int32, shape[None, 10], namey_input)with tf.name_scope(layer):with tf.name_scope(weights):W tf.Variable(tf.random_uniform([784, 10]), namew)with tf.name_scope(biases):b tf.Variable(tf.zeros(shape[10], dtypetf.float32), nameb)with tf.name_scope(softmax):prediction tf.nn.softmax(tf.nn.xw_plus_b(x, W, b))
with tf.name_scope(Loss):loss tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labelsy, logitsprediction))
with tf.name_scope(train):train_step tf.train.GradientDescentOptimizer(0.01).minimize(loss)
with tf.name_scope(acc):correct_prediction tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))acc tf.reduce_mean(tf.cast(correct_prediction, tf.float32))with tf.Session() as sess:sess.run(tf.global_variables_initializer())writer tf.summary.FileWriter(logs/, sess.graph)for epoch in range(20):for batch in range(n_batch):batch_x, batch_y mnist.train.next_batch(batch_size)_, accuracy sess.run([train_step, acc], feed_dict{x: batch_x, y: batch_y})if batch % 50 0:print(### Epoch: {}, batch: {} acc on train: {}.format(epoch, batch, accuracy))accuracy sess.run(acc, feed_dict{x: mnist.test.images, y: mnist.test.labels})print(### Epoch: {}, acc on test: {}.format(epoch, accuracy))
其计算图的可视化结果如下所示 其中图中灰色的圆角矩形就是代码中的一个个命名空间tf.name_scope()而且命名空间是可以嵌套定义的。从计算图中可以清楚的看到各个操作的详细信息以及数据量的形状和流向等。这一操作的实现就全靠第31行代码。执行完这句代码后会在你指定路径此处为代码所在路径的logs文件夹中中生成一个类似名为events.out.tfevents.1561711787的文件。其打开步骤如下
首先需要安装tensorflow和tensorboard打开命令行Linux终端)进入到log的上一层目录运行命令tensorboard --logdirlogs如果成功则会有以下提示 TensorBoard 1.5.1 at http://DESKTOP-70LJI62:6006 (Press CTRLC to quit)如果有任何报错最直接的办法就是卸载tensorflow重新安装若是有多个环境建议用Anaconda管理将后面的地址粘贴到浏览器中最好是谷歌然后就能看到了可以双击各个结点查看详细信息
2.可视化参数
可视化网络计算图不是太有意义而更有意义的是在训练网络的同时能够看到一些参数的变换曲线图如准确率损失等以便于更好的分析网络。 要实现这个操作只需要添加对应的tf.summary.scalar(acc, acc)语句即可然后最后合并所有的summary即可。但是通常情况下网络层的参数都不是标量而是矩阵这类的对于这种变量通常的做法就是计算其最大、最小、平均值以及直方图等。由于对于很多参数都会用到同样的这几个操作所以在这里就统一定义函数
def variable_summaries(var):with tf.name_scope(summaries):mean tf.reduce_mean(var)tf.summary.scalar(mean, mean)with tf.name_scope(stddev):stddev tf.sqrt(tf.reduce_mean(tf.square(var - mean)))tf.summary.scalar(stddev, stddev)tf.summary.scalar(max, tf.reduce_max(var))tf.summary.scalar(min, tf.reduce_min(var))tf.summary.histogram(histogram, var)
然后在需要可视化参数的地方调用这个函数即可。
mnist input_data.read_data_sets(MNIST_data, one_hotTrue)batch_size 100n_batch mnist.train.num_examples // batch_size
with tf.name_scope(input):x tf.placeholder(dtypetf.float32, shape[None, 784], namex_input)y tf.placeholder(dtypetf.int32, shape[None, 10], namey_input)with tf.name_scope(layer):with tf.name_scope(weights):W tf.Variable(tf.random_uniform([784, 10]), namew)variable_summaries(W)####with tf.name_scope(biases):b tf.Variable(tf.zeros(shape[10], dtypetf.float32), nameb)variable_summaries(b)with tf.name_scope(softmax):prediction tf.nn.softmax(tf.nn.xw_plus_b(x, W, b))
with tf.name_scope(Loss):loss tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labelsy, logitsprediction))tf.summary.scalar(loss, loss)
with tf.name_scope(train):train_step tf.train.GradientDescentOptimizer(0.01).minimize(loss)
with tf.name_scope(acc):correct_prediction tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))acc tf.reduce_mean(tf.cast(correct_prediction, tf.float32))tf.summary.scalar(acc, acc)merged tf.summary.merge_all()
with tf.Session() as sess:sess.run(tf.global_variables_initializer())writer tf.summary.FileWriter(logs/, sess.graph)for epoch in range(20):for batch in range(n_batch):batch_x, batch_y mnist.train.next_batch(batch_size)_, summary, accuracy sess.run([train_step, merged, acc], feed_dict{x: batch_x, y: batch_y})if batch % 50 0:print(### Epoch: {}, batch: {} acc on train: {}.format(epoch, batch, accuracy))writer.add_summary(summary, epoch * n_batch batch)accuracy sess.run(acc, feed_dict{x: mnist.test.images, y: mnist.test.labels})print(### Epoch: {}, acc on test: {}.format(epoch, accuracy))
如上代码中的第14、17、22、28行所示。最后在每次迭代的时候将合并后的merged进行计算并写道本地文件中第40行。最后按照上面的方法用tensorboard打开即可。
注这个不用等到整个过程训练完才能可视化而是你在训练过程中就能看到的而且是每30秒根据生成的数据刷新一次还是很Nice的。 3. 远程tensorboard
由于条件所限通常在进行深度学习时都是在远处的服务器上进行训练的所以此时该怎么在本地电脑可视化呢答案是利用SSH的方向隧道技术将服务器上的端口数据转发到本地对应的端口然后就能在本地方法服务器上的日志数据了。
从上面连接成功后的提示可以知道tensorboard所用到的端口时6006没准儿哪天就换了所以我们只需将该端口的数据转发到本地即可。
ssh -L 16006:127.0.0.1:6006 accountserver.address其中16006是本地的任意端口只要不和本地应用有冲突就行随便写后面的account指你服务器的用户名紧接是Ip
windows的话直接在命令行里执行这条令就行也不知道啥时候windows命令行也支持ssh了
在登陆成功后此时已远程登陆了服务器同样进入到logs目录的上层目录然后运行tensorboard --logdirlogs最后在本地浏览器中运行127.0.0.1:16006即可。 4、报错
可能会出“AttributeError: module tensorflow has no attribute io”错误
这可能是因为tensorboard版本过高或者和tensorflow版本不匹配导致
本人tensorflow版本为1.5.0tensorboard版本为1.8.0,最终解决了报错
