|
前言
Tensorflow中可以使用tensorboard这个强大的工具对计算图、loss、网络参数等进行可视化。本文并不涉及对tensorboard使用的介绍，而是旨在说明如何通过代码对网络权值和feature map做更灵活的处理、显示和存储。本文的相关代码主要参考了github上的一个小项目，但是对其进行了改进。
原项目地址为(https://github.com/grishasergei/conviz)。
本文将从以下两个方面进行介绍：
卷积知识补充
网络权值和feature map的可视化
1. 卷积知识补充
为了后面方便讲解代码，这里先对卷积的部分知识进行一下简介。关于卷积核如何在图像的一个通道上进行滑动计算，网上有诸多资料，相信对卷积神经网络有一定了解的读者都应该比较清楚，本文就不再赘述。这里主要介绍一组卷积核如何在一幅图像上计算得到一组feature map。
以从原始图像经过第一个卷积层得到第一组feature map为例（从得到的feature map到再之后的feature map也是同理），假设第一组feature map共有64个，那么可以把这组feature map也看作一幅图像，只不过它的通道数是64， 而一般意义上的图像是RGB3个通道。为了得到这第一组feature map，我们需要64个卷积核，每个卷积核是一个k x k x 3的矩阵，其中k是卷积核的大小（假设是正方形卷积核），3就对应着输入图像的通道数。下面我以一个简单粗糙的图示来展示一下图像经过一个卷积核的卷积得到一个feature map的过程。
如图所示，其实可以看做卷积核的每一通道（不太准确，将就一下）和图像的每一通道对应进行卷积操作，然后再逐位置相加，便得到了一个feature map。
那么用一组（64个）卷积核去卷积一幅图像，得到64个feature map就如下图所示，也就是每个卷积核得到一个feature map，64个卷积核就得到64个feature map。
另外，也可以稍微换一个角度看待这个问题，那就是先让图片的某一通道分别与64个卷积核的对应通道做卷积，得到64个feature map的中间结果，之后3个通道对应的中间结果再相加，得到最终的feature map，如下图所示：
可以看到这其实就是第一幅图扩展到多卷积核的情形，图画得较为粗糙，有些中间结果和最终结果直接用了一样的子图，理解时请稍微注意一下。下面代码中对卷积核进行展示的时候使用的就是这种方式，即对应着输入图像逐通道的去显示卷积核的对应通道，而不是每次显示一个卷积核的所有通道，可能解释的有点绕，需要注意一下。通过下面这个小图也许更好理解。
图中用红框圈出的部分即是我们一次展示出的权重参数。
2. 网络权值和feature map的可视化
(1) 网络权重参数可视化
首先介绍一下Tensorflow中卷积核的形状，如下代码所示：
weights = tf.Variable(tf.random_normal([filter_size, filter_size, channels, filter_num]))
前两维是卷积核的高和宽，第3维是上一层feature map的通道数，在第一节（卷积知识补充）中，我提到了上一层的feature map有多少个（也就是通道数是多少），那么对应着一个卷积核也要有这么多通道。第4维是当前卷积层的卷积核数量，也是当前层输出的feature map的通道数。
以下是我更改之后的网络权重参数（卷积核）的可视化代码：
from __future__ import print_function
#import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.cm as cm
import os
import visualize_utils
def plot_conv_weights(weights, plot_dir, name, channels_all=True, filters_all=True, channels=[0], filters=[0]):
"""
Plots convolutional filters
:param weights: numpy array of rank 4
:param name: string, name of convolutional layer
:param channels_all: boolean, optional
:return: nothing, plots are saved on the disk
"""
w_min = np.min(weights)
w_max = np.max(weights)
# make a list of channels if all are plotted
if channels_all:
channels = range(weights.shape[2])
# get number of convoluge")
第一维是一个batch中图片的数量，为了灵活可以设置为None，Tensorflow会根据实际输入的数据进行计算。二三维是图片的高和宽，第4维是图片通道数，一般为3。
如果我们想要输入一幅图片，然后看看它的激活值（feature map），那么也要按照以上维度以一个batch的形式进行输入，也就是[1, IMAGE_SIZE, IMAGE_SIZE, 3]。所以拿feature map数据时，第一维度肯定是取0（就对应着batch中的当前图片），二三维取全部，第4维度再取我们想要查看的feature map的某一通道。
如果想要可视化feature map，那么构建网络时还要动点手脚，定义计算图时，每得到一组激活值都要将其加到Tensorflow的collection中，如下：
tf.add_to_collection('activations', current)
而实际进行feature map可视化时，就要先输入一幅图片，然后运行网络拿到相应数据，最后把数据传参给可视化函数。以下这个例子展示的是如何将每个指定卷积层的feature map的每个通道进行单独的可视化与存储，使用的是VGG16网络：
visualize_layers = ['conv1_1', 'conv1_2', 'conv2_1', 'conv2_2', 'conv3_1', 'conv3_2', 'conv3_3', 'conv4_1', 'conv4_2', 'conv4_3', 'conv5_1', 'conv5_2', 'conv5_3']
with tf.Session(graph=tf.get_default_graph()) as sess:
init_op = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer())
sess.run(init_op)
saver.restore(sess, model_path)
image_path = root_path + 'images/train_images/sunny_0058.jpg'
img = misc.imread(image_path)
img = img - meanvalue
img = np.float32(img)
img = np.expand_dims(img, axis=0)
conv_out = sess.run(tf.get_collection('activations'), feed_dict={x: img, keep_prob: 1.0})
for i, layer in enumerate(visualize_layers):
visualize_utils.create_dir(dir_prefix + layer)
for j in range(conv_out[i].shape[3]):
visualize.plot_conv_output(conv_out[i], dir_prefix + layer, str(j), filters_all=False, filters=[j])
sess.close()
其中，conv_out包含了所有加入到collection中的feature map，这些feature map在conv_out中是按卷积层划分的。
最终得到的结果如下图所示：
第一个文件夹下的全部结果：
以上这篇对Tensorflow中权值和feature map的可视化详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持社区。 | 
转播
