TensorFlow 之高层封装slim,tflearn,keras

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

tensorflow资源整合

使用原生态TensorFlow API来实现各种不同的神经网络结构。虽然原生态的TensorFlow API可以很灵活的支持不同的神经网络结构，但是其代码相对比较冗长，写起来比较麻烦。为了让TensorFlow用起来更加方便，可以使用一些TensorFlow的高层封装。
目前对TensorFlow的主要封装有4个：

第一个是TensorFlow-Slim；
第二个是tf.contrib.learn（之前也被称为skflow）；
第三个是TFLearn；
最后一个是Keras。

TensorFlow-Slim

TensorFlow-Slim使用方法说明

# 直接使用TensorFlow原生态API实现卷积层。 with tf.variable_scope(scope_name): weights = tf.get_variable("weight", …) biases = tf.get_variable("bias", …) conv = tf.nn.conv2d(…) relu = tf.nn.relu(tf.nn.bias_add(conv, biases))# 使用TensorFlow-Slim实现卷积层。通过TensorFlow-Slim可以在一行中实现一个卷积层的 # 前向传播算法。slim.conv2d函数的有3个参数是必填的。第一个参数为输入节点矩阵，第二参数 # 是当前卷积层过滤器的深度，第三个参数是过滤器的尺寸。可选的参数有过滤器移动的步长、 # 是否使用全0填充、激活函数的选择以及变量的命名空间等。 net = slim.conv2d(input, 32, [3, 3])

从上面的代码可以看出，使用TensorFlow-Slim可以大幅减少代码量。省去很多与网络结构无关的变量声明的代码。虽然TensorFlow-Slim可以起到简化代码的作用，但是在实际应用中，使用TensorFlow-Slim定义网络结构的情况相对较少，因为它既不如原生态TensorFlow的灵活，也不如下面将要介绍的其他高层封装简洁。但除了简化定义神经网络结构的代码量，使用TensorFlow-Slim的一个最大好处就是它直接实现了一些经典的卷积神经网络，并且Google提供了这些神经网络在ImageNet上训练好的模型。下表总结了通过TensorFlow-Slim可以直接实现的神经网络模型：
Google提供的训练好的模型可以在github上tensorflow/models/slim目录下找到。在该目录下也提供了迁移学习的案例和代码。

tf.contrib.learn

tf.contrib.learn是TensorFlow官方提供的另外一个对TensorFlow的高层封装，通过这个封装，用户可以和使用sklearn类似的方法使用TensorFlow。通过tf.contrib.learn训练模型时，需要使用一个Estimator对象。Estimator对象是tf.contrib.learn 进行模型训练（train/fit）和模型评估（evaluation）的入口。
tf.contrib.learn模型提供了一些预定义的 Estimator，例如线性回归（tf.contrib.learn.LinearRegressor）、逻辑回归（tf.contrib.learn.LogisticRegressor）、线性分类（tf.contrib.learn.LinearClassifier）以及一些完全由全连接层构成的深度神经网络回归或者分类模型（tf.contrib.learn.DNNClassifier、tf.contrib.learn.DNNRegressor）。
除了可以使用预先定义好的模型，tf.contrib.learn也支持自定义模型，下面的代码给出了使用tf.contrib.learn在MNIST数据集上实现卷积神经网络的过程.

import tensorflow as tf from sklearn import metrics # 使用tf.contrib.layers中定义好的卷积神经网络结构可以更方便的实现卷积层。 layers = tf.contrib.layers learn = tf.contrib.learn # 自定义模型结构。这个函数有三个参数，第一个给出了输入的特征向量，第二个给出了 # 该输入对应的正确输出，最后一个给出了当前数据是训练还是测试。该函数的返回也有 # 三个指，第一个为定义的神经网络结构得到的最终输出节点取值，第二个为损失函数，第 # 三个为训练神经网络的操作。 def conv_model(input, target, mode): # 将正确答案转化成需要的格式。 target = tf.one_hot(tf.cast(target, tf.int32), 10, 1, 0) # 定义神经网络结构，首先需要将输入转化为一个三维举证，其中第一维表示一个batch中的 # 样例数量。 network = tf.reshape(input, [-1, 28, 28, 1]) # 通过tf.contrib.layers来定义过滤器大小为5*5的卷积层。 network = layers.convolution2d(network, 32, kernel_size=[5, 5], activation_fn=tf.nn.relu) # 实现过滤器大小为2*2，长和宽上的步长都为2的最大池化层。 network = tf.nn.max_pool(network, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') # 类似的定义其他的网络层结构。 network = layers.convolution2d(network, 64, kernel_size=[5, 5], activation_fn=tf.nn.relu) network = tf.nn.max_pool(network, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') # 将卷积层得到的矩阵拉直成一个向量，方便后面全连接层的处理。 network = tf.reshape(network, [-1, 7 * 7 * 64]) # 加入dropout。注意dropout只在训练时使用。 network = layers.dropout( layers.fully_connected(network, 500, activation_fn=tf.nn.relu), keep_prob=0.5, is_training=(mode == tf.contrib.learn.ModeKeys.TRAIN)) # 定义最后的全连接层。 logits = layers.fully_connected(network, 10, activation_fn=None) # 定义损失函数。 loss = tf.losses.softmax_cross_entropy(target, logits) # 定义优化函数和训练步骤。 train_op = layers.optimize_loss( loss, tf.contrib.framework.get_global_step(), optimizer='SGD', learning_rate=0.01) return tf.argmax(logits, 1), loss, train_op # 加载数据。 mnist = learn.datasets.load_dataset('mnist') # 定义神经网络结构，并在训练数据上训练神经网络。 classifier = learn.Estimator(model_fn=conv_model) classifier.fit(mnist.train.images, mnist.train.labels, batch_size=100, steps=20000) # 在测试数据上计算模型准确率。 score = metrics.accuracy_score(mnist.test.labels, list(classifier.predict(mnist.test.images))) print('Accuracy: {0:f}'.format(score)) ''' 运行上面的程序，可以得到类似如下的 Accuracy: 0.9901 '''

TFLearn

TensorFlow的另外一个高层封装TFLearn进一步简化了tf.contrib.learn中对模型定义的方法，并提供了一些更加简洁的方法来定义神经网络的结构。和上面两个高层封装不一样，使用TFLearn需要单独安装，安装的方法为：

pip install tflearn

下面的代码介绍了如何通过TFLearn来实现卷积神经网络。更多关于TFLearn的用法介绍可以参考TFLearn的官方网站（http://tflearn.org/）

import tflearn from tflearn.layers.core import input_data, dropout, fully_connected from tflearn.layers.conv import conv_2d, max_pool_2d from tflearn.layers.estimator import regressionimport tflearn.datasets.mnist as mnist# 读取MNIST数据。 trainX, trainY, testX, testY = mnist.load_data(one_hot=True) # 将图像数据resize成卷积卷积神经网络输入的格式。 trainX = trainX.reshape([-1, 28, 28, 1]) testX = testX.reshape([-1, 28, 28, 1])# 构建神经网络。input_data定义了一个placeholder来接入输入数据。 network = input_data(shape=[None, 28, 28, 1], name='input') # 定义一个深度为5，过滤器为5*5的卷积层。从这个函数可以看出，它比tf.contrib.learn # 中对卷积层的抽象要更加简洁。 network = conv_2d(network, 32, 5, activation='relu') # 定义一个过滤器为2*2的最大池化层。 network = max_pool_2d(network, 2) # 类似的定义其他的网络结构。 network = conv_2d(network, 64, 5, activation='relu') network = max_pool_2d(network, 2) network = fully_connected(network, 500, activation='relu', regularizer="L2") network = dropout(network, 0.5) network = fully_connected(network, 10, activation='softmax', regularizer="L2") # 定义学习任务。指定优化器为sgd，学习率为0.01，损失函数为交叉熵。 network = regression(network, optimizer='sgd', learning_rate=0.01, loss='categorical_crossentropy', name='target')# 通过定义的网络结构训练模型，并在指定的验证数据上验证模型的效果。 model = tflearn.DNN(network, tensorboard_verbose=0) model.fit(trainX, trainY, n_epoch=20, validation_set=([testX, testY]), show_metric=True)