Tensorflow创建和读取17flowers数据集

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

http://blog.csdn.net/sinat_16823063/article/details/53946549

标签： tensorflow

2016-12-30 21:43 1548人阅读评论(8) 收藏举报

分类：

深度学习（4）

近期开始学习tensorflow，看了很多视频教程以及博客，大多数前辈在介绍tensorflow的用法时都会调用官方文档里给出的数据集，但是对于我这样的小白来说，如果想训练自己的数据集，自己将图片转换成可以输入到网络中的格式确实是有难度。但如果不会做图片的预处理，迈不出这一步，今后的学习之路会越来越难走，所以今天还是硬着头皮把我这几天已经实现的部分做一个总结。主要参考了一篇博客，文章最后有链接，通过这位博主的方法我成功生成了自己的数据集。

首先，介绍一下用到的两个库，一个是os，一个是PIL。PIL（Python Imaging Library）是 Python 中最常用的图像处理库，而Image类又是 PIL库中一个非常重要的类，通过这个类来创建实例可以有直接载入图像文件，读取处理过的图像和通过抓取的方法得到的图像这三种方法。

我采用的数据集是17 Category Flower Dataset。17flowers是牛津大学Visual Geometry Group选取的在英国比较常见的17种花。其中每种花有80张图片，整个数据及有1360张图片，可以在官网下载。不过在后续的训练过程中遇到了过拟合的问题，稍后再解释。

由于17-flower数据集的结构如下图所示，标签就是最外层的文件夹的名字。所以在输入标签的时候可以直接通过文件读取的方式。

我们是通过TFRecords来创建数据集的，TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件(label)。

import os
import tensorflow as tf
from PIL import Image
cwd = os.getcwd()
classes = os.listdir(cwd+"/17flowers/jpg")
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for index, name in enumerate(classes):
class_path = cwd + "/17flowers/jpg/" + name + "/"
if os.path.isdir(class_path):
for img_name in os.listdir(class_path):
img_path = class_path + img_name
img = Image.open(img_path)
img = img.resize((224, 224))
img_raw = img.tobytes() #将图片转化为原生bytes
example = tf.train.Example(features=tf.train.Features(feature={
"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[int(name)])),
'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
}))
writer.write(example.SerializeToString()) #序列化为字符串
writer.close()
print(img_name)

我们使用tf.train.Example来定义我们要填入的数据格式，其中label即为标签，也就是最外层的文件夹名字，img_raw为易经理二进制化的图片。然后使用tf.python_io.TFRecordWriter来写入。基本的，一个Example中包含Features，Features里包含Feature（这里没s）的字典。最后，Feature里包含有一个 FloatList，或者ByteList，或者Int64List。就这样，我们把相关的信息都存到了一个文件中，所以前面才说不用单独的label文件。而且读取也很方便。

下面测试一下，已经存好的训练集是否可用：

for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):
example = tf.train.Example()
example.ParseFromString(serialized_example)
image = example.features.feature['image'].bytes_list.value
label = example.features.feature['label'].int64_list.value
# 可以做一些预处理之类的
print image, label

可以输出值，那么现在我们创建好的数据集已经存储在了统计目录下的train.tfrecords中了。接下来任务就是通过队列（queue）来读取这个训练集中的数据。

def read_and_decode(filename): 
#根据文件名生成一个队列 
filename_queue = tf.train.string_input_producer([filename])  
reader = tf.TFRecordReader() 
_, serialized_example = reader.read(filename_queue)
#返回文件名和文件 
features = tf.parse_single_example(serialized_example, features={ 
'label': tf.FixedLenFeature([], tf.int64),  'img_raw' : tf.FixedLenFeature([], tf.string), })  
img = tf.decode_raw(features['img_raw'], tf.uint8) 
img = tf.reshape(img, [224, 224, 3]) 
img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 
label = tf.cast(features['label'], tf.int64)  
return img, label

其中的filename，即刚刚通过TFReader来生成的训练集。通过将其转化成string类型数据，再通过reader来读取队列中的文件，并通过features的名字，‘label’和‘img_raw’来得到对应的标签和图片数据。之后就是一系列的转码和reshape的工作了。

准备好了这些训练集，接下来就是利用得到的label和img进行网络的训练了。

img, label = read_and_decode("train.tfrecords") 
img_batch, label_batch = tf.train.shuffle_batch([img, label],batch_size=100, capacity=2000,  min_after_dequeue=1000) 
labels = tf.one_hot(label_batch,17,1,0)
 coord = tf.train.Coordinator() 
threads = tf.train.start_queue_runners(coord=coord,sess=sess)
  for i in range(200): 
batch_xs, batch_ys = sess.run([img_batch, labels]) 
print(sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_prob: 0.5})) 
print("Loss:", sess.run(cross_entropy,feed_dict={xs: batch_xs, ys: batch_ys, keep_prob: 0.5})) 
if i % 50 == 0: 
print(compute_accuracy(mnist.test.images, mnist.test.labels)) 
coord.request_stop()
 coord.join()

注意一点，由于这里使用了队列的方式来进行训练集的读取，所以异步方式，通过Coordinator让queue runner通过coordinator来启动这些线程，并在最后读取队列结束后终止线程。

不过，在训练这个训练集的过程中不断的输出loss函数值，发现只迭代了5次就为0了，目前想到的原因可能是训练集太小，每个类只有80张图片。另一个原因可能是网络结构太深，由于使用了VGGNet，训练参数太多，容易过拟合。下次做个小规模的网络测试一下。

原博客地址为：http://ycszen.github.io/2016/08/17/TensorFlow高效读取数据/。