Windows caffe VGG人脸识别

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

caffe自带的例子有mnist和cifar10，cifar10和mnist的运行方式类型，下好图片数据文件后，训练例子中的模型，然后测试模型，也可以自己用图片进行预测分类（自己图片最好是cifar10训练的10种类型）。10种类型如下：

airplane
automobile
bird
cat
deer
dog
frog
horse
ship
truck

其他类型的图片也只能是错误识别，没有意义。

进入正题，跑完例子，笔者饥渴的想来点别的分类和识别模型。结合时下热门的人脸识别技术，就决定用知名的VGG人脸模型了。

一、VGG介绍

http://www.robots.ox.ac.uk/~vgg/software/vgg_face/

网站提供了VGGFACE的论文出处，使用的是VGG-VERY-DEEP-16 CNN，它在YouTube网站的人脸识别结果可达到92.8%还是不错的成绩！

网站提供了Torch和caffe两种框架的模型，以及MatConvNet文件。

二、生成数据

使用现有的模型来测试，属于caffe的finetuing(微调模型)。

Windows下要将待测图片生成LEVELDB文件，我使用的是 IMM Face Database (240 images) http://www.imm.dtu.dk/~aam/

可自行下载，数据集包含JPG格式的彩图，每人6张图片，共40人，240图片。

笔者在caffe/examples/目录下新建vggface目录，只要在caffe/目录下都行，在vggface下再分别创建train和val文件夹，存储训练和测试图片：如 D:\caffe\caffe-master\examples\vggface\train D:\caffe\caffe-master\examples\vggface\val
从数据集选择测试图片放入train文件夹，再新建标签文本 train.txt

train.txt存放图片的名称和标签类别，注意类别是从0开始，比如10类就是0-9（有点C数组下标的感觉）

train.txt内容可通过.bat命令生成，笔者部分内容：

-1m.jpg
-2m.jpg
-3m.jpg
-4m.jpg
-5m.jpg
-1m.jpg
-2m.jpg
-3m.jpg
-4m.jpg
-5m.jpg
-1m.jpg
-2m.jpg
-3m.jpg
-4m.jpg
-5m.jpg
-1m.jpg
-2m.jpg
-3m.jpg
-4m.jpg
-5m.jpg

val文件内的图片和val.txt也是同样操作！

接下来是转换为LEVELDB的数据文件，笔者在网上搜索尝试了很多写法，很多都会报错，或者在Windows下使用shell脚本并不是很方便，最后综合了下，如下convertldb.bat可以成功转换。

D:\caffe\caffe-master\Build\x64\Debug\convert_imageset.exe --resize_width= --resize_height= D:\caffe\caffe-master\examples\vggface\train\ D:\caffe\caffe-master\examples\vggface\train\train.txt D:\caffe\caffe-master\examples\vggface\train_leveldb -backend=leveldb
Pause

为了还原真实环境我没有在每个目录参数前面换行以显得美观，有的博客将后面3个目录的参数都换行了，贴出来很好看，但是会出现不是内部程序的错误，去掉换行改为空格间隔即可解决！（代码有点长，请拉完观看）

convert_imageset.exe是自己在caffe工程里生成的，我没有Realease所以Debug也可以的。

--resize_height是为了调整图片的长宽，因为VGG模型要求是224*224大小，如果你自己用OPENCV或MATLAB调整了大小，可以不要这两个参数。

后面3个目录分别是训练图片的文件路径；训练图片的标签文件；生成的LEVELDB文件路径；

-backend=leveldb很重要，确保生成的是LEVELDB格式，默认是IMDB，Windows使用有问题！

成功执行convertldb.bat后，会生成对应文件夹，看.log文件大小不为0也没报错基本没问题。

val文件夹的图片也做和train文件夹类似的转换，只需要在convertldb.bat里修改为val文件夹路径即可！

有了LEVELDB文件后进入计算均值阶段：

也是脚本执行，如 compute_mean.bat

SET GLOG_logtostderr=
D:\caffe\caffe-master\Build\x64\Debug\compute_image_mean.exe -backend=leveldb D:\caffe\caffe-master\examples\vggface\train_leveldb D:\caffe\caffe-master\examples\vggface\mean.binaryproto
pause

计算均值一般不会出错，compute_image_mean.exe也是在caffe工程里通过VS2013生成的。

后面两个目录参数依次是： LEVELEDB的文件路径；生成的均值文件路径；caffe的均值文件是xx.binaryproto

三、修改网络

VGG网络可以使用的网络架构模型和某些基本solver参数，但是数据路径，输入层，输出全连接层之类的还是要根据自己的图片类别进行修改。

新建vggface_train_test.protxt，将下载的模型内的VGG_FACE_deploy.prototxt内容复制到vggface_train_test.protxt。对前面的数据层和最后的输出层进行修改：

name: "vggface_train_test.prototxt"
layers {
name: "data"
type: DATA
top: "data"
top: "label"
include {
phase: TRAIN
}
transform_param {
mirror: true
crop_size:
mean_value:
mean_value:
mean_value:
}
data_param{
source: "D:/caffe/caffe-master/examples/vggface/train_leveldb"
batch_size:
backend: LEVELDB
}
}
layers {
name: "data"
type: DATA
top: "data"
top: "label"
include {
phase: TEST
}
transform_param{
mirror: false
crop_size:
mean_value:
mean_value:
mean_value:
}
data_param{
source: "D:/caffe/caffe-master/examples/vggface/val_leveldb"
batch_size:
backend: LEVELDB
}
}
layers {
bottom: "data"
top: "conv1_1"
name: "conv1_1"
type: CONVOLUTION
convolution_param {
num_output:
pad:
kernel_size:
}
}

修改到第一个卷积层conv1_1之前，如上所示，中间的网络层不用修改。

最后两层改为如下形式：

layers {
bottom: "fc7"
top: "facefc8"
name: "facefc8"
type: INNER_PRODUCT
inner_product_param {
num_output:
}
}
layers {
bottom: "facefc8"
top: "prob"
name: "prob"
type: SOFTMAX
}

主要是修改两处： 1.name修改，不能使用之前的fc8会报错，笔者改为facefc8； 2.修改num_output分类数我的类别是5个所以改为5！

接下来是建vggface_solver.prototxt，如下：

# The train/test net protocol buffer definition
net: "examples/vggface/vggface_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
test_iter:
test_interval:
test_initialization: false
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.00005
momentum: 0.9
weight_decay: 0.0002
lr_policy: "step"
stepsize:
gamma: 0.3
average_loss:
# Display every iterations
display:
max_iter:
# snapshot intermediate results
snapshot:
snapshot_prefix: "examples/vggface/vggmodel"
solver_mode: CPU