【新生学习】第一周：深度学习及pytorch基础

DEADLINE: 2020-07-25 22:00

写在最前面： 本课程的主要思路还是要求大家大量练习 pytorch 代码，在写代码的过程中掌握深度学习的各类算法，希望大家能够坚持练习，相信经度过这个酷暑，不知不觉中，你会感觉自己有显著提高。代码教程在 github 上，如遇到图片不显示的情况，可参考博客解决问题：https://blog.csdn.net/qq_38232598/article/details/91346392

本周的基础学习任务包括 视频学习 和 代码练习 两部分。部分同学可能以前学过这些内容，对内容较为熟悉的同学，可以跳过前两部分直接进入第三部分 进阶练习。

1. 视频学习

视频学习包括两章内容：

1.1 绪论

（下载地址：https://www.jianguoyun.com/p/DVJarjYQrKKIBhi8la0D）

• 从专家系统到机器学习
• 从传统机器学习到深度学习
• 深度学习的能与不能

1.2 深度学习概述

（下载地址：https://www.jianguoyun.com/p/DVlvT3cQrKKIBhi_la0D）

• 浅层神经网络：生物神经元到单层感知器，多层感知器，反向传播和梯度消失
• 神经网络到深度学习：逐层预训练，自编码器和受限玻尔兹曼机

1.3 pytorch 基础

（下载地址：https://www.jianguoyun.com/p/DYkxgJcQrKKIBhi5lq0D）

所有视频下载链接2020年7月25日自动过期，请抓紧时间下载。

2. 代码练习

代码练习需要使用谷歌的 Colab，它是一个 Jupyter 笔记本环境，已经默认安装好 pytorch，不需要进行任何设置就可以使用，并且完全在云端运行。使用方法可以参考 Rogan 的博客：https://www.cnblogs.com/lfri/p/10471852.html 国内目前无法访问 colab，可以安装 Ghelper: http://googlehelper.net/

2.1 图像处理基本练习

这部分内容包括：理解图像类型，进行一些基本的图像分割操作。代码我都写在了一个 JupyterNotebook 里面，地址为：https://github.com/OUCTheoryGroup/colab_demo/blob/master/01_Image_Processing.ipynb

要求： 把代码输入 colab，在线运行观察效果。

2.2 pytorch 基础练习

基础练习部分包括 pytorch 基础操作，链接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/02_Pytorch_Basic.ipynb

要求： 把代码输入 colab，在线运行观察效果。

2.3 螺旋数据分类

代码链接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/03_Spiral_Classification.ipynb

要求： 把代码输入 colab，在线运行观察效果

备注：详细说明可参考 https://atcold.github.io/pytorch-Deep-Learning/zh/week02/02-3/ 中英文字幕的视频讲解在B站：https://www.bilibili.com/video/BV1gV411o7AD?p=4 有精力的同学可以看看

2.4 回归分析

代码链接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/04_Regression.ipynb

要求： 把代码输入 colab，在线运行观察效果

备注： 详细说明可参考 https://atcold.github.io/pytorch-Deep-Learning/zh/week02/02-3/ 中英文字幕的视频讲解在B站：https://www.bilibili.com/video/BV1gV411o7AD?p=4 有精力的同学可以看看

3. 进阶练习（optional）

本部分代码练习为选做内容，考虑到大家基础不同，这部分供有余力的同学选做。主要内容包括： 迁移学习、图像分类、VGG模型

notebook链接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_04_Transfer_VGG_for_dogs_vs_cats.ipynb

这部分为 Kaggle 于 2013 年举办的猫狗大战竞赛，使用在 ImageNet 上预训练的 VGG 网络进行测试。因为原网络的分类结果是1000类，所以这里进行迁移学习，对原网络进行 fine-tune （即固定前面若干层，作为特征提取器，只重新训练最后两层）。

仔细研读AI研习社猫狗大战赛题的要求：https://god.yanxishe.com/41 （目前比赛已经结束，但仍可做为练习赛每天提交测试结果）

下载比赛的测试集（包含2000张图片），利用fine-tune的VGG模型进行测试，按照比赛规定的格式输出，上传结果评测（练习赛每天仅可评测5次）。我已进行测试，VGG模型训练 1 个 epoch 的准确率约为 96.1 %。

大家可以思考，如何改进当前模型，可以进一步提高分类准确率。有了这些技术积累，可以较好的应对未来的 kaggle 竞赛。

4. 博客作业要求

完成一篇博客，题目为 “ 第一次作业：深度学习基础 ” ，博客内容包括三部分：

【第一部分】视频学习心得及问题总结

根据三个视频的学习内容，写一个总结，最后列出没有学明白的问题，初步计划针对大家的疑问，下周四（7月23日）下午在腾讯会议讨论一下，大家可提前把问题列出来。（以前已经学过视频课程的同学可以略过此步骤）

【第二部分】代码练习

在谷歌 Colab 上完成代码练习中的 2.1、2.2、2.3、2.4 节，关键步骤截图，并附一些自己的想法和解读。（以前已进行过代码练习的同学可以略过此步骤）

【第三部分】进阶练习（选做）

在谷歌 Colab 上完成猫狗大战的VGG模型的迁移学习，关键步骤截图，并附一些自己想法和解读。

在该代码的基础上，下载AI研习社“猫狗大战”比赛的测试集，利用fine-tune的VGG模型进行测试，按照比赛规定的格式输出，上传结果在线评测。将在线评测结果截图，及实现代码发在博客。同时，分析使用哪些技术可以进一步提高分类准确率。

大家有任何问题可以随时在群里交流。