课程回顾-Neural Network & Deep Learning

为什么深度学习发展了

数据

• 对于小量数据来说，神经网络表现比线性回归、SVM
• 对于大量数据来说神经网络比SVM好
• 对于大量数据来说，大的网络比小的网络好
• 由于电脑的大量使用数据越来越多

计算

• GPUs.
• Powerful CPUS.
• Distributed computing.
• ASICs

算法发展

Relu等新的技巧提出

Logistics Regression

y=sigmoid(wTx)" role="presentation" style="font-size: 100%; display: inline-block; position: relative;">y=sigmoid(wTx)

Numpy

reshape的计算代价很小，所以你不确定数据维度的时候都可以放上

一些解决潜在bug的trick

• 如果不设置向量的维度，那么默认值会是(m,)，并且转置操作不会使用，你必须将其reshape成(m,1)。尽量不要使用rank=1的矩阵
• 计算前尝试检验维度，如 assert(a.shape == (5,1))
• 如果发现了rank=1的矩阵，做reshape

做了归一化之后梯度下降更易收敛

激活函数

• tanh在隐层使用会比较好（mean=0）
• sigmoid和tanh会存在问题，因为当值极小或极大会造成梯度接近零
• relu更加常用
• 选择激活函数的准则：如果你的分类结果是0和1，用sigmoid，否则用relu

对于权值要做随机初始化

为什么要深层网络

• 一层层分析，类似人脑
• 几层的深度网络完成的功能，需要指数个数的隐藏单元来完成。
  
  
  
  http://blog.csdn.net/column/details/17767.html

Reference

https://github.com/mbadry1/DeepLearning.ai-Summary

课程回顾-Neural Network & Deep Learning的更多相关文章

1. (Deep) Neural Networks (Deep Learning) , NLP and Text Mining

   (Deep) Neural Networks (Deep Learning) , NLP and Text Mining 最近翻了一下关于Deep Learning 或者 普通的Neural Netw ...

2. 【深度学习Deep Learning】资料大全

   最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books  by Yoshua Bengio, Ian Goodfellow and Aaron C ...

3. 机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)

   ##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.co ...

4. Deep Learning 和 Knowledge Graph howto

   领军大家: Geoffrey E. Hinton http://www.cs.toronto.edu/~hinton/ 阅读列表: reading lists and survey papers fo ...

5. Deep Learning in R

   Introduction Deep learning is a recent trend in machine learning that models highly non-linear repre ...

6. Deep Learning Enables You to Hide Screen when Your Boss is Approaching

   https://github.com/Hironsan/BossSensor/ 背景介绍 学生时代,老师站在窗外的阴影挥之不去.大家在玩手机,看漫画,看小说的时候,总是会找同桌帮忙看着班主任有没有来. ...

7. Deep learning：三十四(用NN实现数据的降维)

   数据降维的重要性就不必说了,而用NN(神经网络)来对数据进行大量的降维是从2006开始的,这起源于2006年science上的一篇文章:reducing the dimensionality of d ...

8. Deep Learning for Robotics 资源汇总

   1 前言 在最新Nature的Machine Intelligence 中Lecun.Hinton和Bengio三位大牛的Review文章Deep Learning中.最后谈The Future Of ...

9. 吴恩达《深度学习》-第一门课 (Neural Networks and Deep Learning)-第二周：(Basics of Neural Network programming)-课程笔记

   第二周:神经网络的编程基础 (Basics of Neural Network programming) 2.1.二分类(Binary Classification) 二分类问题的目标就是习得一个分类 ...

随机推荐

1. 学习java之路 简单日历查询代码

   /** * 31天的 1, 3, 5, 7, 8, 10 ,12 30天的 4, 6,9,11 28天(平年) 2 29天(闰年) 2 */ class Demo{ public static voi ...

2. Filter笔记

   1.Filter [1] Filter简介 > Filter翻译为中文是过滤器的意思. > Filter是JavaWeb的三大web组件之一:Servlet.Filter.Listener ...

3. 模块化jQuery的方法

   首先有一个格式是这样的 require.config({ paths:{ 'jquery':'libs/jquery-3.1.1', 'swiper':'libs/swiper.js' }}); re ...

4. 前端面试题---vue部分

   1.vue的两大核心思想 组件化和数据驱动 2.如何理解vue中的MVVM模式 Model-View-ViewModel(简称为mvvm)是一种设计思想,model层代表数据模型,也可以再model中 ...

5. asp:DropDownList 使用

   <asp:DropDownList ID="DropDownList1" runat="server" onchange="return My_ ...

6. 解决使用Mybatis 传入多参数使用map封装遇到的 “坑”问题

   好久没来写些东西了,今天 我分享一下自己遇到的一个“小 坑”,这也许对您来说不是个问题,但是我还是希望对没有遇到过这类问题的朋友给个小小的帮助吧 是这样的,需求:需要实现根据多条件 且分页展示数据 1 ...

7. Python从入门到精通之Third!

   Python运算符 算数运算符:+    -    *   /     %    //    **  比较运算符:==    >     <     >=   大于等于      & ...

8. 移动端各种滚动场景需求的插件better-scroll

   移动端各种滚动场景需求的插件: 文档地址: better-scroll:https://ustbhuangyi.github.io/better-scroll/doc/zh-hans/#better- ...

9. excel支持正则表达式提取字符函数（支持RegExp捕获分组）

   一.要让excel脚本支持Microsoft VBScript Regular Expressions 5.5 ,按快捷键alt+F11,出现下图界面,操作如图示: 二.添加VBA代码: 代码添加完毕 ...

10. 单点登陆cas

    1.TGC:Ticket-granting cookie,存放用户身份认证凭证的cookie,在浏览器和CAS Server间通讯时使用,是CAS Server用来明确用户身份的凭证.TGT封装了TG ...