python导入激活函数 pytorch的激活函数

如何用python接口调用caffemodel

来表示整个运算过程的话，那么w和b就是我们需要训练的东西，w称为权值，在cnn中也可以叫做卷积核（filter），b是偏置项。f是激活函数，有sigmoid、relu等。x就是输入的数据。

数据训练完成后，保存的caffemodel里面，实际上就是各层的w和b值。

我们运行代码：

deploy=root + 'mnist/deploy.prototxt' #deploy文件

caffe_model=root + 'mnist/lenet_iter_9380.caffemodel' #训练好的 caffemodel

net = caffe.Net(net_file,caffe_model,caffe.TEST) #加载model和network

就把所有的参数和数据都加载到一个net变量里面了，但是net是一个很复杂的object, 想直接显示出来看是不行的。其中：

net.params: 保存各层的参数值（w和b)

net.blobs: 保存各层的数据值

相关问答

Q1: 如何利用Python进行垃圾分类

1 引言

七月了，大家最近一定被一项新的政策给折磨的焦头烂额，那就是垃圾分类。《上海市生活垃圾管理条例》已经正式实施了，相信还

是有很多的小伙伴和我一样，还没有完全搞清楚哪些应该扔在哪个类别里。感觉每天都在学习一遍垃圾分类，真令人头大。

听说一杯没有喝完的珍珠奶茶应该这么扔

1、首先，没喝完的奶茶水要倒在水池里

2、珍珠，水果肉等残渣放进湿垃圾

3、把杯子要丢入干垃圾

4、接下来是盖子，如果是带盖子带热饮（比如大部分的热饮），塑料盖是可以归到可回收垃圾的嗷

看到这里，是不是大家突然都不想喝奶茶了呢，哈哈。不过不要紧，垃圾分类虽然要执行，但是奶茶也可以照喝。

那么，这里我们想讨论一下，人工智能和数据科学的方法能不能帮助我们进行更好的垃圾分类？这样我们不用为了不知道要扔哪个垃

圾箱而烦恼。

2 思路

这问题的解决思路或许不止一条。这里只是抛砖引玉一下，提供一些浅显的见解。

第一种方案，可以把垃圾的信息制成表格化数据，然后用传统的机器学习方法。

第二种方案，把所有的垃圾分类信息做成知识图谱，每一次的查询就好像是在翻字典一样查阅信息。

第三种方案，可以借助现在的深度学习方法，来对垃圾进行识别和分类。每次我们给一张垃圾的图片，让模型识别出这是属于哪一种

类别的：干垃圾，湿垃圾，有害垃圾还是可回收垃圾。

3 图像分类

图像分类是深度学习的一个经典应用。它的输入是一张图片, 然后经过一些处理，进入一个深度学习的模型，该模型会返回这个图片

里垃圾的类别。这里我们考虑四个类别：干垃圾，湿垃圾，有害垃圾还是可回收垃圾。

（报纸 ：可回收垃圾 ）

（电池 ：有害垃圾 ）

（一次性餐盒 ：干垃圾 ）

我们对图片里的物品进行分类，这是图像处理和识别的领域。人工智能里提出了使用卷积神经网络（Convolutional Neural Network, CNN）来解决这一类问题。

我会用keras包和Tensorflow后端来建立模型。 由于训练集的样本暂时比较缺乏，所以这里只能先给一套思路和代码。训练模型的工

作之前还得进行一波数据收集。

相关推荐：《Python视频教程》

我们就先来看看代码大致长什么样吧

先导入一些必要的包。

再做一下准备工作。

在上面，我们初始化了一些变量，batch size是128； num_classes = 4，因为需要分类的数量是4，有干垃圾，湿垃圾，有害垃圾

和可

回收垃圾这四个种类。epochs 是我们要训练的次数。接下来，img_rows, img_cols = 28, 28 我们给了图片的纬度大小。

在 .reshape(60000,28,28,1)中 , 60000 是图片的数量（可变）, 28是图片的大小（可调），并且1是channel的意思，channel = 1

是指黑白照片。 .reshape(10000,28,28,1)也是同理，只是图片数量是10000。

到了最后两行，我们是把我们目标变量的值转化成一个二分类， 是用一个向量（矩阵）来表示。比如 [1,0,0,0] 是指干垃圾，[0,1,0,0]

是指湿垃圾等等。

接下来是建模的部分。

我们加了卷积层和池化层进入模型。激活函数是 relu，relu函数几乎被广泛地使用在了卷积神经网络和深度学习。我们在层与层之间

也加了dropout来减少过拟合。Dense layer是用来做类别预测的。

建完模型后，我们要进行模型的验证，保证准确性在线。

到这里，我们的建模预测已经大概完成了。一个好的模型，要不断地去优化它，提高精确度等指标要求，直到达到可以接受的程度。

这优化的过程，我们在这里就先不深入讨论了，以后继续。

4 总结

值得一提的是，尽管方法上是有实现的可能，但是实际操作中肯定要更复杂的多，尤其是对精度有着很高的要求。

而且当一个图片里面包含着好几种垃圾种类，这也会让我们的分类模型开发变得很复杂，增加了难度。

比如，我们想要对一杯奶茶进行垃圾分类，照片里面是包含了多个垃圾的种类，这就比较头大了，因为这并不是属于单一的类别。

前路的困难肯定是有的，不过就当这里的分享是个抛砖引玉的起点吧。

毕竟李白也说了，“长风破浪会有时，直挂云帆济沧海”。

Q2: 从零开始用Python构建神经网络

从零开始用Python构建神经网络

动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。

这篇文章的内容是我的所学，希望也能对你有所帮助。

神经网络是什么?

介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。

神经网络包括以下组成部分

? 一个输入层，x

? 任意数量的隐藏层

? 一个输出层，?

? 每层之间有一组权值和偏置，W and b

? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数

下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)

2 层神经网络的结构

用 Python 可以很容易的构建神经网络类

训练神经网络

这个网络的输出 ? 为：

你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。

因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。

每步训练迭代包含以下两个部分:

? 计算预测结果 ?，这一步称为前向传播

? 更新 W 和 b,，这一步成为反向传播

下面的顺序图展示了这个过程：

前向传播

正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：

我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：

但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。

损失函数

常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。

误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。

训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。

反向传播

我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。

为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。

回想微积分中的概念，函数的导数就是函数的斜率。

梯度下降法

如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。

但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。

链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。

这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。

现在我们将反向传播算法的函数添加到 Python 代码中

为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：

Youtube：

整合并完成一个实例

既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。

神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。

让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。

让我们看看经过 1500 次迭代后的神经网络的最终预测结果：

经过 1500 次迭代训练后的预测结果

我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。

注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。

下一步是什么?

幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：

? 除了 Sigmoid 以外，还可以用哪些激活函数

? 在训练网络的时候应用学习率

? 在面对图像分类任务的时候使用卷积神经网络

我很快会写更多关于这个主题的内容，敬请期待!

最后的想法

我自己也从零开始写了很多神经网络的代码

虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。

这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助

Q3: 怎样用python构建一个卷积神经网络?

用keras框架较为方便

首先安装anacondapython导入激活函数，然后通过pip安装keras

1、#导入各种用到的模块组件

from __future__ import absolute_import

from __future__ import print_function

from keras.preprocessing.image import ImageDataGenerator

from keras.models import Sequential

from keras.layers.core import Dense, Dropout, Activation, Flatten

from keras.layers.advanced_activations import PReLU

from keras.layers.convolutional import Convolution2D, MaxPooling2D

from keras.optimizers import SGD, Adadelta, Adagrad

from keras.utils import np_utils, generic_utils

from six.moves import range

from data import load_data

import random

import numpy as np

np.random.seed(1024)  # for reproducibility

2、。#打乱数据

index = [i for i in range(len(data))]

random.shuffle(index)

data = data[index]

label = label[index]

print(data.shape[0], ' samples')

#label为0~9共10个类别python导入激活函数，keras要求格式为binary class matrices,转化一下，直接调用keras提供的这个函数

label = np_utils.to_categorical(label, 10)

###############

#开始建立CNN模型

###############

#生成一个model

model = Sequential()

3、#第一个卷积层，4个卷积核，每个卷积核大小5*5。1表示输入的图片的通道,灰度图为1通道。

#border_mode可以是valid或者full，具体看这里说明：

#激活函数用tanh

#python导入激活函数你还可以在model.add(Activation('tanh'))后加上dropout的技巧: model.add(Dropout(0.5))

model.add(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28)))

model.add(Activation('tanh'))

#第二个卷积层，8个卷积核，每个卷积核大小3*3。4表示输入的特征图个数，等于上一层的卷积核个数

4、全连接层，先将前一层输出的二维特征图flatten为一维的。

#Dense就是隐藏层。16就是上一层输出的特征图个数。4是根据每个卷积层计算出来的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4

#全连接有128个神经元节点,初始化方式为normal

model.add(Flatten())

model.add(Dense(128, init='normal'))

model.add(Activation('tanh'))

#Softmax分类，输出是10类别

model.add(Dense(10, init='normal'))

model.add(Activation('softmax'))

#############

#开始训练模型

##############

#使用SGD + momentum

#model.compile里的参数loss就是损失函数(目标函数)

sgd = SGD(lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)

model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=["accuracy"])

#调用fit方法，就是一个训练过程. 训练的epoch数设为10，batch_size为100．

#数据经过随机打乱shuffle=True。verbose=1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy=True，训练时每一个epoch都输出accuracy。

#validation_split=0.2，将20%的数据作为验证集。

model.fit(data, label, batch_size=100, nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)

"""

#使用data augmentation的方法

#一些参数和调用的方法，请看文档

datagen = ImageDataGenerator(

featurewise_center=True, # set input mean to 0 over the dataset

samplewise_center=False, # set each sample mean to 0

featurewise_std_normalization=True, # divide inputs by std of the dataset

samplewise_std_normalization=False, # divide each input by its std

zca_whitening=False, # apply ZCA whitening

rotation_range=20, # randomly rotate images in the range (degrees, 0 to 180)

width_shift_range=0.2, # randomly shift images horizontally (fraction of total width)

height_shift_range=0.2, # randomly shift images vertically (fraction of total height)

horizontal_flip=True, # randomly flip images

vertical_flip=False) # randomly flip images

# compute quantities required for featurewise normalization

# (std, mean, and principal components if ZCA whitening is applied)

datagen.fit(data)

for e in range(nb_epoch):

print('-'*40)

print('Epoch', e)

print('-'*40)

print("Training...")

# batch train with realtime data augmentation

progbar = generic_utils.Progbar(data.shape[0])

for X_batch, Y_batch in datagen.flow(data, label):

loss,accuracy = model.train(X_batch, Y_batch,accuracy=True)

progbar.add(X_batch.shape[0], values=[("train loss", loss),("accuracy:", accuracy)] )

python导入激活函数的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于pytorch的激活函数、python导入激活函数的信息别忘了在本站进行查找喔。