python 深度学习中的4种激活函数

这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数，下面会从公式、代码以及图像三个方面介绍这几种激活函数，首先来明确一下是哪四种：

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题，也就是说对于两类点(蓝点和绿点)，你通过一条直线就可以实现完全分类。

当然图像A是最理想、也是最简单的一种二分类问题，但是现实中往往存在一些非常复杂的线性不可分问题，比如图像B，你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的，你必须圈出一个封闭曲线。

而激活函数就是帮助"绘制"这个封闭曲线的非线性函数，有了激活函数的帮助，很多算法的处理能力会得到加强，也可以处理线性不可分问题。

Sigmoid函数

Sigmoid函数曾在介绍逻辑回归时提起过，它的数学表达式为：

其中 e 为纳皮尔常数，其值为2.7182... 它的图像如下：

可以观察出图像的一些特点：

  • 曲线的值域为(0,1)
  • 当x = 0时，Sigmoid函数值为0.5
  • 随着 x 不断增大，Sigmoid函数值无限趋近于1
  • 随着 x 不断减小，Sigmoid函数值无限趋近于0

对于梯度下降法而言，信息的更新很大程度上都取决于梯度，而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时，因为它的曲线已经近乎平缓，所以此时的梯度几乎为0，这样非常不利于权重的更新，从而就会导致模型不收敛。

Sigmoid函数的代码如下：

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函数

Tanh函数是双曲正切函数，它的的数学表达式为：

Tanh函数和Sigmoid函数非常相近，这点从图像上可以很好的体现：

这两个函数相同的是，当输入的 x 值很大或者很小时，对应函数输出的 y 值近乎相等，同样的缺点也是梯度特别小，非常不利于权重的更新；不同的是Tanh函数的值域为(-1,1)，并且当 x = 0 时，输出的函数值为0。

Tanh函数的代码如下：

import numpy as np
def tanh(x):
 return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函数

ReLu是线性整流函数，又称为修正性线性单元，它的函数的数学表达式为

Tanh是一个分段函数，它的图像如下：

图像很容易理解，若输入的 x 值小于0，则输出为也为0；若输入的 x 值大于0，则直接输出 x 值，需要注意的是ReLu函数在x = 0 处不连续(不可导)，但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比，ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快，当输入值为整数时，不会出现梯度饱和的问题，因为大于0的部分是一个线性关系，这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下：

import numpy as np
def relu(x):
 return np.maximum(0,x)

SoftMax函数

分类问题可以分为二分类问题和多分类问题，Sigmoid函数比较适合二分类问题，而SoftMax函数更加适合多分类问题。
SoftMax函数的数学表达式为：

其中Vi表示分类器的输出，i表示类别索引，总的类别个数为C，Si表示当前元素的指数与所有元素指数和的比值。概括来说，SoftMax函数将多分类的输出值按比例转化为相对概率，使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题，通常会提前对 V 做一些数值处理，即每个 V 减去 V 中的最大值，假设D=max(V)，SoftMax函数数学表达式更改为：

因为SoftMax函数计算的是概率，所以无法用图像进行展示，SoftMax函数的代码如下：

import numpy as np
def softmax(x):
 D = np.max(x)
 exp_x = np.exp(x-D)
 return exp_x / np.sum(exp_x)

以上就是python 深度学习中的4种激活函数的详细内容，更多关于python 激活函数的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Python编程深度学习绘图库之matplotlib

    Python编程深度学习绘图库之matplotlib

    matplotlib是python的一个开源的2D绘图库,它的原作者是John D. Hunter,因为在设计上借鉴了matlab,所以成为matplotlib.和Pillow一样是被广泛使用的绘图功能,而在深度学习相关的部分,matplotlib得宠的多.这篇文章将简单介绍一下如何安装以及使用它来画一些非常常见的统计图形. 概要信息 注意事项:由于Python2支持到2020年,很多python库都开始主要支持python3了,matplotlib的主分支也已经是python3了.而这篇文章中

  • python开启摄像头以及深度学习实现目标检测方法

    最近想做实时目标检测,需要用到python开启摄像头,我手上只有两个uvc免驱的摄像头,性能一般.利用python开启摄像头费了一番功夫,主要原因是我的摄像头都不能用cv2的VideCapture打开,这让我联想到原来opencv也打不开Android手机上的摄像头(后来采用QML的Camera模块实现的).看来opencv对于摄像头的兼容性仍然不是很完善. 我尝了几种办法:v4l2,v4l2_capture以及simpleCV,都打不开.最后采用pygame实现了摄像头的采集功能,这里直接给大

  • 13个最常用的Python深度学习库介绍

    如果你对深度学习和卷积神经网络感兴趣,但是并不知道从哪里开始,也不知道使用哪种库,那么这里就为你提供了许多帮助. 在这篇文章里,我详细解读了9个我最喜欢的Python深度学习库. 这个名单并不详尽,它只是我在计算机视觉的职业生涯中使用并在某个时间段发现特别有用的一个库的列表. 这其中的一些库我比别人用的多很多,尤其是Keras.mxnet和sklearn-theano. 其他的一些我是间接的使用,比如Theano和TensorFlow(库包括Keras.deepy和Blocks等). 另外的我只

  • Python编程深度学习计算库之numpy

    Python编程深度学习计算库之numpy

    NumPy是python下的计算库,被非常广泛地应用,尤其是近来的深度学习的推广.在这篇文章中,将会介绍使用numpy进行一些最为基础的计算. NumPy vs SciPy NumPy和SciPy都可以进行运算,主要区别如下 最近比较热门的深度学习,比如在神经网络的算法,多维数组的使用是一个极为重要的场景.如果你熟悉tensorflow中的tensor的概念,你会非常清晰numpy的作用.所以熟悉Numpy可以说是使用python进行深度学习入门的一个基础知识. 安装 liumiaocn:tmp

  • python使用tensorflow深度学习识别验证码

    本文介绍了python使用tensorflow深度学习识别验证码 ,分享给大家,具体如下: 除了传统的PIL包处理图片,然后用pytessert+OCR识别意外,还可以使用tessorflow训练来识别验证码. 此篇代码大部分是转载的,只改了很少地方. 代码是运行在linux环境,tessorflow没有支持windows的python 2.7. gen_captcha.py代码. #coding=utf-8 from captcha.image import ImageCaptcha # pi

  • python 深度学习中的4种激活函数

    这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数,下面会从公式.代码以及图像三个方面介绍这几种激活函数,首先来明确一下是哪四种: Sigmoid函数 Tahn函数 ReLu函数 SoftMax函数 激活函数的作用 下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类. 当然图像A是最理想.也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出

  • Python深度学习之实现卷积神经网络

    Python深度学习之实现卷积神经网络

    一.卷积神经网络 Yann LeCun 和Yoshua Bengio在1995年引入了卷积神经网络,也称为卷积网络或CNN.CNN是一种特殊的多层神经网络,用于处理具有明显网格状拓扑的数据.其网络的基础基于称为卷积的数学运算. 卷积神经网络(CNN)的类型 以下是一些不同类型的CNN: 1D CNN:1D CNN 的输入和输出数据是二维的.一维CNN大多用于时间序列. 2D CNNN:2D CNN的输入和输出数据是三维的.我们通常将其用于图像数据问题. 3D CNNN:3D CNN的输入和输出数

  • Python深度学习神经网络残差块

    Python深度学习神经网络残差块

    目录 ResNet模型 训练模型 ResNet沿用VGG完整的KaTeX parse error: Undefined control sequence: \time at position 2: 3\̲t̲i̲m̲e̲3卷积层设计.残差块里首先有2个相同输出通道数的KaTeX parse error: Undefined control sequence: \time at position 2: 3\̲t̲i̲m̲e̲3卷积层.每个卷积层后接一个批量归一化层和ReLU激活函数.然后我们通过跨

  • Python深度学习理解pytorch神经网络批量归一化

    Python深度学习理解pytorch神经网络批量归一化

    目录 训练深层网络 为什么要批量归一化层呢? 批量归一化层 全连接层 卷积层 预测过程中的批量归一化 使用批量归一化层的LeNet 简明实现 争议 训练深层神经网络是十分困难的,特别是在较短的实践内使他们收敛更加棘手.在本节中,我们将介绍批量归一化(batch normalization),这是一种流行且有效的技术,可持续加速深层网络的收敛速度.在结合之后将介绍的残差快,批量归一化使得研究人员能够训练100层以上的网络. 训练深层网络 为什么要批量归一化层呢? 让我们回顾一下训练神经网络时出现的

  • python深度学习tensorflow卷积层示例教程

    目录 一.旧版本(1.0以下)的卷积函数:tf.nn.conv2d 二.1.0版本中的卷积函数:tf.layers.conv2d 一.旧版本(1.0以下)的卷积函数:tf.nn.conv2d 在tf1.0中,对卷积层重新进行了封装,比原来版本的卷积层有了很大的简化. conv2d( input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None ) 该函数定义在tensorflow/pytho

  • 使用Node.js在深度学习中做图片预处理的方法

    背景 最近在做一个和对象识别相关的项目,由于团队内技术栈偏向 JavaScript,在已经用 Python 和 Tensorflow 搭建好了对象识别服务器后,为了不再增加团队成员维护成本,所以尽可能将训练和识别之外的任务交给 Node.js 来做,今天要讲到的图片预处理就是其中之一. 这里对还不了解深度学习的人就几个概念做个简单的解释 对象识别:对象识别可理解为计算机在一张图片中发现某个或某些指定的物体,比如找到里面所有的狗. 训练:计算机学会对象识别这个本领就像人类学会说话一样,需要不断地练

  • Python深度学习之图像标签标注软件labelme详解

    Python深度学习之图像标签标注软件labelme详解

    前言 labelme是一个非常好用的免费的标注软件,博主看了很多其他的博客,有的直接是翻译稿,有的不全面.对于新手入门还是有点困难.因此,本文的主要是详细介绍labelme该如何使用. 一.labelme是什么? labelme是图形图像注释工具,它是用Python编写的,并将Qt用于其图形界面.说直白点,它是有界面的, 像软件一样,可以交互,但是它又是由命令行启动的,比软件的使用稍微麻烦点.其界面如下图: 它的功能很多,包括: 对图像进行多边形,矩形,圆形,多段线,线段,点形式的标注(可用于目

  • Python深度学习之简单实现猫狗图像分类

    Python深度学习之简单实现猫狗图像分类

    一.前言 本文使用的是 kaggle 猫狗大战的数据集 训练集中有 25000 张图像,测试集中有 12500 张图像.作为简单示例,我们用不了那么多图像,随便抽取一小部分猫狗图像到一个文件夹里即可. 通过使用更大.更复杂的模型,可以获得更高的准确率,预训练模型是一个很好的选择,我们可以直接使用预训练模型来完成分类任务,因为预训练模型通常已经在大型的数据集上进行过训练,通常用于完成大型的图像分类任务. tf.keras.applications中有一些预定义好的经典卷积神经网络结构(Applic

  • Python深度学习之Pytorch初步使用

    Python深度学习之Pytorch初步使用

    一.Tensor Tensor(张量是一个统称,其中包括很多类型): 0阶张量:标量.常数.0-D Tensor:1阶张量:向量.1-D Tensor:2阶张量:矩阵.2-D Tensor:-- 二.Pytorch如何创建张量 2.1 创建张量 import torch t = torch.Tensor([1, 2, 3]) print(t) 2.2 tensor与ndarray的关系 两者之间可以相互转化 import torch import numpy as np t1 = np.arra

随机推荐