keras做CNN的训练误差loss的下降操作

采用二值判断如果确认是噪声，用该点上面一个灰度进行替换。

噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点 。

处理后的文件大小只有原文件小的三分之一，前后的图片内容肉眼几乎无法察觉。

但是这样处理后图片放入CNN中在其他条件不变的情况下，模型loss无法下降，二分类图片，loss一直在8-9之间。准确率维持在0.5,同时，测试集的训练误差持续下降，但是准确率也在0.5徘徊。大概真是需要误差，让优化方法从局部最优跳出来。

使用的activation function是relu，full connection layer是softmax分类函数，优化方法为RMsprop

难到是需要加入噪音更好，CNN中加入高斯噪音不是让模型更稳健的吗？还有让模型跳出局部最优的好处，方便训练。

原意：降噪的目的是因为这批数据是样本较少，用复印机 扫面出来的图片，想着放入更干净的数据，模型更容易学习到本质特征。

结果事与愿违，但是在keras中是可以加入noise的，比如加入高斯噪音

form keras.layers.noise import GaussianNoise

我在全连接层中加入

model.add(GaussianNoise(0.125))

后来查看了BatchNormalization的作用，发现在这个大杀器之后，好像很少有人用到初始化和其他的tricks，就可以让模型表现的很好。

在第一层的Maxpooling后面加上，model.add(BatchNormalization())，效果非常显著，第一次epoch的loss值只有0.63，acc也迅速上升，不会出现之前的卡在8.354一直不动，哪怕更换 leraning rate和使用Adagrad，都是一样的，如果前面的5个epoch完，还是没有太大的变化，后面几乎不会收敛。

1，leraning rate的设置

#导入模块，以rmsprop为例
from keras.optimizers import rmsprop
rmsprop=rmsprop(lr=0.1)#只是更改了学习率，其他的参数没有更改，默认学习率是0.001

2.BatchNormalization()的设置

from keras.layers.normalization import BatchNormalization

#网上不少人说，批规范化 加在输入层的激活函数（层）的前面

model.add(BatchNormalization())

也有看到每一个隐藏层的激活函数前面全部加上BN的，但是我这个实验中，效果很差。

3.在输入数据的时候，依然加上train_x = data/255.0，对像素矩阵的取值放小到0-1之间，否则训练将很艰难。

其实在我自己的实验中，后来调整成：

train_x-= np.mean(train_x, axis = 0)

发现效果更好

4.如果第一次的epoch的loss在个位数，则很可能需要返回去重新构建模型，加入更多的trick，如果最后的loss值依然没有达到小数，则也可能是难于训练，也需要加入其他的技巧。或者模型搭建的有问题，需要慎重检查。

5. 建议使用网格搜索，从最重要的参数开始，搭建一个简单的模型，然后取合理的超参数，逐一进行。

6 .也可以在卷积层中加正则化，比如：

C1 = Convolution2D(8 3, 3, border_mode='valid', init='he_uniform', activation='relu',W_regularizer=l2(regularizer_params))

7.有看到在kaggle中使用集成cnn的，分类错误率确实有下降。

8 使用ReduceLROnPlateau 对学习率进行衰减，当下降很慢时，学习率自动调整，可以起到一部分作用，

我在模型中使用的是RMSprop ，RMSprop本身带有学习率的自动调整，但是，我加上ReduceLROnPlateau ，依然可以看到学习率变化很慢时，设置的这个ReduceLROnPlateau 有调整。

9 用数据增强的时候，也需要小心，图片调整的幅度等均会对模型的正确率有影响。

10，对3个颜色的图像转换为gray以后，分类准确率稳定在 0.5左右，几乎就是废掉了，说明图像的像素对于模型的影响巨大，后来了解到有“图像超分辨率重建Super-Resolution”其实是可以对图像做像素的分辨率更高。当然也是可以手工用PS进行插值等修图。查了下，像mnist这样的数据集都是经过处理后才放入模型中的，所以，不能完全指望着CNN卷积池化就把所有的问题都解决掉，尽管图像分类和识别正在像CNN转移。

keras遇到的坑（可能是水平的问题，总之有困惑）

(1) 多次运行会在上一次运行过的数据上起作用，比如，

train_x , val_x , train_y, val_y = train_test_split(train_x, train_y, test_size=0.1, random_state=random_seed)

如果多次运行，则1000个数据，900个训练集的，下一次变成，900*0.9=810个数据，同时，还发现，

train_y = to_categorical(label, num_classes =2)，这里也可能出现问题，比如，二分类，在第一次运行后是，2行

第二次运行就变成4行

(2) 在做交叉验证时

新版本epoch的写法是epochs=

estimator = KerasClassifier(build_fn=baseline_model, epochs=20, batch_size=32, verbose=2)

如果用成下面老版本，则n_epoch无法读取，运行的时候，默认的是1所以我定义的 n_epoch=20是失效。

estimator = KerasClassifier(build_fn=baseline_model, n_epoch=20, batch_size=32, verbose=2)

补充知识：keras中loss与val_loss的关系

loss是训练集的损失值，val_loss是测试集的损失值

以下是loss与val_loss的变化反映出训练走向的规律总结：

train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）

train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）

train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset）

train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;（减少学习率）

train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。（最不好的情况）

以上这篇keras做CNN的训练误差loss的下降操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • keras History对象的用法

    如下所示: H = model.fit(trainX, trainY, validation_data=(testX, testY),batch_size=BS, epochs=EPOCHS, verbose=1) plt.style.use("ggplot") plt.figure() plt.plot(np.arange(0, EPOCHS), H.history["loss"], label="train_loss") History类对象

  • 解决keras backend 越跑越慢问题

    Keras运行迭代一定代数以后,速度越来越慢,经检查是因为在循环迭代过程中增加了新的计算节点,导致计算节点越来越多,内存被占用完,速度变慢. 判断是否在循环迭代过程中增加了新的计算节点,可以用下面的语句: tf.Graph.finalize() 如果增加了新的计算节点,就会报错,如果没有报错,说明没有增加计算节点. 补充知识:win10下pytorch,tensorflow,keras+tf速度对比 采用GitHub上的代码 运行类似vgg模型,在cifar10上训练,结果朋友torch与ten

  • python中导入 train_test_split提示错误的解决

    如下所示: 原因: 在python3.6中sklearn已弃用train_test_split,导致导入报错 解决方式,用model_selection模块导入: from sklearn.model_selection import train_test_split 经测试,在python2中也是使用该方式导入train_test_split模块 补充知识:from sklearn.model_selection import train_test_split找不到模块 解决方案: pip u

  • Keras SGD 随机梯度下降优化器参数设置方式

    SGD 随机梯度下降 Keras 中包含了各式优化器供我们使用,但通常我会倾向于使用 SGD 验证模型能否快速收敛,然后调整不同的学习速率看看模型最后的性能,然后再尝试使用其他优化器. Keras 中文文档中对 SGD 的描述如下: keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False) 随机梯度下降法,支持动量参数,支持学习衰减率,支持Nesterov动量 参数: lr:大或等于0的浮点数,学习率 momen

  • keras做CNN的训练误差loss的下降操作

    采用二值判断如果确认是噪声,用该点上面一个灰度进行替换. 噪声点处理:对原点周围的八个点进行扫描,比较.当该点像素值与周围8个点的值小于N时,此点为噪点 . 处理后的文件大小只有原文件小的三分之一,前后的图片内容肉眼几乎无法察觉. 但是这样处理后图片放入CNN中在其他条件不变的情况下,模型loss无法下降,二分类图片,loss一直在8-9之间.准确率维持在0.5,同时,测试集的训练误差持续下降,但是准确率也在0.5徘徊.大概真是需要误差,让优化方法从局部最优跳出来. 使用的activation

  • python神经网络Keras构建CNN网络训练

    目录 Keras中构建CNN的重要函数 1.Conv2D 2.MaxPooling2D 3.Flatten 全部代码 利用Keras构建完普通BP神经网络后,还要会构建CNN Keras中构建CNN的重要函数 1.Conv2D Conv2D用于在CNN中构建卷积层,在使用它之前需要在库函数处import它. from keras.layers import Conv2D 在实际使用时,需要用到几个参数. Conv2D( nb_filter = 32, nb_row = 5, nb_col = 5

  • 使用keras框架cnn+ctc_loss识别不定长字符图片操作

    我就废话不多说了,大家还是直接看代码吧~ # -*- coding: utf-8 -*- #keras==2.0.5 #tensorflow==1.1.0 import os,sys,string import sys import logging import multiprocessing import time import json import cv2 import numpy as np from sklearn.model_selection import train_test_s

  • Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作

    Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作

    使用keras实现CNN,直接上代码: from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils from keras imp

  • keras自定义回调函数查看训练的loss和accuracy方式

    前言: keras是一个十分便捷的开发框架,为了更好的追踪网络训练过程中的损失函数loss和准确率accuracy,我们有几种处理方式,第一种是直接通过 history=model.fit(),来返回一个history对象,通过这个对象可以访问到训练过程训练集的loss和accuracy以及验证集的loss和accuracy. 第二种方式就是通过自定义一个回调函数Call backs,来实现这一功能,本文主要讲解第二种方式. 一.如何构建回调函数Callbacks 本文所针对的例子是卷积神经网络

  • Keras在训练期间可视化训练误差和测试误差实例

    详细的解释,读者自行打开这个链接查看,我这里只把最重要的说下 fit() 方法会返回一个训练期间历史数据记录对象,包含 training error, training accuracy, validation error, validation accuracy 字段,如下打印 # list all data in history print(history.history.keys()) 完整代码 # Visualize training history from keras.models

  • 解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题

    1.Binary Cross Entropy 常用于二分类问题,当然也可以用于多分类问题,通常需要在网络的最后一层添加sigmoid进行配合使用,其期望输出值(target)需要进行one hot编码,另外BCELoss还可以用于多分类问题Multi-label classification. 定义: For brevity, let x = output, z = target. The binary cross entropy loss is loss(x, z) = - sum_i (x[

  • 使用keras做SQL注入攻击的判断(实例讲解)

    本文是通过深度学习框架keras来做SQL注入特征识别, 不过虽然用了keras,但是大部分还是普通的神经网络,只是外加了一些规则化.dropout层(随着深度学习出现的层). 基本思路就是喂入一堆数据(INT型).通过神经网络计算(正向.反向).SOFTMAX多分类概率计算得出各个类的概率,注意:这里只要2个类别:0-正常的文本:1-包含SQL注入的文本 文件分割上,做成了4个python文件: util类,用来将char转换成int(NN要的都是数字类型的,其他任何类型都要转换成int/fl

  • 解决Pytorch训练过程中loss不下降的问题

    在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题.出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等.不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配. 下面是我的代码: loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train)

  • 浅谈keras的深度模型训练过程及结果记录方式

    记录训练过程 history=model.fit(X_train, Y_train, epochs=epochs,batch_size=batch_size,validation_split=0.1) 将训练过程记录在history中 利用时间记录模型 import time model_id = np.int64(time.strftime('%Y%m%d%H%M', time.localtime(time.time()))) model.save('./VGG16'+str(model_id

随机推荐