Python处理缺失值的8种不同方法实例

目录
  • 前言
  • 1. 删除有缺失值的行或列
  • 2. 删除只有缺失值的行或列
  • 3. 根据阈值删除行或列
  • 4. 基于特定的列子集删除
  • 5. 填充一个常数值
  • 6. 填充聚合值
  • 7. 替换为上一个或下一个值
  • 8. 使用另一个数据框填充
  • 总结

前言

缺失值可能是数据科学中最不受欢迎的值，然而，它们总是在身边。忽略缺失值也是不合理的，因此我们需要找到有效且适当地处理它们的方法。

在本文中，我们将介绍 8 种不同的方法来解决缺失值问题，哪种方法最适合特定情况取决于数据和任务。

让我们首先创建一个示例数据框并向其中添加一些缺失值。

我们有一个 10 行 6 列的数据框。

下一步是添加缺失值。 我们将使用 loc 方法选择行和列组合，并使它们等于“np.nan”，这是标准缺失值表示之一。

这是数据框现在的样子：

item 和 measure 1 列具有整数值，但由于缺少值，它们已被向上转换为浮点数。

在 Pandas 1.0 中，引入了整数类型缺失值表示 ()，因此我们也可以在整数列中包含缺失值。 但是，我们需要显式声明数据类型。

尽管有缺失值，我们现在可以保留整数列。

现在我们有一个包含一些缺失值的数据框。 是时候看看处理它们的不同方法了。

1. 删除有缺失值的行或列

一种选择是删除包含缺失值的行或列。

使用默认参数值，dropna 函数会删除包含任何缺失值的行。数据框中只有一行没有任何缺失值。同时我们还可以选择使用轴参数删除至少有一个缺失值的列。

2. 删除只有缺失值的行或列

另一种情况是有一列或一行充满缺失值。 这样的列或行是无用的，所以我们可以删除它们。

dropna 函数也可以用于此目的。 我们只需要改变 how 参数的值。

3. 根据阈值删除行或列

基于“any”或“all”的删除并不总是最好的选择。 我们有时需要删除具有“大量”或“一些”缺失值的行或列。

我们不能将这样的表达式分配给 how 参数，但 Pandas 为我们提供了一种更准确的方法，即 thresh 参数。

例如，“thresh=4”意味着至少有 4 个非缺失值的行将被保留。 其他的将被丢弃。

我们的数据框有 6 列，因此将删除具有 3 个或更多缺失值的行。

只有第三行有 2 个以上的缺失值，所以它是唯一一个被丢弃的。

4. 基于特定的列子集删除

在删除列时，我们可以只考虑部分列。

dropna 函数的子集参数用于此任务。 例如，我们可以删除在度量 1 或度量 2 列中有缺失值的行，如下所示：

到目前为止，我们已经看到了根据缺失值删除行或列的不同方法。放弃并不是唯一的选择。 在某些情况下，我们可能会选择填充缺失值而不是删除它们。

事实上，填充可能是更好的选择，因为数据意味着价值。 如何填补缺失值，当然取决于数据的结构和任务。

fillna 函数用于填充缺失值。

5. 填充一个常数值

我们可以选择一个常量值来替代缺失值。如果我们只给 fillna 函数一个常量值，它将用该值替换数据框中的所有缺失值。

更合理的方法是为不同的列确定单独的常量值。 我们可以将它们写入字典并将其传递给 values 参数。

item 列中的缺失值替换为 1014，而 measure 1 列中的缺失值替换为 0。

6. 填充聚合值

另一种选择是使用聚合值，例如平均值、中位数或众数。

下面这行代码用该列的平均值替换了第 2 列中的缺失值。

7. 替换为上一个或下一个值

可以用该列中的前一个或下一个值替换该列中的缺失值。在处理时间序列数据时，此方法可能会派上用场。 假设您有一个包含每日温度测量值的数据框，但缺少一天的温带。 最佳解决方案是使用第二天或前一天的温度。

fillna 函数的方法参数用于执行此任务。

“bfill”向后填充缺失值，以便将它们替换为下一个值。看看最后一栏。 缺失值被替换到第一行。 这可能不适合某些情况。

值得庆幸的是，我们可以限制用这种方法替换的缺失值的数量。 如果我们将 limit 参数设置为 1，那么一个缺失值只能用它的下一个值替换。 后面的第二个或第三个值将不会用于替换。

8. 使用另一个数据框填充

我们还可以将另一个数据帧传递给 fillna 函数。 新数据框中的值将用于替换当前数据框中的缺失值。

将根据行索引和列名称选择值。 例如，如果 item 列的第二行中存在缺失值，则将使用新数据框中相同位置的值。

以上是具有相同列的两个数据框。 第一个 没有任何缺失值。

我们可以使用 fillna 函数如下：

df 中的值将替换为 df2 中关于列名和行索引的值。

总结

缺失将永远存在于我们的生活中。 没有最好的方法来处理它们，但我们可以通过应用准确合理的方法来降低它们的影响。我们已经介绍了 8 种不同的处理缺失值的方法，使用哪一个取决于数据和任务。

到此这篇关于Python处理缺失值的8种不同方法的文章就介绍到这了,更多相关Python处理缺失值内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python缺失值处理方法

    Python缺失值处理方法

    前言: 前面python重复值处理得方法我们讲了重复值是怎么处理的,今天就来说说缺失值.缺失值主要分为机械原因和人为原因.机械原因就是存储器坏了,机器故障等等原因导致某段时间未能收集到数据.人为原因的情况种类就更多了,如刻意隐瞒等等. 先构建一个含有缺失值的DataFrame,如下: import pandas as pd import numpy as np data = pd.DataFrame([[1,np.nan,3],[np.nan,5,np.nan]],columns = ['a',

  • python实现数据预处理之填充缺失值的示例

    python实现数据预处理之填充缺失值的示例

    1.给定一个数据集noise-data-1.txt,该数据集中保护大量的缺失值(空格.不完整值等).利用"全局常量"."均值或者中位数"来填充缺失值. noise-data-1.txt: 5.1 3.5 1.4 0.2 4.9 3 1.4 0.2 4.7 3.2 1.3 0.2 4.6 3.1 1.5 0.2 5 3.6 1.4 0.2 5.4 3.9 1.7 0.4 4.6 3.4 1.4 0.3 5 3.4 1.5 0.2 4.4 2.9 1.4 0.2 4.9

  • python 缺失值处理的方法（Imputation）

    一.缺失值的处理方法 由于各种各样的原因,真实世界中的许多数据集都包含缺失数据,这些数据经常被编码成空格.nans或者是其他的占位符.但是这样的数据集并不能被scikit - learn算法兼容,因为大多数的学习算法都会默认数组中的元素都是数值,因此素偶有的元素都有自己的代表意义. 使用不完整的数据集的一个基本策略就是舍弃掉整行或者整列包含缺失值的数值,但是这样处理会浪费大量有价值的数据.下面是处理缺失值的常用方法: 1.忽略元组 当缺少类别标签时通常这样做(假定挖掘任务涉及分类时),除非元组有

  • Python数据分析之缺失值检测与处理详解

    Python数据分析之缺失值检测与处理详解

    目录 检测缺失值 缺失值处理 删除缺失值 填补缺失值 检测缺失值 我们先创建一个带有缺失值的数据框(DataFrame). import pandas as pd df = pd.DataFrame( {'A': [None, 2, None, 4], 'B': [10, None, None, 40], 'C': [100, 200, None, 400], 'D': [None, 2000, 3000, None]}) df 数值类缺失值在 Pandas 中被显示为 NaN (Not A N

  • Python数据分析的八种处理缺失值方法详解

    Python数据分析的八种处理缺失值方法详解

    目录 1. 删除有缺失值的行或列 2. 删除只有缺失值的行或列 3. 根据阈值删除行或列 4. 基于特定的列子集删除 5. 填充一个常数值 6. 填充聚合值 7. 替换为上一个或下一个值 8. 使用另一个数据框填充 总结 技术交流 在本文中,我们将介绍 8 种不同的方法来解决缺失值问题,哪种方法最适合特定情况取决于数据和任务.欢迎收藏学习,喜欢点赞支持,技术交流可以文末加群,尽情畅聊. 让我们首先创建一个示例数据框并向其中添加一些缺失值. 我们有一个 10 行 6 列的数据框. 下一步是添加缺失

  • Python Pandas知识点之缺失值处理详解

    Python Pandas知识点之缺失值处理详解

    前言 数据处理过程中,经常会遇到数据有缺失值的情况,本文介绍如何用Pandas处理数据中的缺失值. 一.什么是缺失值 对数据而言,缺失值分为两种,一种是Pandas中的空值,另一种是自定义的缺失值. 1. Pandas中的空值有三个:np.nan (Not a Number) . None 和 pd.NaT(时间格式的空值,注意大小写不能错),这三个值可以用Pandas中的函数isnull(),notnull(),isna()进行判断. isnull()和notnull()的结果互为取反,isn

  • Python处理缺失值的8种不同方法实例

    Python处理缺失值的8种不同方法实例

    目录 前言 1. 删除有缺失值的行或列 2. 删除只有缺失值的行或列 3. 根据阈值删除行或列 4. 基于特定的列子集删除 5. 填充一个常数值 6. 填充聚合值 7. 替换为上一个或下一个值 8. 使用另一个数据框填充 总结 前言 缺失值可能是数据科学中最不受欢迎的值,然而,它们总是在身边.忽略缺失值也是不合理的,因此我们需要找到有效且适当地处理它们的方法. 在本文中,我们将介绍 8 种不同的方法来解决缺失值问题,哪种方法最适合特定情况取决于数据和任务. 让我们首先创建一个示例数据框并向其中添

  • Python查询缺失值的4种方法总结

    Python查询缺失值的4种方法总结

    目录 缺失值 NaN ① 缺失值 NaN ② 空值 字符“-”.“?”等 在我们日常接触到的Python中,狭义的缺失值一般指DataFrame中的NaN.广义的话,可以分为三种. 缺失值:在Pandas中的缺失值有三种:np.nan (Not a Number) . None 和 pd.NaT(时间格式的空值,注意大小写不能错) 空值:空值在Pandas中指的是空字符串"": 最后一类是导入的Excel等文件中,原本用于表示缺失值的字符“-”.“?”等. 今天聊聊Python中查询缺

  • Python中逗号的三种作用实例分析

    本文实例讲述了Python中逗号的三种作用.分享给大家供大家参考.具体分析如下: 最近研究python  遇到个逗号的问题 一直没弄明白 今天总算搞清楚了 1.逗号在参数传递中的使用: 这种情况不多说  没有什么不解的地方 就是形参或者实参传递的时候参数之间的逗号 例如def  abc(a,b)或者abc(1,2) 2.逗号在类型转化中的使用 主要是元组的转换 例如: >>> a=11 >>> b=(a) >>> b 11 >>> b

  • Python容器类型转换的3种方法实例

    Python容器类型转换的3种方法实例

    目录 前言 一.tuple() 二.list() 三.set() 扩展 总结 前言 其实容器类型的转换可以说是数据类型的转换,涉及到三个函数,分别是tuple().list().set().为什么要做容器类型的转换,是因为有的时候程序里已有的数据类型和我们想要的数据类型不一样,这样做一下类型转换就可以了. 一.tuple() 作用:将某个序列转换成元组 代码体验: list1 = [10, 20, 30, 40, 50] set1 = {100, 200, 300, 400, 500} prin

  • Python字符串拼接的4种方法实例

    目录 1. 算术运算符拼接 (1)+算术运算符 (2) * 算术运算符 2.format方法 3.百分号操作符 4.特殊符号f 附:常见字符串去除空格的方法总结 总结 在程序实际应用中,少不了要进行字符串拼接的操作.下面介绍一下Python语言中四种字符串拼接的方式. 1. 算术运算符拼接 在Python中算术运算符一共有七种种,分别是+.-.*././/.**和%.其中+和*不仅可以用来进行算数计算,也可以用来字符串拼接. (1)+算术运算符 +运算符在Python中可以用作数学计算,例如:

  • Python遍历目录的4种方法实例介绍

    1.os.popen运行shell列表命令 复制代码 代码如下: def traverseDirByShell(path):     for f in os.popen('ls ' + path):         print f.strip() 2.利用glob模块 glob.glob(path)返回带目录的文件名.通配符和shell相似.path不能包含shell变量. 复制代码 代码如下: def traverseDirByGlob(path):     path = os.path.ex

  • 利用Python读取文件的四种不同方法比对

    前言 大家都知道Python 读文件的方式多种多样,但是当需要读取一个大文件的时候,不同的读取方式会有不一样的效果.下面就来看看详细的介绍吧. 场景 逐行读取一个 2.9G 的大文件 CPU i7 6820HQ RAM 32G 方法 对每一行的读取进行一次分割字符串操作 以下方法都使用 with-as 方法打开文件. with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的"清理"操作,释放资源,比如文件使用后自动关闭.线程中锁的自动获取和释放等. 方法一

  • python list排序的两种方法及实例讲解

    对List进行排序,Python提供了两个方法 方法1.用List的内建函数list.sort进行排序 list.sort(func=None, key=None, reverse=False) Python实例: >>> list = [2,5,8,9,3] >>> list [2,5,8,9,3] >>> list.sort() >>> list [2, 3, 5, 8, 9] 方法2.用序列类型函数sorted(list)进行排

  • Python定义二叉树及4种遍历方法实例详解

    Python定义二叉树及4种遍历方法实例详解

    本文实例讲述了Python定义二叉树及4种遍历方法.分享给大家供大家参考,具体如下: Python & BinaryTree 1. BinaryTree (二叉树) 二叉树是有限个元素的集合,该集合或者为空.或者有一个称为根节点(root)的元素及两个互不相交的.分别被称为左子树和右子树的二叉树组成. 二叉树的每个结点至多只有二棵子树(不存在度大于2的结点),二叉树的子树有左右之分,次序不能颠倒. 二叉树的第i层至多有2^{i-1}个结点 深度为k的二叉树至多有2^k-1个结点: 对任何一棵二叉

  • python调用接口的4种方式代码实例

    这篇文章主要介绍了python调用接口的4种方式代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 python中调用API的几种方式: - urllib2 - httplib2 - pycurl - requests 1.urllib2 import urllib2, urllib github_url = 'https://api.github.com/user/repos' password_manager = urllib2.HTT

随机推荐