Python数据分析之 Pandas Dataframe合并和去重操作

目录
  • 一、之 Pandas Dataframe合并
  • 二、去重操作

一、之 Pandas Dataframe合并

在数据分析中，避免不了要从多个数据集中取数据，那就避免不了要进行数据的合并，这篇文章就来介绍一下 Dataframe 对象的合并操作。

Pandas 提供了merge()方法来进行合并操作，使用语法如下：

pd.merge(left, right, how="inner", on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False)

常用的参数说明：

  • left、right：指定左右两个要进行合并的 DataFrame 对象
  • how：指定合并类型，可以选择left、right、outer、inner，此参数可以确定以哪边（左边、右边或者左右共有）的键为基准，如果出现匹配失败的用NaN填充，默认为inner，具体如下：
    • left：代表左连接，以左DataFrame为基准，右侧匹配失败的用NaN填充
    • right：代表右连接，以右DataFrame为基准，左侧匹配失败的用NaN填充
    • inner：代表内连接，取交集
    • outer：代表外连接，取并集，匹配失败的用NaN填充
  • on：指定用于连接的键，也就是列名，传递改参数的话，必须保证传递的“键”在左右两边的DataFrame中都存在
  • left_on：指定左侧DataFrame中用于连接的键
  • right_on：指定右侧DataFrame中用于连接的键
  • left_index & right_index：表示以行索引作为合并基准，默认为False
  • sort：指定是否按照字典顺序通过连接键对结果DataFrame进行排序，默认为False

例如，对下面两个 DataFrame 对象执行合并操作：

import pandas as pd
data = {"name": ["Alice", "Bob", "Cindy", "David"], "age": [25, 23, 28, 24], "gender": ["woman", "man", "woman", "man"]}
df1 = pd.DataFrame(data)
df1

data = {"name": ["Alice", "Bob", "Cindy", "Emilie"], "city": ["beijing", "beijing", "jinan", "shanghai"]}
df2 = pd.DataFrame(data)
df2

使用name作为连接键：

merge_pd = pd.merge(df1, df2, on="name")
merge_pd

结果输出如下：

设置为左连接：

merge_pd = pd.merge(df1, df2, on="name", how="left")
merge_pd

结果输出如下：

在进行数据分析时，数据的质量可能并不理想，有可能包含一些重复数据，那我们就要进行数据的“去重”操作，删除重复的数据，保留唯一的数据项，从而提高数据集整体的精确度，同时也可以节省空间、提升读写性能等，接下来就来介绍一下 Pandas Dataframe 的去重操作。

二、去重操作

Pandas 提供了drop_duplicates()方法进行数据的去重操作，具体使用格式如下：

df.drop_duplicates(subset=None, keep="first", inplace=False, ignore_index=False)

参数说明如下：

  • subset：指定要进行去重的列名，默认为None，可以使用列表指定一个或多个列名
  • keep：有三个参数可选：first、last、False，默认为first，表示只保留第一次出现的重复项，删除其余重复项；last表示只保留最后一次出现的重复项；False表示删除所有重复项
  • inplace：是否在原Dataframe对象上进行操作
  • ignore_index：默认为False，设置为True可以重新生成行索引。

例如，对下面 DataFrame 对象进行去重操作：

可以看到该DataFrame 对象中索引为1、3的行是重复的，下面进行去除：

保留第一次出现的重复项：

df.drop_duplicates(inplace=True)
df

结果输出如下：

删除所有重复项：

df.drop_duplicates(keep=False, inplace=True)
df

结果输出如下：

ignore_index参数使用：

df.drop_duplicates(inplace=True, ignore_index=True)
df

ignore_index设置为True后，通过结果可以看到，行索引进行了重排。

当然drop_duplicates()方法也可以根据指定列名去重，给subset传递参数即可，例如根据name列进行去重：

df.drop_duplicates(subset=["name"], inplace=True)

到此这篇关于Python数据分析之 Pandas Dataframe合并和去重操作的文章就介绍到这了,更多相关Pandas Dataframe合并去重内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • python pandas分割DataFrame中的字符串及元组的方法实现

    python pandas分割DataFrame中的字符串及元组的方法实现

    目录 1.使用str.split()方法 2.使用join()与split()方法结合 3.使用apply方法分割元组 1.使用str.split()方法 可以使用pandas 内置的 str.split() 方法实现分割字符串类型的数据,并将分割结果写入DataFrame中,以表格形式呈现. 语法: Series.str.split(pat=None, n=-1, expand=False) 其中,pat是字符串或正则表达式,n是一个整数数字,默认为-1.为0或-1时即为最大次数的分割.其他数

  • Python pandas.DataFrame调整列顺序及修改index名的方法

    1. 从字典创建DataFrame >>> import pandas >>> dict_a = {'user_id':['webbang','webbang','webbang'],'book_id':['3713327','4074636','26873486'],'rating':['4','4','4'],'mark_date':['2017-03-07','2017-03-07','2017-03-07']} >>> df = pandas.

  • Python数据分析Pandas Dataframe排序操作

    Python数据分析Pandas Dataframe排序操作

    目录 1.索引的排序 2.值的排序 前言: 数据的排序是比较常用的操作,DataFrame 的排序分为两种,一种是对索引进行排序,另一种是对值进行排序,接下来就分别介绍一下. 1.索引的排序 DataFrame 提供了sort_index()方法来进行索引的排序,通过axis参数指定对行索引排序还是对列索引排序,默认为0,表示对行索引排序,设置为1表示对列索引进行排序:ascending参数指定升序还是降序,默认为True表示升序,设置为False表示降序, 具体使用方法如下: 对行索引进行降序

  • python pandas.DataFrame.loc函数使用详解

    官方函数 DataFrame.loc Access a group of rows and columns by label(s) or a boolean array. .loc[] is primarily label based, but may also be used with a boolean array. # 可以使用label值,但是也可以使用布尔值 Allowed inputs are: # 可以接受单个的label,多个label的列表,多个label的切片 A singl

  • Python pandas.DataFrame 找出有空值的行

    0.摘要 pandas中DataFrame类型中,找出所有有空值的行,可以使用.isnull()方法和.any()方法. 1.找出含有空值的行 方法:DataFrame[DataFrame.isnull().T.any()] 其中,isnull()能够判断数据中元素是否为空值:T为转置:any()判断该行是否有空值. import pandas as pd import numpy as np n = np.arange(20, dtype=float).reshape(5,4) n[2,3]

  • python pandas dataframe 去重函数的具体使用

    今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数 先看一个小例子 from pandas import Series, DataFrame data = DataFrame({'k': [1, 1, 2, 2]}) print data IsDuplicated = data.duplicated() print IsDuplicated print type(IsDuplicated) data = data.drop_duplicates() print data 执行

  • Python数据分析之 Pandas Dataframe应用自定义

    Python数据分析之 Pandas Dataframe应用自定义

    目录 前言: 应用函数 apply 方法 applymap 方法 前言: 在进行数据分析时,难免需要对数据集应用一些我们自定义的一些函数,或者其他库的函数,得到我们想要的数据,这种情况下,可能大家第一时间想到的是使用for循环遍历Dataframe对象,取到指定行/列的数据再进行自定义函数的应用,当然这种方法完全可以实现,但是效率不高,接下来就来介绍一下在Pandas中如何对数据集高效的进行自定义函数的应用. 应用函数 apply 方法 apply()函数是一个自定义函数作用于某一行或几行,或者

  • Python数据分析之 Pandas Dataframe合并和去重操作

    Python数据分析之 Pandas Dataframe合并和去重操作

    目录 一.之 Pandas Dataframe合并 二.去重操作 一.之 Pandas Dataframe合并 在数据分析中,避免不了要从多个数据集中取数据,那就避免不了要进行数据的合并,这篇文章就来介绍一下 Dataframe 对象的合并操作. Pandas 提供了merge()方法来进行合并操作,使用语法如下: pd.merge(left, right, how="inner", on=None, left_on=None, right_on=None, left_index=Fa

  • Python数据分析之 Pandas Dataframe条件筛选遍历详情

    Python数据分析之 Pandas Dataframe条件筛选遍历详情

    目录 一.条件筛选 二.Dataframe数据遍历 for...in...语句 iteritems()方法 iterrows()方法 itertuples()方法 一.条件筛选 查询Pandas Dataframe数据时,经常会筛选出符合条件的数据,接下来介绍一下具体的使用方式. 示例Dataframe如下: 单条件筛选,例如查询gender为woman的数据: df[df["gender"]=="woman"] # 或 df.loc[df["gender

  • Python数据分析之 Pandas Dataframe修改和删除及查询操作

    Python数据分析之 Pandas Dataframe修改和删除及查询操作

    目录 一.查询操作 元素的查询 二.修改操作 行列索引的修改 元素值的修改 三.行和列的删除操作 一.查询操作 可以使用Dataframe的index属性和columns属性获取行.列索引. import pandas as pd data = {"name": ["Alice", "Bob", "Cindy", "David"], "age": [25, 23, 28, 24], &q

  • python Dataframe 合并与去重详情

    目录 1.合并 1.1 结构合并 1.1.1 concat函数 1.1.2 append函数 1.2 字段合并 2.去重 1.合并 1.1 结构合并 将两个结构相同的数据合并 1.1.1 concat函数 函数配置: concat([dataFrame1, dataFrame2,-], index_ingore=False) 参数说明:index_ingore=False(表示合并的索引不延续),index_ingore=True(表示合并的索引可延续) 实例: import pandas as

  • Python数据分析模块pandas用法详解

    本文实例讲述了Python数据分析模块pandas用法.分享给大家供大家参考,具体如下: 一 介绍 pandas(Python Data Analysis Library)是基于numpy的数据分析模块,提供了大量标准数据模型和高效操作大型数据集所需要的工具,可以说pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一. pandas主要提供了3种数据结构: 1)Series,带标签的一维数组. 2)DataFrame,带标签且大小可变的二维表格结构. 3)Panel,带标

  • Python数据分析库pandas基本操作方法

    pandas是什么? 是它吗? ....很显然pandas没有这个家伙那么可爱.... 我们来看看pandas的官网是怎么来定义自己的: pandas is an open source, easy-to-use data structures and data analysis tools for the Python programming language. 很显然,pandas是python的一个非常强大的数据分析库! 让我们来学习一下它吧! 1.pandas序列 import nump

  • 基于Python数据分析之pandas统计分析

    pandas模块为我们提供了非常多的描述性统计分析的指标函数,如总和.均值.最小值.最大值等,我们来具体看看这些函数: 1.随机生成三组数据 import numpy as np import pandas as pd np.random.seed(1234) d1 = pd.Series(2*np.random.normal(size = 100)+3) d2 = np.random.f(2,4,size = 100) d3 = np.random.randint(1,100,size = 1

  • Python数据分析之pandas函数详解

    一.apply和applymap 1. 可直接使用NumPy的函数 示例代码: # Numpy ufunc 函数 df = pd.DataFrame(np.random.randn(5,4) - 1) print(df) print(np.abs(df)) 运行结果: 0         1         2         3 0 -0.062413  0.844813 -1.853721 -1.980717 1 -0.539628 -1.975173 -0.856597 -2.612406

  • Python基础之pandas数据合并

    Python基础之pandas数据合并

    一.concat concat函数是在pandas底下的方法,可以将数据根据不同的轴作简单的融合 pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False) axis: 需要合并链接的轴,0是行,1是列join:连接的方式 inner,或者outer 二.相同字段的表首尾相接 #现将表构成l

随机推荐