python数据预处理 :数据抽样解析

何为数据抽样:

抽样是数据处理的一种基本方法,常常伴随着计算资源不足、获取全部数据困难、时效性要求等情况使用。

抽样方法:

一般有四种方法:

随机抽样 直接从整体数据中等概率抽取n个样本。这种方法优势是,简单、好操作、适用于分布均匀的场景;缺点是总体大时无法一一编号

系统抽样 又称机械、等距抽样,将总体中个体按顺序进行编号,然后计算出间隔,再按照抽样间隔抽取个体。优势,易于理解、简便易行。缺点是,如有明显分布规律时容易产生偏差。

群体抽样 总体分群,在随机抽取几个小群代表总体。优点是简单易行、便与组织;缺点是群体划分容易造成误差

分层抽样 先按照观察指标影响较大的某一种特征,将总体分若干个类别,再从每一层随机抽取一定数量的单位合并成总体。优点样本代表性好,少误差

以上四种基本抽样方法都属单阶段抽样,实际应用中常根据实际情况将整个抽样过程分为若干阶段来进行,称为多阶段抽样。

各种抽样方法的抽样误差一般是:整群抽样≥单纯随机抽样≥系统抽样≥分层抽样

python代码实现

import random
import numpy as np
import pandas as pd

# 导入数据
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/glass.csv')

df.index.size
# 214

##########随机抽样##########
#
# 使用pandas
# DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
# n是要抽取的行数。(例如n=20000时,抽取其中的2W行)
# frac是抽取的比列。(有一些时候,我们并对具体抽取的行数不关系,我们想抽取其中的百分比,这个时候就可以选择使用frac,例如frac=0.8,就是抽取其中80%)
# replace:是否为有放回抽样,取replace=True时为有放回抽样。
# weights这个是每个样本的权重,具体可以看官方文档说明。
# random_state这个在之前的文章已经介绍过了。
# axis是选择抽取数据的行还是列。axis=0的时是抽取行,axis=1时是抽取列(也就是说axis=1时,在列中随机抽取n列,在axis=0时,在行中随机抽取n行)

df_0 = df.sample(n=20, replace=True)
df_0.index.size
# 20

# 数据准备
data = df.values
# 使用random
data_sample = random.sample(list(data), 20)
len(data_sample)
# 20

##########等距抽样##########
# 指定抽样数量
sample_count = 50
# 获取最大样本量
record_count = data.shape[0]
# 抽样间距
width = record_count//sample_count
data_sample = []
i = 0
# 本量小于等于指定抽样数量并且矩阵索引在有效范围内是
while len(data_sample) <= sample_count and i * width <= record_count -1:
  data_sample.append(data[i*width])
  i += 1
len(data_sample)
# 51

##########分层抽样##########
# 数据只是随便找的分层仅限于演示
# 定义每个分层的抽样数量
each_sample_count = 6
# 定义分层值域
label_data_unique = np.unique(data[:, -1])
# 定义一些数据
sample_list, sample_data, sample_dict = [], [], {}
# 遍历每个分层标签
for label_data in label_data_unique:
  for data_tmp in data: # 读取每条数据
    if data_tmp[-1] == label_data:
      sample_list.append(data_tmp)
  # 对每层数据都数据抽样
  each_sample_data = random.sample(sample_list, each_sample_count)
  sample_data.extend(each_sample_data)
  sample_dict[label_data] = len(each_sample_data)
sample_dict
# {1.0: 6, 2.0: 6, 3.0: 6, 5.0: 6, 6.0: 6, 7.0: 6}

##########整群抽样##########
# 数据分群仅限于演示,不符合实际情况
# 定义整群的标签
label_data_unique = np.unique(data[:, -1])
# 随机抽取2个群
sample_label = random.sample(list(label_data_unique), 2)
# 定义空列表
sample_data = []
# 遍历每个整群标签值域
for each_label in sample_label:
  for data_tmp in data:
    if data_tmp[-1] == each_label:
      sample_data.append(data_tmp)
len(sample_data)
# 83

需要注意的问题

数据抽样过程中要注意一些问题

数据时效性 不能用过时的数据来分析现在的运营状态

关键因素数据 整体数据的关键性数据必须要在模型中,如双十一带来的销售增长

业务随机性 抽样数据要使各个场景的数据分布均衡

数据来源多样性 数据覆盖要全面

抽样数据量问题

时间分布 能包含业务周期。月销售预测,至少包含12个月数据;时间还要考虑季节、节假日、特定促销日等周期性。

做预测分析 考虑特征数据和特征值域的分布,通常数据记录要同时是特征数量和特征值域的100倍以上。例如数据集有5个特征值,每个特征有2个值域,那么数据记录数需要至少1000(10052)条以上

做关联规则分析 根据关联前后项数量(每个前项或后项可包含多个要关联的主体,例如品牌+商品+价格关联),每个主体需要至少1000条数据。例如只做单品销售关联,那么单品的销售记录需要在1000条以上;如果要同时做单品+品牌的关联,那么需要至少2000条数据。

异常检测 无论是监督室还是非监督式建模,对于异常数据本来就是小概率分布的,因此异常数据记录一般越多越好。

以上这篇python数据预处理 :数据抽样解析就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

时间: 2020-02-23

python数据预处理方式 :数据降维

数据为何要降维 数据降维可以降低模型的计算量并减少模型运行时间.降低噪音变量信息对于模型结果的影响.便于通过可视化方式展示归约后的维度信息并减少数据存储空间.因此,大多数情况下,当我们面临高维数据时,都需要对数据做降维处理. 数据降维有两种方式:特征选择,维度转换 特征选择 特征选择指根据一定的规则和经验,直接在原有的维度中挑选一部分参与到计算和建模过程,用选择的特征代替所有特征,不改变原有特征,也不产生新的特征值. 特征选择的降维方式好处是可以保留原有维度特征的基础上进行降维,既能满足后续数据

pytorch数据预处理错误的解决

出错: Traceback (most recent call last): File "train.py", line 305, in <module> train_model(model_conv, criterion, optimizer_conv, exp_lr_scheduler) File "train.py", line 145, in train_model for inputs, age_labels, gender_labels in

python数据预处理 :数据共线性处理详解

何为共线性: 共线性问题指的是输入的自变量之间存在较高的线性相关度.共线性问题会导致回归模型的稳定性和准确性大大降低,另外,过多无关的维度计算也很浪费时间 共线性产生原因: 变量出现共线性的原因: 数据样本不够,导致共线性存在偶然性,这其实反映了缺少数据对于数据建模的影响,共线性仅仅是影响的一部分 多个变量都给予时间有共同或相反的演变趋势,例如春节期间的网络销售量和销售额都相对与正常时间有下降趋势. 多个变量存在一定的推移关系,但总体上变量间的趋势一致,只是发生的时间点不一致,例如广告费用和销售

python类:class创建、数据方法属性及访问控制详解

在Python中,可以通过class关键字定义自己的类,然后通过自定义的类对象类创建实例对象. python中创建类 创建一个Student的类,并且实现了这个类的初始化函数"__init__": class Student(object):     count = 0     books = []     def __init__(self, name):         self.name = name 接下来就通过上面的Student类来看看Python中类的相关内容. 类构造和

python 数据的清理行为实例详解

python 数据的清理行为实例详解 数据清洗主要是指填充缺失数据,消除噪声数据等操作,主要还是通过分析"脏数据"产生的原因和存在形式,利用现有的数据挖掘手段去清洗"脏数据",然后转化为满足数据质量要求或者是应用要求的数据. 1.try 语句还有另外一个可选的子句,它定义了无论在任何情况下都会执行的清理行为. 例如: >>>try: raiseKeyboardInterrupt finally: print('Goodbye, world!') G

基于Python的Post请求数据爬取的方法详解

为什么做这个 和同学聊天,他想爬取一个网站的post请求 观察 该网站的post请求参数有两种类型:(1)参数体放在了query中,即url拼接参数(2)body中要加入一个空的json对象,关于为什么要加入空的json对象,猜测原因为反爬虫.既有query参数又有空对象体的body参数是一件脑洞很大的事情. 一开始先在apizza网站 上了做了相关实验才发现上面这个规律的,并发现该网站的请求参数要为raw形式,要是直接写代码找规律不是一件容易的事情. 源码 import requests im

基于Python对数据shape的常见操作详解

这一阵在用python做DRL建模的时候,尤其是在配合使用tensorflow的时候,加上tensorflow是先搭框架再跑数据,所以调试起来很不方便,经常遇到输入数据或者中间数据shape的类型不统一,导致一些op老是报错.而且由于水平菜,所以一些常用的数据shape转换操作也经常百度了还是忘,所以想再整理一下. 一.数据的基本属性 求一组数据的长度 a = [1,2,3,4,5,6,7,8,9,10,11,12] print(len(a)) print(np.size(a)) 求一组数据的s

基于DataFrame筛选数据与loc的用法详解

DataFrame筛选数据与loc用法 python中pandas下的DataFrame是一个很不错的数据结构,附带了许多操作.运算.统计等功能. 如何从一个DataFrame中筛选中出一个元素呢. 以tushare返回的交易日信息为例. df = ts.trade_cal() 数据如下: calendarDate isOpen 0 1990/12/19 1 1 1990/12/20 1 2 1990/12/21 1 3 1990/12/22 0 4 1990/12/23 0 5 1990/12

Oracle表中重复数据去重的方法实例详解

Oracle表中重复数据去重的方法实例详解 我们在项目中肯定会遇到一种情况,就是表中没有主键 有重复数据 或者有主键 但是部分字段有重复数据 而我们需要过滤掉重复数据 下面是一种解决方法 delete from mytest ms where rowid in (select aa.rid from (select rowid as rid, row_number() over(partition by s.name order by s.id) as nu from mytest s) aa

使用Java构造和解析Json数据的两种方法(详解二)

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,采用完全独立于语言的文本格式,是理想的数据交换格式.同时,JSON是 JavaScript 原生格式,这意味着在 JavaScript 中处理 JSON数据不须要任何特殊的 API 或工具包. 在www.json.org上公布了很多JAVA下的json构造和解析工具,其中org.json和json-lib比较简单,两者使用上差不多但还是有些区别.下面接着介绍用org.json构造和解析Json数据的方法

使用Java构造和解析Json数据的两种方法(详解一)

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,采用完全独立于语言的文本格式,是理想的数据交换格式.同时,JSON是 JavaScript 原生格式,这意味着在 JavaScript 中处理 JSON数据不须要任何特殊的 API 或工具包. 在www.json.org上公布了很多JAVA下的json构造和解析工具,其中org.json和json-lib比较简单,两者使用上差不多但还是有些区别.下面首先介绍用json-lib构造和解析Json数据的方法

通达OA 使用Ajax和工作流插件实现根据人力资源系统数据增加OA账号(图文详解)

本次小飞鱼开发的程序主要解决某下属公司在人力系统中增加账号不能马上审批完毕的问题,可以通过这个流程审批后由插件在后台判断自动增加OA账号,增加机制与hr与OA系统同步相同. 只进行增加操作,没有修改.删除的操作.原有已经进行了两个系统的数据自动同步开发,因此这次的开发属于一个补充的内容,仅在此提供一个应用的思路和开发过程的探讨. 前端发起人申请时填写hr系统中已经分配的工号,即可对应查询出其他相关数据.为了避免查出数据后对工号修改,增加一个确认工号输入框.其他信息由Ajax自动获取为只读形式.这