python读取当前目录下的CSV文件数据

在处理数据的时候,经常会碰到CSV类型的文件,下面将介绍如何读取当前目录下的CSV文件,步骤如下

1、获取当前目录所有的CSV文件名称:

#创建一个空列表,存储当前目录下的CSV文件全称
file_name = []

#获取当前目录下的CSV文件名
def name():
  #将当前目录下的所有文件名称读取进来
  a = os.listdir()
  for j in a:
    #判断是否为CSV文件,如果是则存储到列表中
    if os.path.splitext(j)[1] == '.csv':
      file_name.append(j)

2、将CSV文件读取进来:

#将CSV文件内容导入到csv_storage列表中
def csv_new(storage,name):
  #创建一个空列表,用于存储CSV文件数据
  csv_storage = []
  with codecs.open(storage, 'r', encoding='utf-8') as fp:
    fp_key = csv.reader(fp)
    for csv_key in fp_key:
      csv_reader = csv.DictReader(fp, fieldnames=csv_key)
      for row in csv_reader:
        csv_dict = dict(row)
        csv_storage.append(csv_dict)

3、连续读取多个CSV文件:

设置一个for循环,将第一部分读取到的文件名称逐个传递给读取文件的函数,全部代码如下所示:

import codecs
import csv
import os

#创建一个空列表,存储当前目录下的CSV文件全称
file_name = []

#获取当前目录下的CSV文件名
def name():
  #将当前目录下的所有文件名称读取进来
  a = os.listdir()
  for j in a:
    #判断是否为CSV文件,如果是则存储到列表中
    if os.path.splitext(j)[1] == '.csv':
      file_name.append(j)

#将CSV文件内容导入到csv_storage列表中
def csv_new(storage):
  #创建一个空列表,用于存储CSV文件数据
  csv_storage = []
  with codecs.open(storage, 'r', encoding='utf-8') as fp:
    fp_key = csv.reader(fp)
    for csv_key in fp_key:
      csv_reader = csv.DictReader(fp, fieldnames=csv_key)
      for row in csv_reader:
        csv_dict = dict(row)
        csv_storage.append(csv_dict)
  for i in csv_storage:
    print(i)

#主要运行函数
if __name__ == '__main__':
  #运行获取当前目录下所有的CSV文件
  name()
  #将多个CSV文件逐个读取
  for name in file_name:
    csv_new(name)
  print(file_name)

4、最终的结果输出:

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

时间: 2020-03-11

python 读取.csv文件数据到数组(矩阵)的实例讲解

利用numpy库 (缺点:有缺失值就无法读取) 读: import numpy my_matrix = numpy.loadtxt(open("1.csv","rb"),delimiter=",",skiprows=0) 写: numpy.savetxt('2.csv', my_matrix, delimiter = ',') 可能遇到的问题: SyntaxError: (unicode error) 'unicodeescape' codec

Python读取txt文件数据的方法(用于接口自动化参数化数据)

小试牛刀: 1.需要python如何读取文件 2.需要python操作list 3.需要使用split()对字符串进行分割 代码运行截图 : 代码(copy) #encoding=utf-8 #1.range中填写的数据 跟txt中行数保持一致 默认按照空格分隔 f_space = open(r"C:\Users\Administrator\Desktop\Space.txt","r") line_space = f_space.readlines() for i

Python实现读取TXT文件数据并存进内置数据库SQLite3的方法

本文实例讲述了Python实现读取TXT文件数据并存进内置数据库SQLite3的方法.分享给大家供大家参考,具体如下: 当TXT文件太大,计算机内存不够时,我们可以选择按行读取TXT文件,并将其存储进Python内置轻量级splite数据库,这样可以加快数据的读取速度,当我们需要重复读取数据时,这样的速度加快所带来的时间节省是非常可观的,比如,当我们在训练数据时,要迭代10万次,即要从文件中读取10万次,即使每次只加快0.1秒,那么也能节省几个小时的时间了. #创建数据库并把txt文件的数据存进

python读取各种文件数据方法解析

python读取.txt(.log)文件 ..xml 文件 .excel文件数据,并将数据类型转换为需要的类型,添加到list中详解 1.读取文本文件数据(.txt结尾的文件)或日志文件(.log结尾的文件) 以下是文件中的内容,文件名为data.txt(与data.log内容相同),且处理方式相同,调用时改个名称就可以了: 以下是python实现代码: # -*- coding:gb2312 -*- import json def read_txt_high(filename): with o

基于Python和PyYAML读取yaml配置文件数据

一.首先我们需要安装 PyYAML 第三方库 直接使用 pip install PyYAML 就可以(这里我之前是装过的,所以提示我PyYAML已经在这个目录下了,是5.1.2版本的) 二.先看一下我的yaml配置文件中数据的格式 特点: 1.大小写敏感 2.使用缩进表示层级关系 3.缩进的时候使用的是空格,不是tab键(因为在写python脚本的时候可能会习惯用tab键进行缩进,这里的缩进只能使用空格.只要同层级的对齐,空一格或者空两格都是没有关系的) 4.#号表示注释 (这不就是python

python实现用类读取文件数据并计算矩形面积

1.创建一个类Rectangle,已知a.b求面积,求三角形的面积 2.结合题目一,从题目一文件中读取数据,并采用类的方法,将计算的结果写在另一个文档中. (1)利用类进行计算一个矩形的面积,已经a.b边长. class Rectangle: '''这是关于矩形面积的计算公式,只用给出矩形的长和宽, 调用实例函数,就可以返回所需要的面积''' number=0 def __init__(self,a,b): # a.b类似C中的形参 或者叫作构造方法 self.a1=a # 将形参中的值传入到类

python pickle存储、读取大数据量列表、字典数据的方法

先给大家介绍下python pickle存储.读取大数据量列表.字典的数据 针对于数据量比较大的列表.字典,可以采用将其加工为数据包来调用,减小文件大小 #列表 #存储 list1 = [123,'xiaopingguo',54,[90,78]] list_file = open('list1.pickle','wb') pickle.dump(list1,list_file) list_file.close() #读取 list_file = open('list1.pickle','rb')

Python学习笔记之读取文件、OS模块、异常处理、with as语法示例

本文实例讲述了Python学习笔记之读取文件.OS模块.异常处理.with as语法.分享给大家供大家参考,具体如下: 文件读取 #读取文件 f = open("test.txt","r") print(f.read()) #打印文件内容 #关闭文件 f.close() 获取文件绝对路径:OS模块 os.environ["xxx"]  获取系统环境变量 os.getcwd 获取当前python脚本工作路径 os.getpid() 获取当前进程ID

python利用thrift服务读取hbase数据的方法

因工作需要用python通过hbase的thrift服务读取Hbase表数据,发现公司的测试环境还不支持,于是自己动手准备环境,在此我将在安装步骤尽可能描述清楚,旨在给第一次动手安装的朋友,此过程亲测成功! 安装过程如下: 1.首先确保hbase安装测试成功,再者确认下hbase的thrift服务是否启动,注意目前的Hbase(本文基于版本0.98.17)有两套thrift接口thrift和thrift2,本文使用thrift,启动命令:hbase thrift -p 9090 start,确保

Python使用Numpy模块读取文件并绘制图片

代码如下 import pandas as pd import matplotlib.pyplot as plt import numpy as np data = np.loadtxt('distance.txt',dtype = np.int) print(data) x = data[:,0] # 设置第1列数据为x轴数据. y = np.log(data[:,1]) # 设置第2列为y轴数据,计算自然对数后赋值给y, 注意如果取以10为底的对数,则需要使用log10方法. print(x

详解FileInputStream读取文件数据的两种方式

FileInputStream(文件字节读取流): read():一个一个字节的读 read(byte[] buf):先把字节存入到缓冲区字节数组中,一下读一个数组(常用) import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.util.Arrays; public class FileIn

Python逐行读取文件内容的方法总结

Python四种逐行读取文件内容的方法 下面四种Python逐行读取文件内容的方法, 分析了各种方法的优缺点及应用场景,以下代码在python3中测试通过, python2中运行部分代码已注释,稍加修改即可. 方法一:readline函数 # -*- coding: UTF-8 -*- f = open("/pythontab/code.txt") # 返回一个文件对象 line = f.readline() # 调用文件的 readline()方法 while line: # pri

浅谈Golang是如何读取文件内容的(7种)

本文旨在快速介绍Go标准库中读取文件的许多选项. 在Go中(就此而言,大多数底层语言和某些动态语言(如Node))返回字节流. 不将所有内容自动转换为字符串的好处是,其中之一是避免昂贵的字符串分配,这会增加GC压力. 为了使本文更加简单,我将使用string(arrayOfBytes)将bytes数组转换为字符串. 但是,在发布生产代码时,不应将其作为一般建议. 1.读取整个文件到内存中 首先,标准库提供了多种功能和实用程序来读取文件数据.我们将从os软件包中提供的基本情况开始.这意味着两个先决