python 实现两个npy档案合并

我就废话不多说了,大家还是直接看代码吧~


old_record=numpy.load('exist.npy')
temp_record=[]

path = os.getcwd()+"\\database\\new"  #获取当前路径
for root,dirs,files in os.walk(path):  #遍历统计
	for each in files:
		url=path+"\\"+each
		...
		temp_record.append(temp)

numpy.save('temp.npy',temp_record)
temp=numpy.load('temp.npy')

new_record=numpy.append(old_record,temp)
numpy.save('exist.npy',new_record)
 

补充知识:Python批量处理文件 将多个文件合并

需求:把一个文件夹下的多个csv文件合并成一个文件,文件的格式是相同的,只是按照不同的月份分成了多个文件,现将文件夹下的文件进行合并

import pandas as pd
import os
Folder_Path = 'C:\\Users\\dell\\雾霾预测\\data\\河北省'     #要拼接的文件夹及其完整路径,注意不要包含中文
SaveFile_Path = 'C:\\Users\\dell\\雾霾预测\\data'    #拼接后要保存的文件路径
SaveFile_Name = '河北省201701-201712.csv'       #合并后要保存的文件名 

#修改当前工作目录
os.chdir(Folder_Path)
#将该文件夹下的所有文件名存入一个列表
file_list = os.listdir() 

#读取第一个CSV文件并包含表头
df = pd.read_csv(Folder_Path +'\\'+ file_list[0]) #编码默认UTF-8,若乱码自行更改

#将读取的第一个CSV文件写入合并后的文件保存
df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False) 

#循环遍历列表中各个CSV文件名,并追加到合并后的文件
FileStart = 1
FileEnd = len(file_list)
for i in range(FileStart,FileEnd):
  df = pd.read_csv(Folder_Path + '\\'+ file_list[i])
  df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False, header=False, mode='a+')

在读取的时候可能会出现中文乱码的问题,有可能是gbk编码这时候再读取文件的时候需要加上编码格式

df = pd.read_csv(Folder_Path +'\\'+ file_list[0],encoding = 'gbk')

以上这篇python 实现两个npy档案合并就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

时间: 2020-06-30

Python openpyxl模块实现excel读写操作

在日常的测试工作中,我们的测试用例一般都是保存在Excel文件中,当然也有一些公司会使用Xmind来编写测试用例,那么为什么我们在这里只是讲解Excel的读写的,因为Excel它是一种更规范.更常用的测试用例格式,对于自动化测试来说,如果我们将用例保存在Excel中,那么剩下的问题就是使用什么样的奇数去解析用例获取测试数据了,下面我们将为大家介绍openpyxl的具体用法. openpyxl是一个开源项目,openpyxl模块是一个读写Excel 2010文档的Python库,如果要处理更早格式

Python使用OpenPyXL处理Excel表格

官方文档: http://openpyxl.readthedocs.io/en/default/ OpenPyXL库 --单元格样式设置 单元格样式的控制,依赖openpyxl.style包,其中定义有样式需要的对象,引入样式相关: from openpyxl.styles import PatternFill, Font, Alignment, Border, SideBorder 边框 Side 边线PatternFill 填充Font 字体Aignment 对齐 以上基本可满足需要 基本用

python实现npy格式文件转换为txt文件操作

如下代码会将npy的格式数据读出,并且输出来到控制台: import numpy as np ##设置全部数据,不输出省略号 import sys np.set_printoptions(threshold=sys.maxsize) boxes=np.load('./input_output/boxes.npy') print(boxes) np.savetxt('./input_output/boxes.txt',boxes,fmt='%s',newline='\n') print('----

Python 存取npy格式数据实例

数据处理的时候主要通过两个函数 (1):np.save("test.npy",数据结构) ----存数据 (2):data =np.load('test.npy") ----取数据 给2个例子如下(存列表) 1. z = [[[1, 2, 3], ['w']], [[1, 2, 3], ['w']]] np.save('test.npy', z) x = np.load('test.npy') x: ->array([[list([1, 2, 3]), list(['w

python中np是做什么的

在python中,"np"一般是指"numpy"库,是第三方库"numpy"的别名.方法:利用命令"import numpy as np"将numpy库取别名为"np". 演示: import numpy as np arr = np.array([1, 2, 3]) print(arr) 结果是: [1 2 3] 知识点扩展: Python中NumPy基础使用 ndarray(以下简称数组)是numpy的

浅谈python中np.array的shape( ,)与( ,1)的区别

如下所示: >>> import numpy as np >>> x = np.array([1, 2]) >>> y = np.array([[1],[2]]) >>> z = np.array([[1,2]]) >>> print(x.shape) (2,) >>> print(y.shape) (2, 1) >>> print(z.shape) (1, 2) x[1,2]的s

python中def是做什么的

Python使用def开始函数定义,紧接着是函数名,括号内部为函数的参数,内部为函数的 具体功能实现代码,如果想要函数有返回值, 在expressions中的逻辑代码中用return返回. 基本使用 def function_name(parameters): expressions 实例 def function(): print('This is a function') a = 1+2 print(a) 上面我们定义了一个名字为 function 的函数,函数没有不接受参数,所以括号内部为

Python中unittest模块做UT(单元测试)使用实例

待测试的类(Widget.py) # Widget.py # Python 2.7.6 class Widget: def __init__(self, size = (40,40)): self.size = size def getSize(self): return self.size def reSize(self,width,height): if width <0 or height < 0: raise ValueError, 'illegal size' else: self.

Python中常用操作字符串的函数与方法总结

例如这样一个字符串 Python,它就是几个字符:P,y,t,h,o,n,排列起来.这种排列是非常严格的,不仅仅是字符本身,而且还有顺序,换言之,如果某个字符换了,就编程一个新字符串了:如果这些字符顺序发生变化了,也成为了一个新字符串. 在 Python 中,把像字符串这样的对象类型(后面还会冒出来类似的其它有这种特点的对象类型,比如列表),统称为序列.顾名思义,序列就是"有序排列". 比如水泊梁山的 108 个好汉(里面分明也有女的,难道女汉子是从这里来的吗?),就是一个"

Python中的asyncio代码详解

asyncio介绍 熟悉c#的同学可能知道,在c#中可以很方便的使用 async 和 await 来实现异步编程,那么在python中应该怎么做呢,其实python也支持异步编程,一般使用 asyncio 这个库,下面介绍下什么是 asyncio : asyncio 是用来编写 并发 代码的库,使用 async/await 语法. asyncio 被用作多个提供高性能 Python 异步框架的基础,包括网络和网站服务,数据库连接库,分布式任务队列等等. asyncio 往往是构建 IO 密集型和

Python中数组,列表:冒号的灵活用法介绍(np数组,列表倒序)

让我们来看一个例子: import numpy as np x=np.array([[1,2,3],[5,6,7],[7,8,9]]) print(x) Out[64]: array([[1, 2, 3], [5, 6, 7], [7, 8, 9]]) 以上的结果我想大家应该没问题把,就是定义了一个np数组,关键在下面 print(x[:,::-1]) Out[65]: [[3 2 1] [7 6 5] [9 8 7]] 以上的代码实现了一种功能,就是将数组倒序排列了,每个维度上倒序,这段代码怎

在python中利用opencv简单做图片比对的方法

下面代码中利用了两种比对的方法,一 对图片矩阵(m x m)求解特征值,通过比较特征值是否在一定的范围内,判断图片是否相同.二 对图片矩阵(m x m)中1求和,通过比较sum和来比较图片. # -*- coding: utf-8 -*- import cv2 as cv import numpy as np import os file_dir_a='C:\Users\wt\Desktop\data\image1\\' file_dir_b='C:\Users\wt\Desktop\data\

python中numpy.zeros(np.zeros)的使用方法

翻译: 用法:zeros(shape, dtype=float, order='C') 返回:返回来一个给定形状和类型的用0填充的数组: 参数:shape:形状 dtype:数据类型,可选参数,默认numpy.float64 dtype类型: t ,位域,如t4代表4位 b,布尔值,true or false i,整数,如i8(64位) u,无符号整数,u8(64位) f,浮点数,f8(64位) c,浮点负数, o,对象, s,a,字符串,s24 u,unicode,u24 order:可选参数

Python中使用Boolean操作符做真值测试实例

在Python中,任何类型的对象都可以做真值测试,并且保证返回True或者False. 以下几种值(不论类型)在真值测试中返回False: 1.None 2.False 3.任何类型的数字0,包括0,0.0,0L,0j 4.空的序列(sequence)或者映射(mapping)类型对象 5.对于用户自定义类型的对象,如果其类定义了__nonzero__() 或者 __len__()特殊方法并且返回False或者0 对于最后一条规则,有几点需要说明: 1.如果类没有定义这两个方法中的任何一个,则这