python实现读取大文件并逐行写入另外一个文件

<pre name="code" class="python">creazy.txt文件有4G，逐行读取其内容并写入monday.txt文件里。 
def creazyRead():
  '''''
  with open("e:creazy.txt","r") as cr:
    for line in cr:
      print line
  '''
  ms = open("e:creazy.txt")
  for line in ms:
    with open("e:monday.txt","a") as mon:
      mon.write(line)

另一种方法使用readlines实现： 

def creazyRead():
  ms = open("e:creazy.txt")
  for line in ms.readlines():
    with open("e:monday.txt","a") as mon:
      mon.write(line)

以上这篇python实现读取大文件并逐行写入另外一个文件就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

您可能感兴趣的文章:

  • Python 逐行分割大txt文件的方法
  • python简单读取大文件的方法
  • Python按行读取文件的实现方法【小文件和大文件读取】
  • python逐行读取文件内容的三种方法
  • 使用Python读取大文件的方法
  • python读文件逐行处理的示例代码分享
赞 (0)

相关推荐

  • python读文件逐行处理的示例代码分享

    复制代码 代码如下: import os ## for os.path.isfile() def dealline(line) :    print(line) ## 针对line我可以做很多事情 def getfilename() :    return input('Please input file name(input exit() for exit):').strip() class more : ## MORE功能    linenum = 0    size = 10    def

  • 使用Python读取大文件的方法

    背景 最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法. 准备工作 我们谈到"文本处理"时,我们通常是指处理的内容.Python 将文本文件的内容读入可以操作的字符串变量非常容易.文件对象提供了三个"读"方法: .read()..readline() 和 .readlines().每种方法可以接受一个变量以限制每次读取的数据量,但它们

  • Python 逐行分割大txt文件的方法

    代码如下所示: # -*- coding: <encoding name> -*- import io LIMIT = 150000 file_count = 0 url_list = [] with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f: for line in f: url_list.append(line) if len(url_list) < LIMIT: conti

  • Python按行读取文件的实现方法【小文件和大文件读取】

    本文实例讲述了Python按行读取文件的实现方法.分享给大家供大家参考,具体如下: 小文件: #coding=utf-8 #author: walker #date: 2013-12-30 #function: 按行读取小文件 all_lines = [] try: file = open('txt.txt', 'r') all_lines = file.readlines() except IOError as err: print('File error: ' + str(err)) fin

  • python逐行读取文件内容的三种方法

    方法一: 复制代码 代码如下: f = open("foo.txt")             # 返回一个文件对象  line = f.readline()             # 调用文件的 readline()方法  while line:      print line,                 # 后面跟 ',' 将忽略换行符      # print(line, end = '') # 在 Python 3中使用      line = f.readline()

  • python简单读取大文件的方法

    本文实例讲述了python简单读取大文件的方法.分享给大家供大家参考,具体如下: Python读取大文件(GB级别)采用的办法很简单: with open(...) as f: for line in f: <do something with line> 例如: with open(filepath,'r') as infile: for line in infile: print line 一切都交给python解释器处理,读取效率很高,且占用资源少. stackoverflow参考链接:

  • python实现读取大文件并逐行写入另外一个文件

    <pre name="code" class="python">creazy.txt文件有4G,逐行读取其内容并写入monday.txt文件里. def creazyRead(): ''''' with open("e:creazy.txt","r") as cr: for line in cr: print line ''' ms = open("e:creazy.txt") for line

  • python分块读取大数据,避免内存不足的方法

    如下所示: def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator=True) loop = True chunkSize = 1000 #一千行一块 chunks = [] while loop: try: chunk = dcs.get_chunk(chunkSize) chunks

  • python实现将两个文件夹合并至另一个文件夹(制作数据集)

    此操作目的是为了制作自己的数据集,深度学习框架进行数据准备,此操作步骤包括对文件夹进行操作,将两个文件夹合并至另一个文件夹 该实例为一个煤矿工人脸识别的案例;首先原始数据集(简化版的数据集旨在说明数据准备过程)如下图所示: 该数据集只有三个人的数据,A01代表工人甲的煤矿下的照片,B01代表工人甲下矿前的照片,同理A02.B02代表工人乙的矿下.矿上的照片数据... 如下图所示 矿下 矿上 开始制作数据集: 首先建立训练集(0.7)和测试集(0.3),即建立一个空白文件夹 将该文件夹分为四个小文

  • 详解PHP如何读取大文件

    衡量成功 唯一能确认我们对代码所做改进是否有效的方式是:衡量一个糟糕的情况,然后对比我们已经应用改进后的衡量情况.换言之,除非我们知道 "解决方案" 能帮我们到什么程度 (如果有的话),否则我们并不知道它是否是一个解决方案. 我们可以关注两个指标.首先是 CPU 使用率.我们要处理的过程运行得有多快或多慢?其次是内存使用率.脚本执行要占用多少内存?这些通常是成反比的 - 这意味着我们能够以 CPU 使用率为代价减少内存的使用率,反之亦可. 在一个异步处理模型 (例如多进程或多线程 PH

  • python之文件的读写和文件目录以及文件夹的操作实现代码

    为了安全起见,最好还是给打开的文件对象指定一个名字,这样在完成操作之后可以迅速关闭文件,防止一些无用的文件对象占用内存.举个例子,对文本文件读取: file_object = open('thefile.txt') try: all_the_text = file_object.read( ) finally: file_object.close( ) Python读写文件实际操作的五大步骤 一.打开文件 Python读写文件在计算机语言中被广泛的应用,如果你想了解其应用的程序,以下的文章会给你

  • Python二进制文件读取并转换为浮点数详解

    Python二进制文件读取并转换为浮点数详解

    本文所用环境: Python 3.6.5 |Anaconda custom (64-bit)| 引言 由于某些原因,需要用python读取二进制文件,这里主要用到struct包,而这个包里面的方法主要是unpack.pack.calcsize.详细介绍可以看:Python Struct 官方文档.这里主要讨论,python二进制转浮点数的操作. python中一个float类型的数占4个字节. 二进制数据转float,可以用struct.unpack()来实现. 小文件读取 较小的文件,可以一次

  • python 实现读取csv数据,分类求和 再写进 csv

    这两天在测试过程中,遇到这样的问题: 数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错. 比如说,这样的数据 需要对AskPrice值相同对应的AskQuantity 统计出来. 直接上脚本 : import pandas as pd import csv df=pd.read_csv('D:\test\orderBook.csv') df_sum = df.groupby('Ask

  • shell文件处理笔记之插入文本到文件的方法

    前言 众所周知,如果在大多数服务器上,不会预先装上 ruby 或者 python 这些语言.这时,你要想操作一些文件,一个合理的选择就是使用 shell.也就是你在 terminal中输入的那些指令.本文给大家想写介绍了关于插入文本到文件的相关内容,下面话不多说了,来一起看看详细的介绍: 首先,打开你的 Terminal. 改写文件 如果你刚刚创建了一个文件,比如touch a.txt,a 里面现在是空的.你想要往里面加上一句话,怎么操作.你可以打开文件,用 vim,用 atom 都可以.但你要

随机推荐