java高效实现大文件拷贝功能
在java中，FileChannel类中有一些优化方法可以提高传输的效率，其中transferTo( )和 transferFrom( )方法允许将一个通道交叉连接到另一个通道，而不需要通过一个缓冲区来传递数据。只有FileChannel类有这两个方法，因此 channel-to-channel 传输中通道之一必须是 FileChannel。不能在sock通道之间传输数据，不过socket 通道实现WritableByteChannel 和 ReadableByteChannel 接口,因此文件的内容可以用 transferTo( )方法传输给一个 socket 通道,或者也可以用 transferFrom( )方法将数据从一个 socket 通道直接读取到一个文件中。
Channel-to-channel 传输是可以极其快速的,特别是在底层操作系统提供本地支持的时候。某些操作系统可以不必通过用户空间传递数据而进行直接的数据传输。对于大量的数据传输,这会是一个巨大的帮助。
注意：如果要拷贝的文件大于4G，则不能直接用Channel-to-channel 的方法，替代的方法是使用ByteBuffer，先从原文件通道读取到ByteBuffer，再将ByteBuffer写到目标文件通道中。
下面为实现大文件快速拷贝的代码：
import java.io.File;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
public class BigFileCopy {
/**
* 通过channel到channel直接传输
* @param source
* @param dest
* @throws IOException
*/
public static void copyByChannelToChannel(String source, String dest) throws IOException {
File source_tmp_file = new File(source);
if (!source_tmp_file.exists()) {
return ;
}
RandomAccessFile source_file = new RandomAccessFile(source_tmp_file, "r");
FileChannel source_channel = source_file.getChannel();
File dest_tmp_file = new File(dest);
if (!dest_tmp_file.isFile()) {
if (!dest_tmp_file.createNewFile()) {
source_channel.close();
source_file.close();
return;
}
}
RandomAccessFile dest_file = new RandomAccessFile(dest_tmp_file, "rw");
FileChannel dest_channel = dest_file.getChannel();
long left_size = source_channel.size();
long position = 0;
while (left_size > 0) {
long write_size = source_channel.transferTo(position, left_size, dest_channel);
position += write_size;
left_size -= write_size;
}
source_channel.close();
source_file.close();
dest_channel.close();
dest_file.close();
}
public static void main(String[] args) {
try {
long start_time = System.currentTimeMillis();
BigFileCopy.copyByChannelToChannel("source_file", "dest_file");
long end_time = System.currentTimeMillis();
System.out.println("copy time = " + (end_time - start_time));
} catch (IOException e) {
e.printStackTrace();
}
}
}
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
相关推荐
-
java复制文件的4种方式及拷贝文件到另一个目录下的实例代码
尽管Java提供了一个可以处理文件的IO操作类. 但是没有一个复制文件的方法. 复制文件是一个重要的操作,当你的程序必须处理很多文件相关的时候. 然而有几种方法可以进行Java文件复制操作,下面列举出4中最受欢迎的方式. 1. 使用FileStreams复制 这是最经典的方式将一个文件的内容复制到另一个文件中. 使用FileInputStream读取文件A的字节,使用FileOutputStream写入到文件B. 这是第一个方法的代码: private static void copyFileU
-
java文件复制代码片断(java实现文件拷贝)
一.要完成这个程序需要了解的知识点: 1.编写简单的Java程序,比如hello world ---废话了....哈哈 2.了解java的文件操作 3.了解java的buffer操作 4.对文件操作的一些异常处理点:1.源文件不能读取到的情况. 2.目的文件创建失败的情况 3.文件锁问题 4.字符乱码问题...可能不全啊 这些是需要用到的包 import java.io.BufferedInputStream; import java.io.BufferedOutputStream; impor
-
java使用nio2拷贝文件的示例
这个程序只是为了更方便的进行拷贝文件(夹)而创造.1.可以不用新建文件夹,就像windows的复制粘贴一样简单.2.有简单的出错重连机制3.不需要重复拷贝,差异化复制文件.4.拷贝文件夹的时候可以不用复制全路径,只关注需要拷贝的文件夹.5.程序做了简单的必要检查,效率也不算低.6.使用的是7的nio2的新API. 复制代码 代码如下: import java.io.IOException;import java.nio.file.FileVisitResult;import java.nio.f
-
java 实现文件夹的拷贝实例代码
java 实现文件夹的拷贝实例代码 这里就直接上代码,废话不多说,很简单很实用. 实例代码: import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; public class CopyFile { public static void copy(String sourceFile , Str
-
Java利用文件输入输出流实现文件夹内所有文件拷贝到另一个文件夹
一.基本目标 使用Java完成如下的操作: 把一个文件夹内的所有文件拷贝的另一的文件夹,例如,在F盘中有a与b两个文件夹: f:/a里面有一堆文件,运行Java程序之后就会全部复制到f:/b,并且完成重命名,在所有文件之前加rename_的前缀,如果里面有文件夹,则文件夹不重命名,里面的文件进行重命名,同样在所有文件之前加rename_的前缀: 二.制作过程 1.首先主函数非常简单,就是调用了上面FileTest类中的copyFolder函数 public class FileCopy { pu
-
java高效实现大文件拷贝功能
在java中,FileChannel类中有一些优化方法可以提高传输的效率,其中transferTo( )和 transferFrom( )方法允许将一个通道交叉连接到另一个通道,而不需要通过一个缓冲区来传递数据.只有FileChannel类有这两个方法,因此 channel-to-channel 传输中通道之一必须是 FileChannel.不能在sock通道之间传输数据,不过socket 通道实现WritableByteChannel 和 ReadableByteChannel 接口,因此文件
-
Java高效读取大文件实例分析
1.概述 本教程将演示如何用Java高效地读取大文件.Java--回归基础. 2.在内存中读取 读取文件行的标准方式是在内存中读取,Guava和ApacheCommonsIO都提供了如下所示快速读取文件行的方法: Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path)); 这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致程序抛出OutOfMemoryErro
-
Java超详细大文件分片上传代码
目录 Java 大文件分片上传 首先是交互的控制器 上传文件分片参数接收 大文件分片上传服务类实现 文件分片上传定义公共服务类接口 文件分片上传文件操作接口实现类 OSS阿里云对象存储分片上传实现 京东云对象存储实现 腾讯云对象存储分片上传 分片上传前端代码实现 Java 大文件分片上传 原理:前端通过js读取文件,并将大文件按照指定大小拆分成多个分片,并且计算每个分片的MD5值.前端将每个分片分别上传到后端,后端在接收到文件之后验证当前分片的MD5值是否与上传的MD5一致,待所有分片上传完成之
-
Python 工具类实现大文件断点续传功能详解
依赖 os.sys.requests 工具代码 废话不多说,上代码. #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Oct 23 13:54:39 2021 @author: huyi """ import os import sys import requests def download(url, file_path): # 重试计数 count = 0 #
-
Python高效处理大文件的方法详解
目录 开始 处理文本 串行处理 多进程处理 并行处理 并行批量处理 将文件分割成批 运行并行批处理 tqdm 并发 结论 为了进行并行处理,我们将任务划分为子单元.它增加了程序处理的作业数量,减少了整体处理时间. 例如,如果你正在处理一个大的CSV文件,你想修改一个单列.我们将把数据以数组的形式输入函数,它将根据可用的进程数量,一次并行处理多个值.这些进程是基于你的处理器内核的数量. 在这篇文章中,我们将学习如何使用multiprocessing.joblib和tqdm Python包减少大文件
-
Java NIO写大文件对比（win7和mac）
测试说明 写2G文件,分批次写入,每批次写入128MB: 分别在Win7系统(3G内存,双核,32位,T系列处理器)和MacOS系统(8G内存,四核,64位,i7系列处理器)下运行测试.理论上跟硬盘类型和配置也有关系,这里不再贴出了. 测试代码 package rwbigfile; import java.io.ByteArrayInputStream; import java.io.File; import java.io.IOException; import java.io.RandomA
-
Java内存映射 大文件轻松处理
前言 内存映射文件(Memory-mapped File),指的是将一段虚拟内存逐字节映射于一个文件,使得应用程序处理文件如同访问主内存(但在真正使用到这些数据前却不会消耗物理内存,也不会有读写磁盘的操作),这要比直接文件读写快几个数量级. 稍微解释一下虚拟内存(很明显,不是物理内存),它是计算机系统内存管理的一种技术.像施了妖法一样使得应用程序认为它拥有连续的可用的内存,实际上呢,它通常是被分隔成多个物理内存的碎片,还有部分暂时存储在外部磁盘存储器上,在需要时进行数据交换. 内存映射文件主要的
-
利用mmap实现文件拷贝功能
利用mmap实现的一个文件拷贝例子,供大家参考,具体内容如下 /* * gcc -Wall -O3 -o copy_mmap copy_mmap.c */ #include < stdio.h > #include < stdlib.h > #include < string .h > /* for memcpy */ #include < strings.h > #include < sys / mman.h > #include < s
-
Java如何将大文件切割成小文件
运用Java编写代码将一个大文件切割成指定大小的小文件 思路: 对已知文件进行切割操作 –> 得到多个碎片文件 使用: 1. 1个字节输入流 –> 读取已知文件中的数据 2. 多个字节输出流 –> 生成多个碎片文件 思路补充: 创建一个指定大小的byte数组,将大文件读取到byte数组中,读满一次将byte数组写入一个新的小文件中,如此循环直到将大文件读取完毕 注意:此时最后一个小文件可能不足规定的内存大小,在从大文件读取最后一个byte数组时,可能还没读满byte数组,大文件就读取完毕
-
使用mmap实现多进程对大文件拷贝
本文实例为大家分享了mmap实现文件多进程拷贝,供大家参考,具体内容如下 假设有一个超大文件,需对其完成拷贝工作.为提高效率,可采用多进程并行拷贝的方法来实现.假设文件大小为len,共有n个进程对该文件进行拷贝.那每个进程拷贝的字节数应为len/n.但未必一定能整除,我们可以选择让最后一个进程负责剩余部分拷贝工作.可使用len % (len/n)将剩余部分大小求出. 为降低实现复杂度,可选用mmap来实现源.目标文件的映射,通过指针操作内存地址,设置每个进程拷贝的起始.结束位置.借助MAP_SH