Python中shutil模块的常用文件操作函数用法示例

os模块提供了对目录或者文件的新建/删除/查看文件属性,还提供了对文件以及目录的路径操作。比如说:绝对路径,父目录……  但是,os文件的操作还应该包含移动 复制  打包 压缩 解压等操作,这些os模块都没有提供。
而本文所讲的shutil则就是对os中文件操作的补充。--移动 复制  打包 压缩 解压,
shutil函数功能:
1  shutil.copyfileobj(fsrc, fdst[, length=16*1024])
copy文件内容到另一个文件,可以copy指定大小的内容
先来看看其源代码。

def copyfileobj(fsrc, fdst, length=16*1024):
  """copy data from file-like object fsrc to file-like object fdst"""
  while 1:
    buf = fsrc.read(length)
    if not buf:
      break
    fdst.write(buf)

注意! 在其中fsrc,fdst都是文件对象,都需要打开后才能进行复制操作

import shutil
f1=open('name','r')
f2=open('name_copy','w+')
shutil.copyfileobj(f1,f2,length=16*1024)

 
2  shutil.copyfile(src,dst)
copy文件内容,是不是感觉上面的文件复制很麻烦?还需要自己手动用open函数打开文件,在这里就不需要了,事实上,copyfile调用了copyfileobj

def copyfile(src, dst, *, follow_symlinks=True):
  if _samefile(src, dst):
    raise SameFileError("{!r} and {!r} are the same file".format(src, dst))
  for fn in [src, dst]:
    try:
      st = os.stat(fn)
    except OSError:
      # File most likely does not exist
      pass
    else:
      # XXX What about other special files? (sockets, devices...)
      if stat.S_ISFIFO(st.st_mode):
        raise SpecialFileError("`%s` is a named pipe" % fn)
  if not follow_symlinks and os.path.islink(src):
    os.symlink(os.readlink(src), dst)
  else:
    with open(src, 'rb') as fsrc:
      with open(dst, 'wb') as fdst:
        copyfileobj(fsrc, fdst)
  return dst
shutil.copyfile('name','name_copy_2')
#一句就可以实现复制文件内容

3  shutil.copymode(src,dst)  
仅copy权限,不更改文件内容,组和用户。

def copymode(src, dst, *, follow_symlinks=True):
  if not follow_symlinks and os.path.islink(src) and os.path.islink(dst):
    if hasattr(os, 'lchmod'):
      stat_func, chmod_func = os.lstat, os.lchmod
    else:
      return
  elif hasattr(os, 'chmod'):
    stat_func, chmod_func = os.stat, os.chmod
  else:
    return
  st = stat_func(src)
  chmod_func(dst, stat.S_IMODE(st.st_mode))

先看两个文件的权限

[root@slyoyo python_test]# ls -l
total 4
-rw-r--r--. 1 root root 79 May 14 05:17 test1
-rwxr-xr-x. 1 root root 0 May 14 19:10 test2

运行命令

>>> import shutil
>>> shutil.copymode('test1','test2')

查看结果

[root@slyoyo python_test]# ls -l
total 4
-rw-r--r--. 1 root root 79 May 14 05:17 test1
-rw-r--r--. 1 root root 0 May 14 19:10 test2

当我们将目标文件换为一个不存在的文件时报错

>>> shutil.copymode('test1','test3')
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 File "/usr/local/python/lib/python3.4/shutil.py", line 132, in copymode
  chmod_func(dst, stat.S_IMODE(st.st_mode))
FileNotFoundError: [Errno 2] No such file or directory: 'test233'

4  shutil.copystat(src,dst)   
复制所有的状态信息,包括权限,组,用户,时间等

def copystat(src, dst, *, follow_symlinks=True):

  def _nop(*args, ns=None, follow_symlinks=None):
    pass
  # follow symlinks (aka don't not follow symlinks)
  follow = follow_symlinks or not (os.path.islink(src) and os.path.islink(dst))
  if follow:
    # use the real function if it exists
    def lookup(name):
      return getattr(os, name, _nop)
  else:
    # use the real function only if it exists
    # *and* it supports follow_symlinks
    def lookup(name):
      fn = getattr(os, name, _nop)
      if fn in os.supports_follow_symlinks:
        return fn
      return _nop
  st = lookup("stat")(src, follow_symlinks=follow)
  mode = stat.S_IMODE(st.st_mode)
  lookup("utime")(dst, ns=(st.st_atime_ns, st.st_mtime_ns),
    follow_symlinks=follow)
  try:
    lookup("chmod")(dst, mode, follow_symlinks=follow)
  except NotImplementedError:
    # if we got a NotImplementedError, it's because
    #  * follow_symlinks=False,
    #  * lchown() is unavailable, and
    #  * either
    #    * fchownat() is unavailable or
    #    * fchownat() doesn't implement AT_SYMLINK_NOFOLLOW.
    #     (it returned ENOSUP.)
    # therefore we're out of options--we simply cannot chown the
    # symlink. give up, suppress the error.
    # (which is what shutil always did in this circumstance.)
    pass
  if hasattr(st, 'st_flags'):
    try:
      lookup("chflags")(dst, st.st_flags, follow_symlinks=follow)
    except OSError as why:
      for err in 'EOPNOTSUPP', 'ENOTSUP':
        if hasattr(errno, err) and why.errno == getattr(errno, err):
          break
      else:
        raise
  _copyxattr(src, dst, follow_symlinks=follow)

5  shutil.copy(src,dst)  
复制文件的内容以及权限,先copyfile后copymode

 def copy(src, dst, *, follow_symlinks=True):

  if os.path.isdir(dst):
    dst = os.path.join(dst, os.path.basename(src))
  copyfile(src, dst, follow_symlinks=follow_symlinks)
  copymode(src, dst, follow_symlinks=follow_symlinks)
  return dst

6  shutil.copy2(src,dst)   
复制文件的内容以及文件的所有状态信息。先copyfile后copystat

def copy2(src, dst, *, follow_symlinks=True):
  """Copy data and all stat info ("cp -p src dst"). Return the file's
  destination."
  The destination may be a directory.
  If follow_symlinks is false, symlinks won't be followed. This
  resembles GNU's "cp -P src dst".
  """
  if os.path.isdir(dst):
    dst = os.path.join(dst, os.path.basename(src))
  copyfile(src, dst, follow_symlinks=follow_symlinks)
  copystat(src, dst, follow_symlinks=follow_symlinks)
  return dst

7  shutil.copytree(src, dst, symlinks=False, ignore=None, copy_function=copy2,ignore_dangling_symlinks=False)  
递归的复制文件内容及状态信息

def copytree(src, dst, symlinks=False, ignore=None, copy_function=copy2,
       ignore_dangling_symlinks=False):

  names = os.listdir(src)
  if ignore is not None:
    ignored_names = ignore(src, names)
  else:
    ignored_names = set()
  os.makedirs(dst)
  errors = []
  for name in names:
    if name in ignored_names:
      continue
    srcname = os.path.join(src, name)
    dstname = os.path.join(dst, name)
    try:
      if os.path.islink(srcname):
        linkto = os.readlink(srcname)
        if symlinks:
          # We can't just leave it to `copy_function` because legacy
          # code with a custom `copy_function` may rely on copytree
          # doing the right thing.
          os.symlink(linkto, dstname)
          copystat(srcname, dstname, follow_symlinks=not symlinks)
        else:
          # ignore dangling symlink if the flag is on
          if not os.path.exists(linkto) and ignore_dangling_symlinks:
            continue
          # otherwise let the copy occurs. copy2 will raise an error
          if os.path.isdir(srcname):
            copytree(srcname, dstname, symlinks, ignore,
                 copy_function)
          else:
            copy_function(srcname, dstname)
      elif os.path.isdir(srcname):
        copytree(srcname, dstname, symlinks, ignore, copy_function)
      else:
        # Will raise a SpecialFileError for unsupported file types
        copy_function(srcname, dstname)
    # catch the Error from the recursive copytree so that we can
    # continue with other files
    except Error as err:
      errors.extend(err.args[0])
    except OSError as why:
      errors.append((srcname, dstname, str(why)))
  try:
    copystat(src, dst)
  except OSError as why:
    # Copying file access times may fail on Windows
    if getattr(why, 'winerror', None) is None:
      errors.append((src, dst, str(why)))
  if errors:
    raise Error(errors)
  return dst
# version vulnerable to race conditions
[root@slyoyo python_test]# tree copytree_test/
copytree_test/
└── test
  ├── test1
  ├── test2
  └── hahaha
[root@slyoyo test]# ls -l
total 0
-rw-r--r--. 1 python python 0 May 14 19:36 hahaha
-rw-r--r--. 1 python python 0 May 14 19:36 test1
-rw-r--r--. 1 root  root  0 May 14 19:36 test2
>>> shutil.copytree('copytree_test','copytree_copy')
'copytree_copy'
[root@slyoyo python_test]# ls -l
total 12
drwxr-xr-x. 3 root  root  4096 May 14 19:36 copytree_copy
drwxr-xr-x. 3 root  root  4096 May 14 19:36 copytree_test
-rw-r--r--. 1 python python  79 May 14 05:17 test1
-rw-r--r--. 1 root  root   0 May 14 19:10 test2
[root@slyoyo python_test]# tree copytree_copy/
copytree_copy/
└── test
  ├── hahaha
  ├── test1
  └── test2

 
8  shutil.rmtree(path, ignore_errors=False, onerror=None)  
递归地删除文件

def rmtree(path, ignore_errors=False, onerror=None):

  if ignore_errors:
    def onerror(*args):
      pass
  elif onerror is None:
    def onerror(*args):
      raise
  if _use_fd_functions:
    # While the unsafe rmtree works fine on bytes, the fd based does not.
    if isinstance(path, bytes):
      path = os.fsdecode(path)
    # Note: To guard against symlink races, we use the standard
    # lstat()/open()/fstat() trick.
    try:
      orig_st = os.lstat(path)
    except Exception:
      onerror(os.lstat, path, sys.exc_info())
      return
    try:
      fd = os.open(path, os.O_RDONLY)
    except Exception:
      onerror(os.lstat, path, sys.exc_info())
      return
    try:
      if os.path.samestat(orig_st, os.fstat(fd)):
        _rmtree_safe_fd(fd, path, onerror)
        try:
          os.rmdir(path)
        except OSError:
          onerror(os.rmdir, path, sys.exc_info())
      else:
        try:
          # symlinks to directories are forbidden, see bug #1669
          raise OSError("Cannot call rmtree on a symbolic link")
        except OSError:
          onerror(os.path.islink, path, sys.exc_info())
    finally:
      os.close(fd)
  else:
    return _rmtree_unsafe(path, onerror)

9  shutil.move(src, dst)   
递归的移动文件

def move(src, dst):

  real_dst = dst
  if os.path.isdir(dst):
    if _samefile(src, dst):
      # We might be on a case insensitive filesystem,
      # perform the rename anyway.
      os.rename(src, dst)
      return
    real_dst = os.path.join(dst, _basename(src))
    if os.path.exists(real_dst):
      raise Error("Destination path '%s' already exists" % real_dst)
  try:
    os.rename(src, real_dst)
  except OSError:
    if os.path.islink(src):
      linkto = os.readlink(src)
      os.symlink(linkto, real_dst)
      os.unlink(src)
    elif os.path.isdir(src):
      if _destinsrc(src, dst):
        raise Error("Cannot move a directory '%s' into itself '%s'." % (src, dst))
      copytree(src, real_dst, symlinks=True)
      rmtree(src)
    else:
      copy2(src, real_dst)
      os.unlink(src)
  return real_dst

 
10  make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0,dry_run=0, owner=None, group=None, logger=None) 

压缩打包

def make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0,
         dry_run=0, owner=None, group=None, logger=None):

  save_cwd = os.getcwd()
  if root_dir is not None:
    if logger is not None:
      logger.debug("changing into '%s'", root_dir)
    base_name = os.path.abspath(base_name)
    if not dry_run:
      os.chdir(root_dir)
  if base_dir is None:
    base_dir = os.curdir
  kwargs = {'dry_run': dry_run, 'logger': logger}
  try:
    format_info = _ARCHIVE_FORMATS[format]
  except KeyError:
    raise ValueError("unknown archive format '%s'" % format)
  func = format_info[0]
  for arg, val in format_info[1]:
    kwargs[arg] = val
  if format != 'zip':
    kwargs['owner'] = owner
    kwargs['group'] = group
  try:
    filename = func(base_name, base_dir, **kwargs)
  finally:
    if root_dir is not None:
      if logger is not None:
        logger.debug("changing back to '%s'", save_cwd)
      os.chdir(save_cwd)
  return filename

base_name:    压缩打包后的文件名或者路径名
format:          压缩或者打包格式    "zip", "tar", "bztar"or "gztar"
root_dir :         将哪个目录或者文件打包(也就是源文件)

>>> shutil.make_archive('tarball','gztar',root_dir='copytree_test')
[root@slyoyo python_test]# ls -l
total 12
drwxr-xr-x. 3 root  root  4096 May 14 19:36 copytree_copy
drwxr-xr-x. 3 root  root  4096 May 14 19:36 copytree_test
-rw-r--r--. 1 root  root   0 May 14 21:12 tarball.tar.gz
-rw-r--r--. 1 python python  79 May 14 05:17 test1
-rw-r--r--. 1 root  root   0 May 14 19:10 test2
时间: 2016-07-03

Python复制文件操作实例详解

本文实例讲述了Python复制文件操作用法.分享给大家供大家参考,具体如下: 这里用python实现了一个小型的自动发版本的工具.这个"自动发版本"有点虚, 只是简单地把debug 目录下的配置文件复制到指定目录,把Release下的生成文件复制到同一指定,过滤掉不需要的文件夹(.svn),然后再往这个指定目录添加几个特定的文件. 这个是我的第一个python小程序. 下面就来看其代码的实现. 首先插入必要的库: import os import os.path import shut

python基础_文件操作实现全文或单行替换的方法

python修改文件时,使用w模式会将原本的文件清空/覆盖.可以先用读(r)的方式打开,写到内存中,然后再用写(w)的方式打开. 1.替换文本中的taste 为 tasting Yesterday when I was young 昨日当我年少轻狂 The taste of life was sweet 生命的滋味是甜的 As rain upon my tongue #将文件读取到内存中 with open("./fileread.txt","r",encoding

python 文件操作删除某行的实例

使用continue跳过本次写循环就可以了 #文本内容 Yesterday when I was young 昨日当我年少轻狂 The tasting of life was sweet 生命的滋味是甜的 As rain upon my tongue tasting I lived by night and shunned the naked light of day tasting123 And only now I see how the time ran away tasting tast

详解Python中的文件操作

1.能调用方法的一定是对象,比如数值.字符串.列表.元组.字典,甚至文件也是对象,Python中一切皆为对象. str1 = 'hello' str2 = 'world' str3 = ' '.join([str1,str2]) print(str3) 2.三种基本的文件操作模式:r(only-read).w(only-write).a(append) 对文件进行操作的流程: 第一,建立文件对象. 第二,调用文件方法进行操作. 第三,不要忘了关闭文件.(文件不关闭的情况下,内容会放在缓存,虽然P

Python3中简单的文件操作及两个简单小实例分享

前言 首先介绍一下什么叫做相对路径和绝对路径,我们程序狗家族想必都是懂这个的,但是难免会有童鞋忘记.所以码出来供大家快速回忆一下. 相对路径 相对路径是相对于文件当前的工作路径而言的 绝对路径 绝对路径是由文件名和它的完整路径以及驱动器字母组成的,如果是Windows系统,那么某一个文件的绝对路径可能是: c:\pythonworkspace\firstpy.py 在Unix平台上,文件的绝对路径可能是: /home/sherlockblaze/Documents/pythonworkspace

Python字符串和文件操作常用函数分析

本文实例分析了Python字符串和文件操作常用函数.分享给大家供大家参考.具体如下: # -*- coding: UTF-8 -*- ''' Created on 2010-12-27 @author: sumory ''' import itertools def a_containsAnyOf_b(seq,aset): '''判断seq中是否含有aset里的一个或者多个项 seq可以是字符串或者列表 aset应该是字符串或者列表''' for item in itertools.ifilte

Python 文件操作的详解及实例

Python 文件操作的详解及实例 一.文件操作 1.对文件操作流程 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 现有文件如下: 昨夜寒蛩不住鸣. 惊回千里梦,已三更. 起来独自绕阶行. 人悄悄,帘外月胧明. 白首为功名,旧山松竹老,阻归程. 欲将心事付瑶琴. 知音少,弦断有谁听. f = open('小重山') #打开文件 data=f.read()#获取文件内容 f.close() #关闭文件 注意:if in the win,hello文件是utf8保存的,打

Python文件操作,open读写文件,追加文本内容实例

1.open使用open打开文件后一定要记得调用文件对象的close()方法.比如可以用try/finally语句来确保最后能关闭文件. file_object = open('thefile.txt') try: all_the_text = file_object.read( ) finally: file_object.close( ) 注:不能把open语句放在try块里,因为当打开文件出现异常时,文件对象file_object无法执行close()方法. 2.读文件读文本文件input

Python 文件操作之读取文件(read),文件指针与写入文件(write),文件打开方式示例

本文实例讲述了Python 文件操作之读取文件(read),文件指针与写入文件(write),文件打开方式.分享给大家供大家参考,具体如下: demo.py(读取文件): # 1. 打开文件 file = open("readme.txt") # 文件不存在会抛异常. 默认以只读方式打开 # with open("readme.txt") as file: # 这种方式,会自动close()释放资源 # 2. 读取文件内容 text = file.read() #

python 实现在txt指定行追加文本的方法

如下所示: fp = file('data.txt') lines = [] for line in fp: lines.append(line) fp.close() lines.insert(1, 'a new line') # 在第二行插入 s = '\n'.join(lines) fp = file('data.txt', 'w') fp.write(s) fp.close() 以上这篇python 实现在txt指定行追加文本的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也

python列表操作之extend和append的区别实例分析

本文实例讲述了python列表操作之extend和append的区别.分享给大家供大家参考.具体如下: li = ['a', 'b', 'c'] li.extend(['d', 'e', 'f']) print li print len(li) print li[-1] li = ['a', 'b', 'c'] li.append(['d', 'e', 'f']) print li print len(li) print li[-1] 运行结果如下: ['a', 'b', 'c', 'd', '

jquery动态增加text元素以及删除文本内容实例代码

这段代码是通过jquery动态增加限定数额的text(本例为5个) ,以及清除文本内容,用到了after()方法追加元素. <!--以下为script代码开始--> 复制代码 代码如下: <script> $(document).ready(function(){ var spotMax = 5;//限定添加text元素的总个数 var afterId = 0;//要追加元素的id var newId=1;//新生成text的id if($('table#vote').size()

Python遍历文件夹和读写文件的实现代码

需 求 分 析 1.读取指定目录下的所有文件 2.读取指定文件,输出文件内容 3.创建一个文件并保存到指定目录 实 现 过 程 Python写代码简洁高效,实现以上功能仅用了40行左右的代码~ 昨天用Java写了一个写入.创建.复制.重命名文件要将近60行代码: 不过简洁的代价是牺牲了一点点运行速度,但随着硬件性能的提升,运行速度的差异会越来越小,直到人类无法察觉~ #-*- coding: UTF-8 -*- ''' 1.读取指定目录下的所有文件 2.读取指定文件,输出文件内容 3.创建一个文

Python遍历文件夹和读写文件的实现方法

需 求 分 析 1.读取指定目录下的所有文件 2.读取指定文件,输出文件内容 3.创建一个文件并保存到指定目录 实 现 过 程 Python写代码简洁高效,实现以上功能仅用了40行左右的代码~ 昨天用Java写了一个写入.创建.复制.重命名文件要将近60行代码: 不过简洁的代价是牺牲了一点点运行速度,但随着硬件性能的提升,运行速度的差异会越来越小,直到人类无法察觉~ #-*- coding: UTF-8 -*- ''' 1.读取指定目录下的所有文件 2.读取指定文件,输出文件内容 3.创建一个文

C# 文件操作函数 创建文件 判断存在

文件创建: 复制代码 代码如下: File.Create(Application.StartupPath + "\\AlarmSet.txt");//创建该文件 System.IO.Path.GetFileName(filePath)       //返回带扩展名的文件名 System.IO.Path.GetFileNameWithoutExtension(filePath)     //返回不带扩展名的文件名 System.IO.Path.GetDirectoryName(fileP

Python常见读写文件操作实例总结【文本、json、csv、pdf等】

本文实例讲述了Python常见读写文件操作.分享给大家供大家参考,具体如下: 读写文件 读写文件是最常见的IO操作,python内置了读写文件的函数,用法和c是兼容的. 读写文件前,我们必须了解一下,在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以读写文件就是请求操作系统打开一个文件对象(文件描述),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件). 1.读文件 要以读文件的模式打开一个文件对象,使用p

Python文件操作类操作实例详解

本文讲述了Python文件操作类的操作实例,详细代码如下: #!/usr/bin/env python #!/usr/bin/env python #coding:utf-8 # Purpose: 文件操作类 #声明一个字符串文本 poem=''' Programming is fun测试 When the work is done if you wanna make your work also fun: use Python! ''' #创建一个file类的实例,模式可以为:只读模式('r'