Oracle 管道 解决Exp/Imp大量数据处理问题

先由exp把数据卸出到文件系统, 产生一个.dmp文件, 然后必要时再由imp将数据装入数据库. 对于一般中小型数据库来说, 全数据库的exp所产生的dmp文件可能小于2GB, 但对稍大型的数据库, exp产生的数据动辄数十至上百个GB. 而现时多数操作系统为32位, 其文件系统允许的最大文件为2GB. 这样显然不能由文件系统存放exp产生的数据. 这是问题之一. 另一个问题是随着数据库的不断增大, exp所需时间越来越长以致实际上很难实施. 本文针对以上两个问题讨论相应对策.

我们以UNIX为例首先看看怎么样超越2GB限制. 这需利用UNIX的通用技术, 如管道(named pipe), 数据拷贝工具dd以及数据压缩(compress). 下面分别讨论这几种技术.

·管道 是一种伪文件. 它存在于内存中, 用于快速I/O操作. 管道的缓冲区采用先进先出机制, 即写管道进程写到缓冲区头部而读管道进程读取管道尾部. 建立管道的命令为”mknod filename p".
·dd 允许我们从一个设备拷贝数据到另一个设备.
·compress 为UNIX数据压缩工具.
实施exp之前, 我们可先检查所产生dmp文件的大小. 以下步骤既可实现,
1. 生成管道:
$ mknod /tmp/mypipe p
2. exp结果输出到该管道
$ exp file=/tmp/mypipe <...其它exp选项> &
3. 读取管道并把结果输出到管道, 只为查看数据量:
$ dd if=/tmp/mypipe of=/dev/null
结果返回exp (.dmp)文件大小, 单位为块(512 bytes).
现在我们可以着手讨论具体方法,
1. 文件压缩
2. 直接exp到磁带
3. 综合方法
首先看文件压缩方法. 利用文件压缩我们可尽量避免dmp文件大小超过2GB限制. 我们利用UNIX的管道技术, 具体步骤如下,
1. 启动compress进程, 使之从管道读取数据并输出到磁盘文件.
$ mknod /tmp/exp_pipe p
$ compress < /tmp/exp_pipe > export.dmp.Z &
2. exp到管道.
$ exp file=/tmp/exp_pipe ... &
imp时情况类似.
再看看直接exp到磁带上的方法.
$ exp file=/dev/rmt/0m volsize=4G
$ imp file=/dev/rmt/0m volsize=4G
最后看看exp到裸设备上的方法,
$ exp file=/dev/rdsk/c0t3d0s0 volsize=4G
imp类似.以上方法都可使我们避免2GB限制.
下面讨论怎么样缩短exp索需时间的问题. 目前多数用户会采用exp到磁带的方法只因没有足够的剩余硬盘空间. 而整个exp过程所花时间的大部分都在写磁带上. 通过我们上面对UNIX工具的讨论, 我们可以做到先exp到管道, 再将管道数据压缩后输出到磁带上. 这样写磁带的数据量可大大减少, 从而在相当程度上缩短写磁带时间. 另外从Oracle内部角度讲, 从7.3版开始, Oracle允许用户做direct path export, 即跳过Oracle
$ make -f $ORACLE_HOME/rdbms/lib/oracle.mk expst
$ make -f $ORACLE_HOME/rdbms/lib/oracle.mk impst
以上步骤产生的可执行文件expst (exp single task)和impst与exp/imp用法完全相同. 使用它们比使用exp/imp可节省多至30%的时间. 但在使用它们时千万要注意一点, 即一定要保证在使用expst/impst时不能有任何其他用户在使用Oracle数据库, 否则数据库会产生不可预知的后果甚至毁坏.
A：昨天在网上一个朋友问我，如何导入一个通过pipe导出并压缩过的文件，我特意做了一次试验：
　　Oracle的导出和导入不能直接引用标准的输出和输入，但通过unix pipe可是实现,通过管道可以加快exp/imp速度
　　通过管道导出数据
　　1.通过mknod -p建立管道
　　mknod /home/exppipe p --在目录/home下建立一个管道exppipe 注意参数p
　　2.通过exp和gzip导出数据到建立的管道并压缩
　　exp test/test@orcl file=/home/exppipe &
　　gzip < /home/exppipe > exp.dmp.gz
　　3.导出成功完成之后删除建立的管道
　　rm -rf /home/exppipe
　　根据我的测试，压缩导出文件只是普通大小的十分之一
　　通过管道导入生成的文件
　　1.建立管道
mknod /home/exppipe p
　　2.导入生成的压缩文件
　　imp system/passwd@orcl file=/home/exppipe fromuser=test touser=macro &
　　gunzip < exp.dmp.gz > /home/exppipe
　　这样就导入成功，之后删除管道
　　3.删除管道
　
　　rm /home/exppipe
　　以上总结，PiPe真不错，能加快速度，同时还可以避免单个文件大于2G的限制。

赞 (0)

相关推荐

  • Oracle 数据库导出(exp)导入(imp)说明

    buffer:下载数据缓冲区,以字节为单位,缺省依赖操作系统 consistent:下载期间所涉及的数据保持read only,缺省为n direct:使用直通方式 ,缺省为n feeback:显示处理记录条数,缺省为0,即不显示 file:输出文件,缺省为expdat.dmp filesize:输出文件大小,缺省为操作系统最大值 indexes:是否下载索引,缺省为n,这是指索引的定义而非数据,exp不下载索引数据 log:log文件,缺省为无,在标准输出显示 owner:指明下载的用户名 q

  • Oracle EXP和IMP用法和介绍

    正在看的ORACLE教程是:OracleEXP和IMP用法和介绍. 1.Export/Import的用处      Oracle  Export/Import工具用于在数据库之间传递数据.      Export从数据库中导出数据到dump文件中      Import从dump文件中到入数据导数据库中      下面是一般使用他们的情况      (1).两个数据库之间传送数据                      同一个版本的oracle  Server之间               

  • oracle中exp,imp的使用详解

    基本语法和实例:      1.EXP:       有三种主要的方式(完全.用户.表)       1.完全:           EXP SYSTEM/MANAGER BUFFER=64000 FILE=C:\FULL.DMP FULL=Y           如果要执行完全导出,必须具有特殊的权限       2.用户模式:           EXP SONIC/SONIC    BUFFER=64000 FILE=C:\SONIC.DMP OWNER=SONIC           这

  • Oracle 管道 解决Exp/Imp大量数据处理问题

    先由exp把数据卸出到文件系统, 产生一个.dmp文件, 然后必要时再由imp将数据装入数据库. 对于一般中小型数据库来说, 全数据库的exp所产生的dmp文件可能小于2GB, 但对稍大型的数据库, exp产生的数据动辄数十至上百个GB. 而现时多数操作系统为32位, 其文件系统允许的最大文件为2GB. 这样显然不能由文件系统存放exp产生的数据. 这是问题之一. 另一个问题是随着数据库的不断增大, exp所需时间越来越长以致实际上很难实施. 本文针对以上两个问题讨论相应对策. 我们以UNIX为

  • 在Oracle网络结构解决连接问题

    正在看的ORACLE教程是:在Oracle网络结构解决连接问题.最近看到好多人说到tns或者数据库不能登录等问题,就索性总结了下面的文档. 首先来说Oracle的网络结构,往复杂处说能加上加密.LDAP等等..这里不做讨论,重点放在基本的网络结构也就是我们最常用的这种情况 三个配置文件 listener.ora.sqlnet.ora.tnsnames.ora ,都是放在$ORACLE_HOME\network\admin目录下. 重点:三个文件的作用和使用 #------------------

  • 详解oracle管道函数的用法(一行拆为多行)

    oracle管道函数是一类特殊的函数,oracle管道函数返回值类型必须为集合 如果需要在客户端实时的输出函数执行过程中的一些信息,在oracle9i以后可以使用管道函数(pipeline function). 关键字PIPELINED表明这是一个oracle管道函数,oracle管道函数的返回值类型必须为集合 --创建一个集合接受返回的值 1st.create or replace type type_split as table of varchar2(4000); --创建管道函数 cre

  • 解决Java 结构化数据处理开源库 SPL的问题

    目录 前言介绍: 1. 集合运算能力 2.Lambda语法 3. 在Lambda语法中直接引用字段 4. 动态数据结构 5. 解释型语言 前言介绍: 现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性.可扩展性以及可移植性,比如火热的微服务就是一种典型.这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中. 应用中的业务逻辑大都会涉及结构化数据处理.数据库(SQL)中对这类任务有较丰富的支持,可以相对简易地实现业务逻辑.但Java却一直缺乏这类基

  • Postgresql源码分析returns setof函数oracle管道pipelined

    目录 引言 [功能] [代码] [实用函数] 1 :管道函数是什么,应用于什么场景 2 return next实现 具体处理函数:exec_stmt_return_next 1 初始化tuple store 场景一:return next返回var类型 场景二:return next返回record类型 场景三:return next返回row类型 3 用例 引言 [功能] Oracle的return pipelined管道函数可以使一次返回的集合类型,变为 逐条返回pipe row(集合中的一

  • 如何利用Oracle命令解决函数运行错误

    如何利用Oracle命令解决函数运行错误

    1 问题 自定义了一个 Oracle 函数.编译正常:使用 PL/SQL Developer 的 Test 窗口模式,测试通过.但 Java 直接调用失败:使用 PL/SQL Developer 的 SQL 窗口模式,执行失败. 没有有效的错误提示信息. 2 分析 肯定是函数本身有问题,我们要使用有效的工具来定位出问题. 在 Oracle 函数中,加入异常处理. 异常处理 (EXCEPTION)  可用来处理正常执行过程中未预料的事件.如果 PL/SQL 程序块产生异常,但没有指定如何处理时 ,

  • ORACLE 正则解决初使化数据格式不一致

    如: 2000-1-1==> 2000-01-01.2000-01-1==>2000-01-01.2000-1-01==>2000-01-01 以前会写一个function/procedure之类的脚本,大量的IF ELSE... 今次无意中发现oracle10g已经支持正则功能,上述问题也就迎刃而解了.. 复制代码 代码如下: UPDATE LZ__EQ_RHGL LZRH SET LS__SP_GHTIME = SUBSTR(LZ__SP_GHTIME, 1, 5) || '0' |

  • Oracle数据库ORA-12560错误问题的解决办法

    官网中关于ORA-12560的解释: ORA-12560: TNS:protocol adapter error Cause: A generic protocol adapter error occurred. Action: Check addresses used for proper protocol specification. Before reporting this error, look at the error stack and check for lower level

随机推荐