Oracle LogMiner的使用实例代码

LogMiner介绍

LogMiner是用于Oracle日志挖掘的利器。

百科解释:

LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重做日志文件(归档日志文件)中的具体内容,LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成,它作为Oracle数据库的一部分来发布,是oracle公司提供的一个完全免费的工具。

本文主要演示LogMiner的使用,直观展示LogMiner的作用。

环境:Oracle 11.2.0.4 RAC

1.查询当前日志组

使用sys用户查询Oracle数据库的当前日志组:

--1.current log
SQL> select * from v$log;

 GROUP# THREAD# SEQUENCE#  BYTES BLOCKSIZE MEMBERS ARC STATUS   FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME
---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- ------------ ------------ ------------
   1   1   29 52428800  512   2 YES INACTIVE    1547838 25-JUN-17   1547840 25-JUN-17
   2   1   30 52428800  512   2 NO CURRENT    1567897 27-JUN-17  2.8147E+14 27-JUN-17
   3   2   25 52428800  512   2 NO CURRENT    1567902 27-JUN-17  2.8147E+14
   4   2   24 52428800  512   2 YES INACTIVE    1567900 27-JUN-17   1567902 27-JUN-17

这里当前日志(current)是:

thread 1 sequence 30

thread 2 sequence 25

2.业务用户插入操作

模拟业务用户jingyu插入T2表数据:

--2.业务用户插入操作
sqlplus jingyu/jingyu@jyzhao
SQL> select count(1) from t2;

 COUNT(1)
----------
   0

SQL> insert into t2 select rownum, rownum, rownum, dbms_random.string('b',50) from dual connect by level <= 100000 order by dbms_random.random;
commit;

100000 rows created.

SQL>
Commit complete.
SQL> select count(1) from t2;

 COUNT(1)
----------
 100000

3.归档日志切换

为了区分每个日志的不同操作,这里对数据库进行手工归档切换,模拟现实中实际的归档切换。

--3.模拟归档日志切换
SQL> alter system archive log current;

System altered.

SQL> select * from v$log;

 GROUP# THREAD# SEQUENCE#  BYTES BLOCKSIZE MEMBERS ARC STATUS   FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME
---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- ------------ ------------ ------------
   1   1   31 52428800  512   2 NO CURRENT    1572517 27-JUN-17  2.8147E+14
   2   1   30 52428800  512   2 YES ACTIVE     1567897 27-JUN-17   1572517 27-JUN-17
   3   2   25 52428800  512   2 YES ACTIVE     1567902 27-JUN-17   1572521 27-JUN-17
   4   2   26 52428800  512   2 NO CURRENT    1572521 27-JUN-17  2.8147E+14

4.业务用户插入操作

模拟业务用户jingyu删除T2表部分数据:

--4.业务用户删除操作

SQL> delete from t2 where id < 10000;

9999 rows deleted.

SQL> commit;

Commit complete.

SQL> select count(1) from t2;

 COUNT(1)
----------
  90001

5.归档日志切换

为了区分每个日志的不同操作,这里对数据库进行手工归档切换,模拟现实中实际的归档切换。

--5.模拟归档日志切换
SQL> alter system archive log current;

System altered.

SQL> select * from v$log;

 GROUP# THREAD# SEQUENCE#  BYTES BLOCKSIZE MEMBERS ARC STATUS   FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME
---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- ------------ ------------ ------------
   1   1   31 52428800  512   2 YES ACTIVE     1572517 27-JUN-17   1574293 27-JUN-17
   2   1   32 52428800  512   2 NO CURRENT    1574293 27-JUN-17  2.8147E+14
   3   2   27 52428800  512   2 NO CURRENT    1574296 27-JUN-17  2.8147E+14
   4   2   26 52428800  512   2 YES ACTIVE     1572521 27-JUN-17   1574296 27-JUN-17

6.业务用户更新操作

模拟业务用户jingyu更新T2表部分数据:

--6.业务用户更新操作
SQL> update T2 SET contents = 'xxx' where id > 99998;

2 rows updated.

SQL> commit;

Commit complete.

7.归档日志切换

为了区分每个日志的不同操作,这里对数据库进行手工归档切换,模拟现实中实际的归档切换。

--7.模拟归档日志切换
SQL> alter system archive log current;

System altered.

SQL> select * from v$log;

 GROUP# THREAD# SEQUENCE#  BYTES BLOCKSIZE MEMBERS ARC STATUS   FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME
---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- ------------ ------------ ------------
   1   1   33 52428800  512   2 NO CURRENT    1575480 27-JUN-17  2.8147E+14
   2   1   32 52428800  512   2 YES ACTIVE     1574293 27-JUN-17   1575480 27-JUN-17
   3   2   27 52428800  512   2 YES ACTIVE     1574296 27-JUN-17   1575458 27-JUN-17
   4   2   28 52428800  512   2 NO CURRENT    1575458 27-JUN-17  2.8147E+14

8.确认需要分析的日志

确认之后需要使用LogMiner分析的日志:

--8.确认需要分析的日志
thread# 1 sequence# 30
thread# 2 sequence# 25
这部分日志肯定是有记录插入操作

thread# 1 sequence# 31
thread# 2 sequence# 26
这部分日志肯定是有记录删除操作

thread# 1 sequence# 32
thread# 2 sequence# 27
这部分日志肯定是有记录更新操作

9.备份归档日志

将相关的归档都copy备份出来:

--9. 将相关的归档都copy备份出来
RUN {
allocate channel dev1 device type disk format '/tmp/backup/arc_%h_%e_%t';

backup as copy archivelog sequence 30 thread 1;
backup as copy archivelog sequence 31 thread 1;
backup as copy archivelog sequence 32 thread 1;
backup as copy archivelog sequence 25 thread 2;
backup as copy archivelog sequence 26 thread 2;
backup as copy archivelog sequence 27 thread 2;

release channel dev1;
}

备份出来的归档日志文件如下:

[oracle@jyrac1 backup]$ ls -lrth
total 17M
-rw-r----- 1 oracle asmadmin 2.3M Jun 27 21:50 arc_1_30_947800247
-rw-r----- 1 oracle asmadmin 591K Jun 27 21:50 arc_1_31_947800249
-rw-r----- 1 oracle asmadmin 143K Jun 27 21:50 arc_1_32_947800250
-rw-r----- 1 oracle asmadmin 9.5M Jun 27 21:50 arc_2_25_947800251
-rw-r----- 1 oracle asmadmin 3.6M Jun 27 21:50 arc_2_26_947800253
-rw-r----- 1 oracle asmadmin 77K Jun 27 21:50 arc_2_27_947800254

10.使用LogMiner分析

使用LogMiner分析归档日志:

--使用LogMiner分析归档日志
--应该有插入操作的日志
begin
 dbms_logmnr.add_logfile('/tmp/backup/arc_1_30_947800247');
 dbms_logmnr.add_logfile('/tmp/backup/arc_2_25_947800251');
 dbms_logmnr.start_logmnr(Options=>dbms_logmnr.dict_from_online_catalog);
end;
/

--应该有删除操作的日志
begin
 dbms_logmnr.add_logfile('/tmp/backup/arc_1_31_947800249');
 dbms_logmnr.add_logfile('/tmp/backup/arc_2_26_947800253');
 dbms_logmnr.start_logmnr(Options=>dbms_logmnr.dict_from_online_catalog);
end;
/

--应该有更新操作的日志
begin
 dbms_logmnr.add_logfile('/tmp/backup/arc_1_32_947800250');
 dbms_logmnr.add_logfile('/tmp/backup/arc_2_27_947800254');
 dbms_logmnr.start_logmnr(Options=>dbms_logmnr.dict_from_online_catalog);
end;
/

查询v$logmnr_contents

set lines 180 pages 500
col username format a8
col sql_redo format a50
select username,scn,timestamp,sql_redo from v$logmnr_contents where table_name='T2';
select username,scn,timestamp,sql_redo from v$logmnr_contents where username='JINGYU';

select username,scn,timestamp,sql_redo from v$logmnr_contents where sql_redo like '%JINGYU%';

select username,scn,timestamp,sql_redo from v$logmnr_contents where sql_redo like 'insert%JINGYU%';
select username,scn,timestamp,sql_redo from v$logmnr_contents where sql_redo like 'delete%JINGYU%';
select username,scn,timestamp,sql_redo from v$logmnr_contents where sql_redo like 'update%JINGYU%';

实验发现,以username为条件无法查询到相关记录,最终确认username都是unknown而不是真正执行语句的业务用户jingyu。

而挖掘出的日志sql_redo这个字段是完整的SQL,可以采用like的方式查询,比如我分析更新操作的日志,就可以得到下面这样的结果:

SQL> --应该有更新操作的日志
SQL> begin
 2  dbms_logmnr.add_logfile('/tmp/backup/arc_1_32_947800250');
 3  dbms_logmnr.add_logfile('/tmp/backup/arc_2_27_947800254');
 4  dbms_logmnr.start_logmnr(Options=>dbms_logmnr.dict_from_online_catalog);
 5 end;
 6 /

PL/SQL procedure successfully completed.

SQL> select count(1) from v$logmnr_contents;

 COUNT(1)
----------
  388

SQL> select username,scn,timestamp,sql_redo from v$logmnr_contents where username='JINGYU';

no rows selected

SQL> select username,scn,timestamp,sql_redo from v$logmnr_contents where sql_redo like '%JINGYU%';

USERNAME        SCN TIMESTAMP
------------------------------ ---------- ------------
SQL_REDO
--------------------------------------------------------------------------------
UNKNOWN       1575420 27-JUN-17
update "JINGYU"."T2" set "CONTENTS" = 'xxx' where "CONTENTS" = 'YSWGNNLCLMYWPSLQ
ETVLGQJRKQIEAMOEYUFNRUQULVFRVPEDRV' and ROWID = 'AAAVWVAAGAAAAHnABj';

UNKNOWN       1575420 27-JUN-17
update "JINGYU"."T2" set "CONTENTS" = 'xxx' where "CONTENTS" = 'WHCWFOZVLJWHFWLJ
DNVSMQTORGJFFXYADIOJZWJCDDOYXAOQJG' and ROWID = 'AAAVWVAAGAAAAOYAAE';

SQL> 

至此,LogMiner基本的操作实验已完成。

附:与LogMiner有关的一些操作命令参考:

conn / as sysdba
--安装LOGMINER
@$ORACLE_HOME/rdbms/admin/dbmslmd.sql;
@$ORACLE_HOME/rdbms/admin/dbmslm.sql;
@$ORACLE_HOME/rdbms/admin/dbmslms.sql;
@$ORACLE_HOME/rdbms/admin/prvtlm.plb;

--停止logmnr
exec dbms_logmnr.end_logmnr

--查询附加日志开启情况:
select supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_ui from v$database; 

--开启附加日志
alter database add supplemental log data;

--取消补充日志
alter database drop supplemental log data (primary key) columns;
alter database drop supplemental log data (unique) columns;
alter database drop supplemental log data;

--最后一个即为新的归档
select name,dest_id,thread#,sequence# from v$archived_log; 

最后确认如果开启了附加日志,username就可以捕获到正确的值:

SQL> set lines 180
SQL> /

 GROUP# THREAD# SEQUENCE#  BYTES BLOCKSIZE MEMBERS ARC STATUS   FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME
---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- ------------ ------------ ------------
   1   1   35 52428800  512   2 YES INACTIVE    1590589 27-JUN-17   1591935 27-JUN-17
   2   1   36 52428800  512   2 NO CURRENT    1591935 27-JUN-17  2.8147E+14
   3   2   29 52428800  512   2 YES INACTIVE    1590594 27-JUN-17   1591938 27-JUN-17
   4   2   30 52428800  512   2 NO CURRENT    1591938 27-JUN-17  2.8147E+14

1,36
2,30
SQL> update t2 set contents =
 2 'aaa' where id = 44449;

1 row updated.

SQL> commit;

Commit complete.

RUN {
allocate channel dev1 device type disk format '/tmp/backup/arc_%h_%e_%t';

backup as copy archivelog sequence 36 thread 1;
backup as copy archivelog sequence 30 thread 2;

release channel dev1;
}

begin
 dbms_logmnr.add_logfile('/tmp/backup/arc_1_36_947808116');
 dbms_logmnr.add_logfile('/tmp/backup/arc_2_30_947808118');
 dbms_logmnr.start_logmnr(Options=>dbms_logmnr.dict_from_online_catalog);
end;
/

SQL> select username,scn,timestamp,sql_redo from v$logmnr_contents where username='JINGYU';

USERNAME        SCN TIMESTAMP
------------------------------ ---------- ------------
SQL_REDO
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
JINGYU       1593448 27-JUN-17
set transaction read write;

JINGYU       1593448 27-JUN-17
update "JINGYU"."T2" set "CONTENTS" = 'aaa' where "CONTENTS" = 'WZTSQZWYOCNDFKSMNJQLOLFUBRDOHCBMKXBHAPJSHCMWBYZJVH' and ROWID = 'AAAVWVAAGAAAACLAAL';

JINGYU       1593450 27-JUN-17
commit;

可以看到,开启了附加日志,就可以正常显示username的信息了。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对我们的支持。

时间: 2017-07-08

浅谈LogMiner的使用方法

Logminer是每个Dba都应熟悉的工具,当一天由于用户的误操作你需要做不完全的恢复时,由于你无法确定这个操作是哪个时间做的,所以这对你的恢复就带来的很大的难度,丢失的数据也不能完全恢复回来.而LogMiner就可以帮你确定这个误操作的准确时间. 我的测试环境是Aix4.3.3的操作系统,Oracle9.2.0.3的测试库. 一.LogMiner的几点说明 1.LogMiner可以帮你确定在某段时间所发的各种DML,DDL操作的具体时间和SCN号,它所依据的是归档日志文件及联机日志文件. 2.

理解和使用Oracle 8i分析工具LogMiner

正在看的ORACLE教程是:理解和使用Oracle 8i分析工具LogMiner.Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重作日志文件(归档日志文件)中的具体内容,特别是,该工具可以分析出所有对于数据库操作的DML(insert.update.delete等)语句,另外还可分析得到一些必要的回滚SQL语句.该工具特别适用于调试.审计或者回退某个特定的事务. LogMiner分析工具实际上是由一组PL/S

解析Oracle 8i/9i的计划稳定性

正在看的ORACLE教程是:解析Oracle 8i/9i的计划稳定性.由Oralce8.1开始,Oracle增加了一个新的特性就是Stored Outlines,或者称为Plan Stability(计划稳定性).这个特性带来三个好处.首先,你可以优化开销很大的语句的处理.第二,如果有一些语句Oracle需要花费长时间来优化(而不是执行),你可以节省时间并且减少优化阶段的竞争.最后,它可以让你选择使用新的cursor_sharing参数而无需要担心因此而不采用优化的执行路径. 要知道如何使用存储

Oracle 8i字符集乱码问题析及其解决办法

正在看的ORACLE教程是:Oracle 8i字符集乱码问题析及其解决办法.一.问题描述 SQL Plus WorkSheet是一个窗口图形界面的SQL语句编辑器,对于那些喜欢窗口界面而不喜欢字符界面的用户,该工具相对SQL/PLUS受到了很大的欢迎.但从Oracle 8i以后,如果安装Oracle 8i时选取的是别于英语的字符集,对于我们中国,通常会选取简体中文字符集(ZHS16GBK),安装成功后,运行SQL Plus WorkSheet程序,会出现所有的中文显示以及查询结果均为乱码的情况.

.NET Visual Studio 代码性能分析工具

下面通过图文并茂的方式给大家介绍下,具体内容如下: 软件开发中的性能优化对程序员来说是一个非常重要的问题.一个小问题可能成为一个大的系统的瓶颈.但是对于程序员来说,通过自身去优化代码是十分困难的.幸运的是,有一些非常棒的工具可以帮助程序员进行代码分析和性能测试,从而大大简化程序员进行代码性能优化的过程.MSDN杂志2011年7月份曾发布主题为".NET代码分析工具和技术"的那一期,让广大程序员收获颇丰.四年过去之后,这些工具又进一步做出了很多改进,同时也出现了更多的选择.本文对当前主流

php轻量级的性能分析工具xhprof的安装使用

一.前言 有用的东西还是记录下来吧,也方便以后的查询:这次记录一下xhprof的安装使用: xhprof是facebook开源出来的一个php轻量级的性能分析工具,跟Xdebug类似,但性能开销更低, 还可以用在生产环境中,也可以由程序开 关来控制是否进行profile. 二.安装 wget http://pecl.php.net/get/xhprof-0.9.3.tgz tar zxf xhprof-0.9.3.tgz cd xhprof-0.9.3/extension /usr/bin/ph

node.js基础模块http、网页分析工具cherrio实现爬虫

一.前言       说是爬虫初探,其实并没有用到爬虫相关第三方类库,主要用了node.js基础模块http.网页分析工具cherrio. 使用http直接获取url路径对应网页资源,然后使用cherrio分析. 这里我主要学习过的案例自己敲了一遍,加深理解.在coding的过程中,我第一次把jq获取后的对象直接用forEach遍历,直接报错,是因为jq没有对应的这个方法,只有js数组可以调用. 二.知识点     ①:superagent抓去网页工具.我暂时未用到.     ②:cherrio

GO语言实现的http抓包分析工具pproxy介绍

引言 web 开发和 API 开发中难免要详细分析 http 请求和响应信息.web 开发的话,浏览器提供了便利的工具,比如 chrome 和 IE 都带了 develop tool,而 firefox 更是有十分强大的 firebug,可以让 http 请求的所有秘密一览无遗.目前是 app 大流行的时代,想要观察 app 中得 http 请求的秘密,浏览器的工具和插件都无能为力,有不少本地化的软件可以很好的解决这个问题,Windows 平台下有大名鼎鼎的 Fiddler 和 HttpWatc

Oracle 8i在P4上的安装

正在看的ORACLE教程是:Oracle 8i在P4上的安装.方法一: 1.将ORACLE软件拷贝到硬盘. 2.将 硬盘目录文件stageComponentsoracle.swd.jre1.1.7.30/1 DataFilesExpandedjrewin32binsymcjit.dll 的文件改名为 symcjit.old 3.从installwin32 目录下运行SETUP.exe 文件进行安装. 前提是:机器上没有装过Oracle产品.如有的话请先卸载,再将注册表中Oracle项删除. 方法

PHP调试及性能分析工具Xdebug详解

程序开发过程中,一般用得最多的调试方法就是用echo.print_r().var_dump().printf()等将语句打印出来.对PHP脚本的执行效率,通常是脚本执行时间.对数据库SQL的效率,通常是数据库Query时间,但这样并不能真正定位和分析脚本执行和数据库查询的瓶颈所在?对此,有一个叫Xdebug(www.xdebug.org)的PHP程序调试器(即一个Debug工具),可以用来跟踪,调试和分析PHP程序的运行状况. 一.以windows平台对此模块的安装做简单的介绍: 1. 下载PH

PHP性能分析工具XHProf安装使用教程

HProf是facebook开源出来的一个php轻量级的性能分析工具,跟Xdebug类似,但性能开销更低,还可以用在生产环境中,也可以由程序开关来控制是否进行profile.基于浏览 器的性能分析用户界面能更容易查看,或是与同行们分享成果.也能绘制调用关系图.在数据收集阶段,它记录调用次数的追踪和包容性的指标弧在动态callgraph的一个程序. 它独有的数据计算的报告/后处理阶段.在数据收集时,XHProfd通过检测循环来处理递归的函数调用,并通过给递归调用中每个深度的调用一个有用的命名来避开