Shell文本处理三剑客之sed的使用

sed 是 stream editor 的缩写,流编辑器,主要用于对标准输出或文件进行处理。

语法:

stdout | sed [option] "pattern command"
sed [option] "pattern command" file1

常用选项(option)

# -n 只打印静默模式匹配行,而不输出原行
# p 是打印命令
➜ sed '/hello/p' helloWorld.sh
#!/bin/bash

HELLO bash
echo "hello world"
echo "hello world"
➜ sed -n '/hello/p' helloWorld.sh
echo "hello world"

# -e 追加一组编辑命令
➜ sed -n -e '/hello/p' -e '/HELLO/p' helloWorld.sh
HELLO bash
echo "hello world"

# -f 把所有编辑命令保存在文件中,适用于复杂编辑操作
➜ cat edit.sed
/hello/p
➜ sed -n -f edit.sed hello.md

# -E (或 -r)支持扩展正则表达式
➜ sed -n -E '/hello|HELLO/p' helloWorld.sh
HELLO bash
echo "hello world"

# -i 直接修改源文件内容
# s 是替换命令
# 这里是吧 helloWorld.sh 文件中所有的 hello 改为 hello123
sed -n -i 's/hello/hello123/g' helloWorld.sh

匹配模式(pattern)

匹配模式 说明
10command 第 10 行
10,20command 第 10 到 20 行
10,+5command 第 10 到 16 行
/pattern1/command 匹配 pattern1 对应的行
/pattern1/,/pattern2/command 从 pattern1 对应的行开始,到 pattern2 的行
10,/pattern1/command 从第 10 行开始,到 pattern1 的行
/pattern1/,10command 从 pattern1 对应的行开始,到第 10 行

常用编辑命令(command)

查询

  • p 打印匹配的内容

增加

  • a string 行后追加
  • i string 行前追加
  • r file 从外部文件读入,在匹配的行后追加
  • w newfile 将匹配的行写入外部文件

删除

  • d 删除

修改

  • s/old/new 替换行内第一个 old 为 new
  • s/old/new/g 行内所有 old 替换为 new
  • s/old/new/2g 从第 2 行开始到文件末尾的所有 old 替换为 new
  • s/old/new/ig 行内所有 old 替换为 new,忽略大小写

示例:

# 删除以 sys 开头、并且以/sbin/nologin 结尾的行
➜ sed -i '/^sys.*\/sbin\/nologin$/d' passwd_bak

# 删除注释行、空行
sed -i '/[:blank:]*#/d;/^$/d' passwd_bak

# 查找在以 vagrant 开头的行,下一行追加内容
➜ sed -i '/^vagrant/a 这是追加的一行内容' passwd_bak

# 把所有的 root 替换为 root123
➜ sed -i 's/root/root123/ig' passwd_bak

# 在所有以 sys 开头、以 nologin 结尾的行,尾部追加 _666
# 其中 & 表示前面正则匹配到的内容
➜ sed -i 's/^sys.*nologin$/&_666/g' passwd_bak

# 把所有以 sys 开头、以 nologin_666 结尾的行 改为
# 以 SYS_ 开头、以 _777 结尾,其中 \1 表示前面括号中匹配的中间部分内容
➜ sed -i 's/^sys\(.*\)nologin_666$/SYS_\1_777/g' passwd_bak

# 把 1 ~ 10 行所有的 sys 改为 SYS
➜ sed -i '1,10s/sys/SYS/ig' passwd_bak

# 统计 my.cnf 文件中 mysqld 的子配置项数量
# sed 查找从 [mysqld] 到 下一个[.*] 之间的行
# grep -v 过滤注释、空行和 [.*] 行
# wc -l 统计最后的行数
sed -n "/^\[mysqld\]$/,/^\[.*\]$/p" /etc/my.cnf | grep -Ev '^$|[#;]|^\[.*' | wc -l

注意:如果匹配模式中存在变量,则建议使用双引号,如 sed -i "s/$OLD_STR/$NEW_STR/g" passwd_bak

到此这篇关于Shell文本处理三剑客之sed的使用的文章就介绍到这了,更多相关Shell文本处理sed内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

时间: 2020-10-15

一天一个shell命令 linux文本内容操作系列-sed命令详解

说明: sed是stream editor(流编辑器)的缩写.它能够完美匹配正则表达式.sed和awk是文件编辑最重要的两个命令了.尤其涉及到了很多正则表达式的问题,笔者不敢也有点犯怵,试着写写. 实例: 1.替换文件中的字符串 $sed -i 's/text/replace/g' file #如果不加g结尾,则替换每一行的第一个 #如果只是打印,去掉-i 2.忽略前N处匹配,从N+1出开始替换 $sed -i 's/text/replace/2g' file #在g前面加入数字N 3.移除空白

Shell正则表达式之grep、sed、awk实操笔记

最近一直在研究shell脚本这块,刚好闲下来整了下自己手头上比较好的资料中的一些范例,以下是我整理的鸟哥私房菜里面正则表达式里面比较基础的一些语法详解,适合新手查阅. 首先先复制一段范例: 复制代码 代码如下: # vi regular_express.txt ------------------------------- "Open Source" is a good mechanism to develop programs. apple is my favorite food.

利用perl、python、php、shell、sed、awk、c 实现字符串的翻转

原题: Q:有a.txt文件,里面内容如下 1234569 abcABCabc 要求使用awk打印出以下结果 987654321 cbaCBAcba A: shell  :[root@vps tmp]# rev a.txt 9654321 cbaCBAcbaperl : [root@vps tmp]# perl -nle 'print scalar reverse $_;' a.txt 9654321 cbaCBAcbaawk: [root@vps tmp]# awk '{num=split($

详解linux下批量替换文件内容的三种方法(perl,sed,shell)

在建设本网站的时候,发现新建了很多的网页,突然发现,每个文件都需要进行修改一样的内容,一个一个打开很是麻烦,所以,总结了一下如何快速修改一个目录下多个文件进行内容替换.第三种方法用的不多 方法一 使用perl ,命令如下: 复制代码 代码如下: find -name '要查找的文件名' | xargs perl -pi -e 's|被替换的字符串|替换后的字符串|g' 方法二 使用sed命令如下: 复制代码 代码如下: sed -i "s/原字符串/新字符串/g" `grep 原字符串

Python 实现简单的shell sed替换功能(实例讲解)

code: f = open('yesterday','r',encoding='utf-8') f2 = open('yesterday.bak','w',encoding='utf-8') old_str = input('请输入要修改的字符:') replace_str = input('请输入替换成的字符:') for line in f.readlines(): line = line.replace(old_str,replace_str) print(line) f2.write(

shell脚本之正则表达式、grep、sed、awk

--正则-- 基础正则 ^word     ##搜索以word开头的 vi/vim中 ^ 一行的开头 word$     ##搜索以word结尾的 vi/vim中 $ 一行的结尾 ^$        ##表示空行 .         ##代表且只能代表任意一个字符 \         ##例:\. 只代表点本身,转义符号,让有特殊身份意义的字符,脱掉马甲,还原 \n        ##换行符 \r        ##匹配回车 \w         ##匹配任意一个字符和数字 *        

Linux shell利用sed如何批量更改文件名详解

前言 本文主要给大家介绍了关于Linux shell用sed批量更改文件名的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 示例 去除特定字符 目标:将 2017-01-01.jpg.2018-01-01.jpg 改为 20170101.jpg.20180101.jpg 方法:将所有 - 替换为空 for file in `ls | grep .jpg` do newfile=`echo $file | sed 's/-//g'` mv $file $newfile

linux shell命令行选项与参数用法详解

问题描述:在linux shell中如何处理tail -n 10 access.log这样的命令行选项?在bash中,可以用以下三种方式来处理命令行参数,每种方式都有自己的应用场景.1,直接处理,依次对$1,$2,...,$n进行解析,分别手工处理:2,getopts来处理,单个字符选项的情况(如:-n 10 -f file.txt等选项):3,getopt,可以处理单个字符选项,也可以处理长选项long-option(如:--prefix=/home等).总结:小脚本手工处理即可,getopt

Python批量更改文件名的实现方法

Python批量更改文件名的实现方法 前言: 由于后台数据有好多,但是文案提供过来的图片命名全部没有按照格式来命名,Python这么强大的语言,肯定是能够处理这个问题的,于是我就写了一个小脚本批量改文件名. 版本相关 操作系统:Mac OS X EI Caption Python版本:2.7 IDE:Sublime 思路 我的思路是这样的,在当前文件下创建一个新的目录newfile,然后把所有的文件拷贝过去重命名一下就行了 素材 文案提供过来的图片全部都是1.jpg,2.jpg--这样顺序递增的

Linux Shell获取文件夹下的文件名方法

有时候需要获取某个文件夹下的所有文件名,可以用程序实现,但是打开IDE,编译运行太麻烦,在Linux服务器中通常不能打开IDE,此时可以用几行简单的shell命令来实现,结果保存到某个文件中即可. Shell脚本如下: #!/bin/bash # get all filename in specified path path=$1 files=$(ls $path) for filename in $files do echo $filename >> filename.txt done 以上

Linux中 sed 和 awk的用法详解

sed用法: sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法 sed命令行格式为: sed [-nefri] 'command' 输入文本 常用选项: -n∶使用安静(silent)模式.在一般 sed 的用法中,所有来自 STDIN的资料一般都会被列出到萤幕上.但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来. -e∶直接在指令列模式上进行 sed 的

利用Linux防火墙隔离本地欺骗地址的方法详解

前言 即便是被入侵检测和隔离系统所保护的远程网络,黑客们也在寻找各种精巧的方法入侵.IDS/IPS 不能停止或者减少那些想要接管你的网络控制权的黑客攻击.不恰当的配置允许攻击者绕过所有部署的安全措施. 在这篇文章中,我将会解释安全工程师或者系统管理员该怎样避免这些攻击. 几乎所有的 Linux 发行版都带着一个内建的防火墙来保护运行在 Linux 主机上的进程和应用程序.大多数防火墙都按照 IDS/IPS 解决方案设计,这样的设计的主要目的是检测和避免恶意包获取网络的进入权. Linux 防火墙

Linux/Unix环境下的Make和Makefile详解

Linux/Unix环境下的Make和Makefile详解 无论是在Linux还是在Unix环境中,make都是一个非常重要的编译命令.不管是自己进行项目开发还是安装应用软件,我们都经常要用到make或make install.利用make工具,我们可以将大型的开发项目分解成为多个更易于管理的模块,对于一个包括几百个源文件的应用程序,使用make和makefile工具就可以简洁明快地理顺各个源文件之间纷繁复杂的相互关系.而且如此多的源文件,如果每次都要键入gcc命令进行编译的话,那对程序员来说简

Linux中stat函数和stat命令使用详解

stat函数和stat命令 linux文件里的[inode = index node]解释:要理解inode必须了解磁盘和[目录项],inode实际是连接[目录项]和磁盘的中间物质. 图里的大圈代表硬件的磁盘,里面的小圈代表某个文件存储在磁盘上了. [inode = index node]的node(承载node信息的结构体是:stat,stat的定义在后面 )里面有: 文件大小 文件的最后修改时间 文件的所属用户 文件的权限 硬链接计数(ls -l 显示出来的数字) 块位置:指定文件存储在磁盘

Linux环境下Oracle安装参数设置方法详解

前面讲了虚拟机的设置和OracleLinux的安装,接下来我们来说下Oracle安装前的准备工作. 1.系统信息查看 系统信息查看 首先服务器ip:192.168.8.120 服务器系统:Oracle Linux Server release 6.5 服务器主机名:oracle-learn 查看磁盘空间情况: [root@oracle-learn ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda1 32G 4.8G 26G

Linux下sshd服务及服务管理命令详解

sshd SSH为Secure Shell的缩写,是应用层的安全协议.SSH是目前较可靠,专为远程登陆会话和其他网络服务提供安全性的协议.利用SSH协议可以有效防止远程管理过程中的信息泄露问题. openssh-server 功能:让远程主机可以通过网络访问sshd服务,开始一个安全shell 客户端连接方式 ssh 远程主机用户@远程主机ip 先rm -rf /root/.ssh/清掉之前的配置 ssh 远程主机用户@远程主机ip -X 调用远程主机图形工具 ssh 远程主机用户@远程主机ip