shell脚本实现ftp上传下载文件功能

前段时间工作中需要将经过我司平台某些信息核验数据提取后上传到客户的FTP服务器上,以便于他们进行相关的信息比对核验。由于包含这些信息的主机只有4台,采取的策略是将生成的4个文件汇集到一个主机上,然后在这台主机上将文件上传的目标ftp服务器。

1,建立主机A到其他三台主机之间的信任关系,以便于远程拷贝文件

#生成主机A的本地认证秘钥,可以选择生成rsa或者dsa类型的秘钥,这里选取rsa
[root@A ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa >/dev/null 2>&1
#将本机的秘钥拷贝的其他三台主机的authorized_keys文件中,由于只有三台主机,一个一个执行就行,如果主机数量多,可以使用expect脚本批量执行
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.B"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.C"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.D"
#出现让输入B、C、D的root密码时,输入密码后回车,出现如下提示时表示建立本机到目标主机的信任关系成功
Now try logging into the machine, with "ssh '-p 22 root@192.168.1.B'", and check in:
 .ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.

2,建立上传文件到目标FTP服务器的脚本

  客户的要求是每天凌晨上传前一天的数据,我们生成的数据文件都是以当天日期_主机名_Result.csv类型的。

#以下展示脚本的内容
[root@A getfile] cat upload_csv.sh
#!/bin/bash
#此脚本用于每天定时将生成的数据文件上传到客户FTP服务器
#指定上传文件所在的主目录
SRCDIR=/tmp/test_jr/getfile/files/
#指定所需上传对端FTP服务器的目录
DESDIR=/JRAQ_FILE/
#指定对端FTP服务器的用户名和密码
USER=finftp
PASSWD="ABC@123"
#指定目标FTP服务器的IP
IP=3.3.3.3
#指定目标FTP服务器端口,一般都是默认
PORT=21
#指定所要上传文件的日期
targetDay=`date -d "-1 days" +"%Y%m%d"`
#获取所要上传的文件
cd $SRCDIR
for host in 192.168.1.B 192.168.1.C 192.168.1.D
do
  scp root@$host:$SRCDIR/$targetDay_*_Result.csv ./
done
#判定文件是否获取正确
[ $? -eq 0 ] || echo "Copy romote files failed, pls check." >>$SRCDIR/upload_file.log
#上传文件到FTP服务器
ftp -ivn <<EOF
  open $IP $PORT
  user $USER $PASSWD
  binary
  cd $DESDIR
  lcd $SRCDIR
  put ${targetDay}_*_Result.csv
  quit
EOF
#判定文件是否上传成功
[ $? -eq 0 ] && echo "Upload $targetDay's files to romote FTP server successful." >>$SRCDIR/upload_file.log || echo "Upload files failed, pls check." >>$SRCDIR/upload_file.log

3,有可能用到的转码

  由于csv文件是可以用Excel打开的,但是Excel打开utf-8编码的文件时,所有中文名称会显示乱码,此时就需要用到转码,比如将utf-8格式转换成gbk编码的,Excel就可以完美打开了。

[root@A ~]iconv -futf8 -tgbk -c -o file2.csv file1.csv
#file1是待转码的文件
#file2是转码后文件名
#-f --from-code 即从那种格式转化
#-t --to-code 转化为那种格式
#-o --output 输出的文件名
#-c 忽略输出的非法字符 加这个参数是防止文件中有某些非法字符串,如果不加此参数iconv遇到非法字符串后会自动终止转码,即使后面还有正常的未转码的字符。

总结

以上所述是小编给大家介绍的shell脚本实现ftp上传下载文件功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

时间: 2019-08-08

Linux下使用Shell脚本实现ftp的自动上传下载的代码小结

1. ftp自动登录批量下载文件. 复制代码 代码如下: #####从ftp服务器上的/home/data 到 本地的/home/databackup#####!/bin/bashftp -n<<!open 192.168.1.171user guest 123456binarycd /home/datalcd /home/databackuppromptmget *closebye! 2. ftp自动登录上传文件. 复制代码 代码如下: ####本地的/home/databackup to

Shell脚本实现上传zip压缩文件到FTP服务器

复制代码 代码如下: # /bin/bash # creator:lihuibin # date : 2014-03-10 16:45 # desc : upload file to ftp hosts="192.168.56.100" port=21 user=test pass=testpwd work_path="/var/www/cms" packname="publish" #hosts=$1 #port=$2 #user=$3 #pa

linux下自动备份MySQL数据并上传到FTP上的shell脚本

复制代码 代码如下: #!/bin/bash #Mysql autobackup shell # # #----------------set the mysql login parameters dbuser=root dbpasswd= dbserver=localhost dbname=fwserver2008 dbopt=--opt backupdir=/dbbackup/ #-----------------set the FTP paramters , 0 no send to a

PowerShell 自动备份oracle并上传到ftp

一.windows平台 1.rman自动备份方法 # Author: Edward.Zhou -- <edgeman_03@163.com> # Purpose: Windows平台下采用PowerShell使用rman自动备份oracle并上传备份到ftp,并根据日期自动保留所需备份 # Created: 2015/8/12 $env:ORACLE_SID="orcl" $env:NLS_LANG="AMERICAN_AMERICA.AL32UTF8"

CentOS中使用Shell脚本实现每天自动备份网站文件和数据库并上传到FTP中

一.安装Email发送程序 复制代码 代码如下: yum install sendmail mutt 二.安装FTP客户端程序 本脚本需要用到FTP客户端程序将文件上传到FTP空间上面,因此必须安装FTP客户端,否则将出现ftp命令无法找到的错误. 安装步骤请参考:<CentOS提示ftp:command not found> 三.在/root目录下新建脚本文件:AutoBackupToFtp.sh,内容如下: 复制代码 代码如下: #!/bin/bash #你要修改的地方从这里开始 MYSQ

CentOS7中使用shell脚本安装python3.8环境(推荐)

一键执行 虚拟机一键安装python3.8环境,只需将网络适配器改为nat模式即可(确保主机能够上网),随后将tar包放入/root目录下,执行脚本. 脚本首先将系统原有的python2.7的环境卸载,然后自动将网卡获取地址的方式改为dhcp,检查网络连通性,改国内yum源,然后安装python3.8环境,最后安装python3.8,安装完成后,提示友好输出. 直接下载分享的tar包即可,其中有python3.8版本的tar包和脚本文件. 链接:脚本及其tar包 提取码:4b6w 脚本内容: #

ubuntu中编写shell脚本开机自动启动(推荐)

编写脚本是为了不用手动去开启各种服务(也是为了偷懒哈哈) 1.进入终端输入 创建一个后缀为.sh的脚本文件 touch test.sh 编辑脚本 vim test.sh test.sh编写脚本内容  2.编写test.sh脚本 #!/bin/bash ### BEGIN INIT INFO # Provides: test # Required-Start: $remote_fs $syslog # Required-Stop: $remote_fs $syslog # Default-Star

CentOS系统下如何设置mysql每天自动备份

前言 大家都知道数据是一个比较重要的数据,经常需要备份,每次都手动比较麻烦.通过本文来一起来看看CentOS系统下如何设置mysql每天自动备份吧. 步骤如下 建备份文件夹: mkdir mysql_data_bak 建脚本文件: touch autobackupmysql.sh 打开文件 vi autobackupmysql.sh 在脚本中加入如下内容: filename=`date +%Y%m%d` /usr/bin/mysqldump -uroot -proot boss >>/home

PHP执行shell脚本运行程序不产生core文件的方法

发现一直不产生core文件,但是手动运行脚本的时候就会产生core文件. 经过朋友指导,原来是脚本执行环境导致的问题: 脚本中加入ulimit -a >> 1.log 打印如下: core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 127364 max

shell脚本实现mysql定时备份、删除、恢复功能

mysql备份脚本: 脚本实现:按照数据库名称,全量备份mysql数据库并定期删除 #!/bin/bash #全备方式,一般在从机上执行,适用于小中型mysql数据库 #删除15天以前备份 #作者:lcm_linux #时间:2019.08.06 source ~/.bash_profile #加载用户环境变量 set -o nounset #引用未初始化变量时退出 set -o errexit #执行shell命令遇到错误时退出 #备份用户---需要在mysql中提前创建并授权 #GRANT

linux下Vps自动备份web和mysql数据库的脚本

用Vps什么事都要自己费心,备份也是.像Linode里的备份服务是要收费的,一个月是5美元.与其花这5美元,不如自己丰衣足食.为服务安装上了Dropbox,设定为每天4:00-6:00 开启同步服务.在之前运行两个脚本,自动备份web文件夹和mysql数据库. 两个脚本都是备份文件到/root/Dropbox/backup目录里,并自动删除10天前的备份.web备份是每周行一次,删除30天前的备份. 一.备份WEB文件夹 1.备份/home/users/public_html目录 2.修改cro

Oracle RMAN自动备份控制文件方法介绍

RMAN(Recovery Manager)是一种用于备份(backup).还原(restore)和恢复(recover) 数据库的 Oracle 工具.RMAN只能用于ORACLE8或更高的版本中.它能够备份整个数据库或数据库部件,如表空间.数据文件.控制文件.归档文件以及Spfile参数文件.RMAN也允许您进行增量数据块级别的备份,增量RMAN备份是时间和空间有效的,因为他们只备份自上次备份以来有变化的那些数据块.而且,通过RMAN提供的接口,第三方的备份与恢复软件如veritas将提供更

文件上传服务器-jupyter 中python解压及压缩方式

由于并不清楚服务器具体地址,只有jupyter 连接的情况下,上传文件. 方法一:用Linux命令 直接用linux命令,在jupyter中只需要在命令前加一个!即可.学校服务器上没有装zip,但装了tar,可以在压缩的时候选择文件压缩为.tar.gz的文件格式. 命令: !tar -zxvf ./Language-Detector.tar.gz 方法二: 用python的函数模块. ### 利用zipfile模块来压缩和解压文件 <br> 先将想要上传的多个文件压缩为.zip格式,在jupy

Linux中执行shell脚本的4种方法总结

bash shell 脚本的方法有多种,现在作个小结.假设我们编写好的shell脚本的文件名为hello.sh,文件位置在/data/shell目录中并已有执行权限. 方法一:切换到shell脚本所在的目录(此时,称为工作目录)执行shell脚本: 复制代码 代码如下: cd /data/shell ./hello.sh ./的意思是说在当前的工作目录下执行hello.sh.如果不加上./,bash可能会响应找到不到hello.sh的错误信息.因为目前的工作目录(/data/shell)可能不在