window系统的Rsync同步实战分析第1/2页

其于window系统的同步实战
1. 远程数据同步工具Rsync介绍
1.1 软件简介

Rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync本来是用以取代rcp的一个工具，它当前由 rsync.samba.org维护。Rsync使用所谓的“Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行Rsync server的机器也叫backup server，一个Rsync server可同时备份多个client的数据；也可以多个Rsync server备份一个client的数据。

　　Rsync可以搭配rsh或ssh甚至使用daemon模式。Rsync server会打开一个873的服务通道(port)，等待对方Rsync连接。连接时，Rsync server会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。

　　Rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。此外，它在windows平台下也有相应的版本，比较知名的有cwRsync和Sync2NAS。

　　Rsync的基本特点如下：

　　1.可以镜像保存整个目录树和文件系统；

　　2.可以很容易做到保持原来文件的权限、时间、软硬链接等；

　　3.无须特殊权限即可安装；

　　4.优化的流程，文件传输效率高；

　　5.可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接；

6.支持匿名传输。

1.2 核心算法

　　假定在名为α和β的两台计算机之间同步相似的文件A与B，其中α对文件A拥有访问权，β对文件B拥有访问权。并且假定主机α与β之间的网络带宽很小。那么rsync算法将通过下面的五个步骤来完成：

　　1.β将文件B分割成一组不重叠的固定大小为S字节的数据块。最后一块可能会比S 小。

　　2.β对每一个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另一种是128位的MD4强校验。

　　3.β将这些校验结果发给α。

　　4.α通过搜索文件A的所有大小为S的数据块(偏移量可以任选，不一定非要是S的倍数)，来寻找与文件B的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。

　　5.α发给β一串指令来生成文件A在β上的备份。这里的每一条指令要么是对文件B经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件B的任何一个数据块匹配上的。

1.3 命令语法

　rsync的命令格式可以为以下六种：

　　rsync [OPTION]... SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST:DEST

　　rsync [OPTION]... [USER@]HOST:SRC DEST

　　rsync [OPTION]... [USER@]HOST::SRC DEST

　　rsync [OPTION]... SRC [USER@]HOST::DEST

　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

当前1/2页 12下一页阅读全文

赞 (0)

相关推荐

  • windows下rsync的数据同步安装配置方法

    rsync的配置环境 软件平台:windows2003 软件版本:cwRsync_2.0.10_Installer cwRsync_Server_2.0.10_Installer 硬件平台:dell2950 cpu1.6G*4 内存:4G 硬盘:1G*6 RAID5 ===安装=== 在WINDOWS环境下安装rsync要安装服务端和客户端 服务器端安装:运行cwRsync_Server_2.0.10_Installer 客户端安装:运行cwRsync _2.0.10_Installe 安装步骤

  • 使用cwRsync实现windows下服务器文件定时同步备份(附错误处理方法)

    使用cwRsync实现windows下服务器文件定时同步备份(附错误处理方法)

    首先要下载cwRsync的服务端和客户端软件,下载地址如下: 服务端:cwRsync Server (多台服务器文件同步服务端) V4.1.0 免费版 客户端:cwRsync(多服务器文件同步客户端) V4.1.0 免费版 不过我们使用的一般不是最新版本,老版本可以到s.jb51.net的服务器文件同步专区下载 然后我在本地机器上安装了其中的服务器端(10.0.2.136),然后在同网段下的另一台机器(10.0.2.137)安装了客户端.为了测试,我专门在本地机器上的f盘上放置了我们的产品dnt

  • windows下使用cwRsync定期备份网站（服务器文件同步）

    linux下有sync, windows下也有类似的软件,就是cwRsync,此软件分为服务器端/客户端.能找到的最新的版本是3.0.1.下载地址 cwRsync下载 1.cwRsync安装 安装的过程很简单,安装 server 就可以了,server 包括了 client 的功能.安装完 server 后,会在 service 中增加 Rsync 和 ssh 服务,进入服务管理,设置为自动启动.安装成功后,要备分的文件目录必须加上 SvcwRsync 这个用户可读权限. 2.cwRsync服务

  • 在Windows中配置Rsync同步文件的方法

    在Windows中配置Rsync同步文件的方法

    Rsync是一款不错的文件免费同步软件,可以镜像保存整个目录树和文件系统,同时保持原来文件的权限.时间.软硬链接.第一次同步时 rsync 会复制全部内容,下次只传输修改过的文件部分.传输数据过程中可以实行压缩及解压缩操作,减少带宽流量.支持scp.ssh及直接socket方式连接,支持匿名传输.支持Linux,Window平台.写本文的时候,window版最新版为4.0.5版 官网:http://rsync.samba.org/ Linux版下载:http://rsync.samba.org/

  • cwrsync实现从linux到windows的数据同步备份

    rsync的最新版本可以从http://rsync.samba.org/rsync/获得.它的特性如下: 1.可以镜像保存整个目录树和文件系统. 2.可以很容易做到保持原来文件的权限.时间.软硬链接等等. 3.无须特殊权限即可安装. 4.优化的流程,文件传输效率高. 5.可以使用rcp.ssh等方式来传输文件,当然也可以通过直接的socket连接. 本文介绍了如何使用rsync服务从Linux到Windows进行远程备份. 一.配置服务器端 首先我们需要配置rsync,打开配置文件/etc/xi

  • 用cwrsync同步windows下数据的简单配置方法

    cwrsync下载地址 http://sourceforge.net/projects/sereds/files/cwRsync 或者到 s.jb51.net下载 cwrsync分客户端和服务端两部分,拿cwrsync 4.0.版来说,分别对应cwRsync_4.0.5_Installer.zip和cwRsyncServer_4.0.5_Installer.zip 安装: 客户端安装比较简单,一直下一步就可以了. 服务端安装到Service Account这一步的时候,这一步会建立cwrsync

  • 用rsync实现windows与linux文件同步的方法

    windows做为文件服务器,使用rsync的windows服务版本:cwRsyncServer 下载地址:http://rsync.samba.org 安装过程要设置用于系统服务的帐号和密码,可以默认. 注:此帐号用于启用crsync server服务,需要分配给帐号对要同步文件的相应权限,否则无法操作被同步的文件. 安装完成后修改配置文件 rsyncd.conf, 配置文件内容如下: 复制代码 代码如下: port = 52326 use chroot = false strict mode

  • window系统的Rsync同步实战分析第1/2页

    其于window系统的同步实战 1. 远程数据同步工具Rsync介绍 1.1 软件简介 Rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.Rsync本来是用以取代rcp的一个工具,它当前由 rsync.samba.org维护.Rsync使用所谓的"Rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.运行Rsync server的机器也叫backup server,一个Rsync

  • 使用rsync同步网路备份第1/2页

    一. 简介 rsync常用的备份工具, 它目前是由 rsync.samba.org 维护. rsync使用所谓的"rsync算法",提供一个非常快速的档案传输方法, 使local和远端二部主机之间的档案达到同步,它主要是传送二个档案的异动部份,而非每次都整份传送, 因此速度相当地快. rsync它可以搭配rsh或ssh,也可以当成daemon模式使用直接的socket连接, 所以rsync可以当做一个优异的备份工具来使用. 我这简单介绍运用rsync备份远程网路主机档案的基本方法. 在

  • Sersync+Rsync实现触发式文件同步实战过程

    背景 通常我们在服务器上使用rsync加上crontab来定时地完成一些同步.备份文件的任务.随着业务和应用需求的不断扩大.实时性要求越来越高.一般rsync是通过校验所有文件后,进行差量同步,如果文件量十分庞大,那么rsync进行校验的过程也是十分耗时的.而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过crontab方式进行触 发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用

  • linux系统中rsync+inotify实现服务器之间文件实时同步

    linux系统中rsync+inotify实现服务器之间文件实时同步

    之前做了"ssh信任与scp自动传输脚本"的技术文档,此方案是作为公司里备份的方法,但在实际的运行中,由于主服务器在给备份服务器传输的时候,我们的主服务器需要备份的文件是实时.不停的产生的,造成不知道主服务器给备份服务器传输了多少文件,磁盘空间就那么大,做备份的原因:一个是为了保持文件,另外一个是解决主服务器的磁盘饱满问题,但由于不知道备份服务器到底接收了多少文件,所以主服务器里的文件不敢删除(如果没有备份的情况下删除,问题就严重了,我这个是政府的项目,服务器里的文件都是重要的,删错了

  • 千万级用户系统SQL调优实战分享

    千万级用户系统SQL调优实战分享

    用户日活百万级,注册用户千万级,而且若还没有进行分库分表,则该DB里的用户表可能就一张,单表上千万的用户数据. 某系统专门通过各种条件筛选大量用户,接着对那些用户去推送一些消息: 一些促销活动消息 让你办会员卡的消息 告诉你有一个特价商品的消息 通过一些条件筛选出大量用户,针对这些用户做推送,该过程较耗时-筛选用户过程. 用户日活百万级,注册用户千万级,而且若还没有进行分库分表,则该DB里的用户表可能就一张,单表上千万的用户数据. 对运营系统筛选用户的SQL: SELECT id, name 

  • Python爬虫eval实现看漫画漫画柜mhgui实战分析

    Python爬虫eval实现看漫画漫画柜mhgui实战分析

    目录 ️ 看漫画MHG mhgui 实战分析 通过开发者工具的 DOM 事件绑定器 截取相应的代码文件 eval 函数解析 ️ 看漫画MHG mhgui 实战分析 本文所有MHG使用 MHG 替代~ 本次爬虫采集的案例是MHG,该站点貌似本身就游走在法律的边缘. 站点地址直接检索即可进入,在该目标站点,橡皮擦发现了 eval 加密的双重用法. 页面所有点位都无太大难点,而且漫画超多,但是当点击详情页的时候,发现加密点位了. https://i.看评论区.com/ps1/u/17287/cmdty

  • rsync同步时出现rsync: failed to set times on “xxxx”: Operation not permitted

    rsync同步时出现rsync: failed to set times on “xxxx”: Operation not permitted

    今天在同步数据的时候提示rsync: failed to set times on "xxxx": Operation not permitted,一般来说要不是服务器时间不对或者权限没有设置好,下面我们小编就为大家整理了一些资料 第一种方法: 出现rsync: failed to set times on "xxxx": Operation not permitted的原因大致是对文件夹(或文件)xxxx没有操作权限.如果执行同步的用户是root,是不会有这样的问

  • linux下使用rsync同步目录

    本文描述了linux下使用rsync单向同步两个机器目录的问题. 使用rsync同步后可以保持目录的一致性(含删除操作). 数据同步方式 1.从主机拉数据 备机上启动的流程 同步命令: rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir} 参数说明: -a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件:-p 表示保持文件原有权限:-t 保持文件原有时间:-g 保持文件原有用户组:-o 保持文

  • window系统mysql无法输入和无法显示中文的解决方法

    第一步:使用记事本打开mysql安装目录下的"my.ini"文件. # MySQL client library initialization. [client] port=3306 [mysql] default-character-set=utf8 看看default-character-set 是不是 utf8不是的话 改为utf8即可!(以前的版本可能没有这句话 直接加上就好了!) 第二步:在mysql数据库cmd中输入:show variables like'%char%';

  • Window系统下Python如何安装OpenCV库

    关于OpenCV简介 OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux.Windows.Android和Mac OS操作系统上.它轻量级而且高效--由一系列 C 函数和少量 C++ 类构成,同时提供了Python.Ruby.MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法. OpenCV用C++语言编写,它的主要接口也是C++语言,但是依然保留了大量的C语言接口. 在计算机视觉项目的开发中,OpenCV作为较大众的开源库,拥有了丰富的常

随机推荐