2019-8-20 266 0
2019-5-4 305 0
2018-5-11 1138 0
软件

如果你是一位运维工程师,你很可能会面对几十台、几百台甚至上千台服务器,除了批量操作外,环境同步、数据同步也是必不可少的技能。说到“同步”,不得不提的利器就是rsync,今天就来说说我从这个工具中看到的同步的艺术。[不带任何选项]我们经常这样使用rsync:复制代码代码如下:$rsyncmain.cmachineB:/home/userB1只要目的端的文件内容和源端不一样,就会触发数据同步,rsync会确保两边的文件内容一样。2但rsync不会同步文件的“modifytime”,凡是有数据同步的文件,目的端的文件的“modifytime”总是会被修改为最新时刻的时间。3rsync不会太关注目的端文件的rwx权限,如果目的端没有此文件,那么权限会保持与源端一致;如果目的端有此文件,则权限不会随着源端变更。4只要rsync有对源文件的读权限,且对目标路径有写权限,rsync就能确保目的端文件同步到和源端一致。5rsync只能以登陆目的端的账号来创建文件,它没有能力保持目的端文件的输主和属组和源端一致。(除非你使用root权限,才有资格要求属主一致、属组一致)[-t选项]我们经常这样使用-t选项:复制代码代码如下:$rsync-tmain.cmachineB:/home/userB1使用-t选项后,rsync总会想着一件事,那就是将源文件的“modifytime”同步到目标机器。2带有-t选项的rsync,会变得更聪明些,它会在同步前先对比两边文件的时间戳和文件大小,如果一致,则就认为两边文件一样,对此文件就不再采取更新动作了。3因为rsync的聪明,也会反被聪明误。如果目的端的文件的时间戳、大小和源端完全一致,但是内容恰巧不一致时,rsync是发现不了的。这就是传说中的“坑”!4对于rsync自作聪明的情况,解决办法就是使用-I选项。[-I选项]我们经常这样使用-I选项:复制代码代码如下:$rsync-Imain.cmachineB:/home/userB1-I选项会让rsync变得很乖很老实,它会挨个文件去发起数据同步。2-I选项可以确保数据的一致性,代价便是速度上会变慢,因为我们放弃了“quickcheck”策略。(quickcheck策略,就是先查看文件的时间戳和文件大小,依次先排除一批认为相同的文件)3无论情况如何,目的端的文件的modifytime总会被更新到当前时刻。【-v选项】这个选项,简单易懂,就是让rsync输出更多的信息,我们可以举一个例子:?1234$rsync-vImain.cmachineB:/home/userBmain.csent81bytesreceived42bytes246.00bytes/sectotalsizeis11speedupis0.09你增加越多的v,就可以获得越多的日志信息。?12345678910111213141516171819202122232425262728293031323334353637$rsync-vvvvtabc.cmachineB:/home/userBcmd=machine=machineBuser=path=/home/userBcmd[0]=sshcmd[1]=machineBcmd[2]=rsynccmd[3]=--servercmd[4]=-vvvvte.cmd[5]=.cmd[6]=/home/userBopeningconnectionusing:sshmachineBrsync--server-vvvvte../home/userBnote:iconv_open("ANSI_X3.4-1968","ANSI_X3.4-1968")succeeded.(Client)Protocolversions:remote=28,negotiated=28(Server)Protocolversions:remote=30,negotiated=28[sender]make_file(abc.c,*,2)[sender]fliststart=0,used=1,low=0,high=0[sender]i=0abc.cmode=0100664len=11flags=0send_file_listdonefilelistsentsend_filesstartingserver_recv(2)startingpid=31885recv_file_name(abc.c)received1names[receiver]i=0abc.cmode=0100664len=11recv_file_listdoneget_local_namecount=1/home/userBrecv_files(1)startinggeneratorstartingpid=31885count=1deltatransmissionenabledrecv_generator(abc.c,0)abc.cisuptodategenerate_filesphase=1send_filesphase=1recv_filesphase=1generate_filesphase=2sendfilesfinishedtotal:matches=0hash_hits=0false_alarms=0data=0generate_filesfinishedrecv_filesfinishedclient_runwaitingon14318sent36bytesreceived16bytes104.00bytes/sectotalsizeis11speedupis0.21_exit_cleanup(code=0,file=main.c,line=1031):entered_exit_cleanup(code=0,file=main.c,line=1031):abouttocallexit(0)[-z选项]这是个压缩选项,只要使用了这个选项,rsync就会把发向对端的数据先进行压缩再传输。对于网络环境较差的情况下建议使用。一般情况下,-z的压缩算法会和gzip的一样。[-r选项]我们在第一次使用rsync时,往往会遇到这样的囧境:?12$rsyncsupermanmachineB:/home/userBskippingdirectorysuperman如果你不额外告诉rsync你需要它帮你同步文件夹的话,它是不会主动承担的,这也正是rsync的懒惰之处。所以,如果你真的想同步文件夹,那就要加上-r选项,即recursive(递归的、循环的),像这样:?1$rsync-rsupermanmachineB:/home/userB我们在上面的讲解中说过,如果时间戳和文件大小完全一致,只有文件内容不同,且你没有使用-I选项的话,那么,rsync是不会进行数据同步的。那么,提个问题:“因为在Linux的世界里,文件夹也是文件,如果这类文件(文件夹)也只有内容不同,而时间戳和文件大小都相同,rsync会发现么?”实验大家可以自己动手做,结论在这里告诉大家:对于文件夹,rsync是会明察秋毫的,只要你加了-r选项,它就会恪尽职守的进入到文件夹里去检查,而不会只对文件夹本身做“quickcheck”的。[-l选项]如果我们要同步一个软链接文件,你猜rsync会提示什么??123456$lltotal128-rw-rw-r--1userAuserA11Dec2607:00abc.clrwxrwxrwx1userAuserA5Dec2611:35softlink->abc.c$rsyncsoftlinkmachineB:/home/userBskippingnon-regularfile"softlink"嗯,你猜对了,rsync又无情地拒绝了我们。它一旦发现某个文件是软链接,就会无视它,除非我们增加-l选项。复制代码代码如下:$rsync-lsoftlinkmachineB:/home/userB使用了-l选项后,rsync会完全保持软链接文件类型,原原本本的将软链接文件复制到目的端,而不会“followlink”到指向的实体文件。如果我偏偏就想让rsync采取followlink的方式,那就用-L选项就可以了。你可以自己试试效果。[-p选项]这个选项的全名是“perservepermissions”,顾名思义,就是保持权限。如果你不使用此选项的话,rsync是这样来处理权限问题的:1如果目的端没有此文件,那么在同步后会将目的端文件的权限保持与源端一致;2如果目的端已存在此文件,那么只会同步文件内容,权限保持原有不变。如果你使用了-p选项,则无论如何,rsync都会让目的端保持与源端的权限一致的。[-g选项和-o选项]这两个选项是一对,用来保持文件的属组(group)和属主(owner),作用应该很清晰明了。不过要注意的一点是,改变属主和属组,往往只有管理员权限才可以。[-D选项]-D选项,原文解释是“preservedevices(rootonly)”,从字面意思看,就是保持设备文件的原始信息。由于博主没有实际体验过它的好处,所以没有太多发言权。[-a选项]1-a选项是rsync里比较霸道的一个选项,因为你使用-a选项,就相当于使用了-rlptgoD这一坨选项。以一敌七,唯-a选项也。(在看了前文之后,你应该可以很轻松的理解这七个选项的作用了)2-a选项的学名应该叫做archiveoption,中文叫做归档选项。使用-a选项,就表明你希望采取递归方式来同步,且尽可能的保持各个方面的一致性。3但是-a选项也有阿克琉斯之踵,那就是-a无法同步“硬链接”情况。如果有这方面需求,要加上-H选项。[--delete选项、--delete-excluded选项和--delete-after选项]三个选项都是和“删除”有关的:1–delete:如果源端没有此文件,那么目的端也别想拥有,删除之。(如果你使用这个选项,就必须搭配-r选项一起)2–delete-excluded:专门指定一些要在目的端删除的文件。3–delete-after:默认情况下,rsync是先清理目的端的文件再开始数据同步;如果使用此选项,则rsync会先进行数据同步,都完成后再删除那些需要清理的文件。看到这么多delete,你是否有点肝颤?的确,在rsync的官方说明里也有这么一句话:Thisoptioncanbedangerousifusedincorrectly!Itisaverygoodideatorunfirstusingthedryrunoption(-n)toseewhatfileswouldbedeletedtomakesureimportantfilesaren'tlisted.从这句话里,我们学到了一个小技巧,那就是-n选项,它是一个吓唬人的选项,它会用受影响的文件列表来警告你,但不会真的去删除,这就让我们有了确认的机会和回旋的余地。我们看看实际用法吧:?1234$rsync-n--delete-r.machineB:/home/userB/deletingsuperman/xxxdeletingmain.cdeletingacclink[--exclude选项和--exclude-from选项]如果你不希望同步一些东西到目的端的话,可以使用–exclude选项来隐藏,rsync还是很重视大家隐私的,你可以多次使用–exclude选项来设置很多的“隐私”。如果你要隐藏的隐私太多的话,在命令行选项中设置会比较麻烦,rsync还是很体贴,它提供了–exclude-from选项,让你可以把隐私一一列在一个文件里,然后让rsync直接读取这个文件就好了。[--partial选项]这就是传说中的断点续传功能。默认情况下,rsync会删除那些传输中断的文件,然后重新传输。但在一些特别情况下,我们不希望重传,而是续传。我们在使用中,经常会看到有人会使用-P选项,这个选项其实是为了偷懒而设计的。以前人们总是要手动写–partial–progress,觉得太费劲了,倒不如用一个新的选项来代替,于是-P应运而生了。有些读者会问–partial我知道作用了,可–progress是干什么用的呢?为什么很多人要使用它呢,它有那么大的吸引力?(真有…)[--progress选项]使用这个选项,rsync会显示出传输进度信息,有什么用呢,rsync给了一个很有意思的解释:Thisgivesaboredusersomethingtowatch.好了,写了这么多,大家看的已经很乏味了,去实际用用–progress解解闷,是个不错的选择^_^下面给大家介绍的是rsync参数的具体解释:-v,--verbose详细模式输出-q,--quiet精简输出模式-c,--checksum打开校验开关,强制对文件传输进行校验-a,--archive归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD-r,--recursive对子目录以递归模式处理-R,--relative使用相对路径信息-b,--backup创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。--backup-dir将备份文件(如~filename)存放在在目录下。-suffix=SUFFIX定义备份文件前缀-u,--update仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)-l,--links保留软链结-L,--copy-links想对待常规文件一样处理软链结--copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结--safe-links忽略指向SRC路径目录树以外的链结-H,--hard-links保留硬链结-p,--perms保持文件权限-o,--owner保持文件属主信息-g,--group保持文件属组信息-D,--devices保持设备文件信息-t,--times保持文件时间信息-S,--sparse对稀疏文件进行特殊处理以节省DST的空间-n,--dry-run现实哪些文件将被传输-W,--whole-file拷贝文件,不进行增量检测-x,--one-file-system不要跨越文件系统边界-B,--block-size=SIZE检验算法使用的块尺寸,默认是700字节-e,--rsh=COMMAND指定使用rsh、ssh方式进行数据同步--rsync-path=PATH指定远程服务器上的rsync命令所在路径信息-C,--cvs-exclude使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件--existing仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件--delete删除那些DST中SRC没有的文件--delete-excluded同样删除接收端那些被该选项指定排除的文件--delete-after传输结束以后再删除--ignore-errors及时出现IO错误也进行删除--max-delete=NUM最多删除NUM个文件--partial保留那些因故没有完全传输的文件,以是加快随后的再次传输--force强制删除目录,即使不为空--numeric-ids不将数字的用户和组ID匹配为用户名和组名--timeout=TIMEIP超时时间,单位为秒-I,--ignore-times不跳过那些有同样的时间和长度的文件--size-only当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间--modify-window=NUM决定文件是否时间相同时使用的时间戳窗口,默认为0-T--temp-dir=DIR在DIR中创建临时文件--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份-P等同于--partial--progress显示备份过程-z,--compress对备份的文件在传输时进行压缩处理--exclude=PATTERN指定排除不需要传输的文件模式--include=PATTERN指定不排除而需要传输的文件模式--exclude-from=FILE排除FILE中指定模式的文件--include-from=FILE不排除FILE指定模式匹配的文件--version打印版本信息--address绑定到特定的地址--config=FILE指定其他的配置文件,不使用默认的rsyncd.conf文件--port=PORT指定其他的rsync服务端口--blocking-io对远程shell使用阻塞IO-stats给出某些文件的传输状态--progress在传输时现实传输过程--log-format=formAT指定日志文件格式--password-file=FILE从FILE中得到密码--bwlimit=KBPS限制I/O带宽,KBytespersecond-h,--help显示帮助信息一般同步传输目录都使用azv选项.转自:http://www.jb51.net/article/74589.htm