python+rsync精确同步指定格式文件
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python+rsync精确同步指定格式文件,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含3127字,纯文字阅读大概需要5分钟。
内容图文
# coding: utf-8 #!/usr/bin/env python ‘‘‘ updatedb更新本地服务器指定目录/home/upload/de locate.dbz数据库 然后locate命令正则查找符合条件的文件并将文件名输出到locate.src 通过paramiko模块得到远程服务器符合条件的文件并将文件名输出到locate.dst 比较这两个文件得到locate.diff,最好rsync命令同步locate.diff列表中的文件 到远程服务器 ‘‘‘ import paramiko import commands import os import logging logging.basicConfig(level=logging.DEBUG, format=‘%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s‘, datefmt=‘%Y-%m-%d %H:%M:%S‘, filename=‘/var/log/upload_to_chengdu.log‘, filemode=‘a‘) logging.info("###################################################################") hostname = ‘8.8.8.8‘ username = ‘username‘ password = ‘password‘ port = 22 locate_lists = [‘/tmp/locate.src‘, ‘/tmp/locate.dst‘, ‘/tmp/locate.diff‘] dict_path = {‘locate_lists‘: locate_lists, ‘dst_db‘: ‘/tmp/locate.db‘, ‘src_db‘: ‘/tmp/locate.db‘, ‘dst_path‘: ‘/logs/rsync_log/‘, ‘src_path‘: ‘/home/upload/‘, ‘passwd_file‘: ‘/etc/rsync.pas‘} def check_file(): for l in dict_path[‘locate_lists‘]: if os.path.exists(l): commands.getstatusoutput(‘sudo rm %s‘ % l) def get_dst_list(): s = paramiko.SSHClient() s.set_missing_host_key_policy(paramiko.AutoAddPolicy()) s.connect(hostname=hostname, port=port, username=username, password=password) cmd_create = "sudo updatedb -U %s -o %s && sudo locate -d %s --regex ‘.*[0-9]{4}([-]{0,1}[0-9]{2}){2}\..*gz$‘ >>%s" % ( dict_path[‘dst_path‘], dict_path[‘dst_db‘], dict_path[‘dst_db‘], dict_path[‘locate_lists‘][1]) cmd_delete = ‘sudo rm ‘ + dict_path[‘locate_lists‘][1] stdin, stdout, stderr = s.exec_command(cmd_create) # print stdout.read() try: t = paramiko.Transport((hostname, port)) t.connect(username=username, password=password) sftp = paramiko.SFTPClient.from_transport(t) sftp.get(dict_path[‘locate_lists‘][1], dict_path[‘locate_lists‘][1]) t.close() except Exception, e: print e stdin, stdout, stderr = s.exec_command(cmd_delete) s.close() def get_src_list(): cmd = "sudo updatedb -U %s -o %s && sudo locate -d %s --regex ‘.*[0-9]{4}([-]{0,1}[0-9]{2}){2}\..*gz$‘ >>%s" % ( dict_path[‘src_path‘], dict_path[‘src_db‘], dict_path[‘src_db‘], dict_path[‘locate_lists‘][0]) commands.getstatusoutput(cmd) def cmp_diff(): f1 = open(dict_path[‘locate_lists‘][0], ‘r‘) f2 = open(dict_path[‘locate_lists‘][1], ‘r‘) f3 = open(dict_path[‘locate_lists‘][2], ‘a‘) x = f1.readlines() y = f2.readlines() f1.close() f2.close() for i in x: j = dict_path[‘dst_path‘] + i[13:] if j not in y: f3.writelines(i) f3.close() def rsync_file(): f = open(dict_path[‘locate_lists‘][2], ‘r‘) for i in f.readlines(): cmd = ‘cd %s && sudo rsync -Rvz %s upload@%s::aliyun_log --password-file=%s‘ % ( dict_path[‘src_path‘], i.strip(‘\n‘)[13:], hostname, dict_path[‘passwd_file‘]) logging.info(cmd) commands.getstatusoutput(cmd) f.close() def del_locate_file(): cmd = ‘sudo rm {%s,%s,%s}‘ % (dict_path[‘locate_lists‘][1], dict_path[‘locate_lists‘][0], dict_path[‘locate_lists‘][2]) commands.getstatusoutput(cmd) if __name__ == ‘__main__‘: check_file() get_dst_list() get_src_list() cmp_diff() rsync_file() del_locate_file()
原文:http://lm3810.blog.51cto.com/846925/1857290
内容总结
以上是互联网集市为您收集整理的python+rsync精确同步指定格式文件全部内容,希望文章能够帮你解决python+rsync精确同步指定格式文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。