python监控文件或目录变化
admin
2023-08-02 15:38:52
0

本文实例实现的功能是监控一个文件或目录的变化,如果有变化,把文件上传备份至备份主机,并且要监控上传过程是否有问题等,具体内容如下

#!/usr/bin/env python
#coding=utf-8
#
#Status wd gs/ccs sql file changed
#文件有变化上传至备份主机,上传之后验证文件是否正确
#

import paramiko,os,sys,datetime,time,MySQLdb
from pyinotify import WatchManager, Notifier, ProcessEvent, IN_DELETE, IN_CREATE,IN_MODIFY
\'\'\'
CREATE TABLE `wddel_log.status_sql` (
 `ip` varchar(16) NOT NULL COMMENT \'机器IP\',
 `tar_name` varchar(50) NOT NULL COMMENT \'备份文件名字\',
 `md5` varchar(50) NOT NULL COMMENT \'备份文件MD5\',
 `flag` int(2) NOT NULL COMMENT \'0:成功;1:失败\',
 `error_log` varchar(100) NOT NULL COMMENT \'错误日志\',
 `uptime` datetime NOT NULL COMMENT \'更新时间\',
 KEY `ip` (`ip`),
 KEY `uptime` (`uptime`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8\'\'\'#日志表创建脚本
GM_path=\'/home/asktao/\'
center_hostname=\'192.168.1.100\'
center_username=\'root\'
center_password=\'123456\'
center_port=63008
def log2db(ip,tar_name,md5,flag,error=\'0\'):#删除日志入库
  try:
    tar_name = os.path.split(tar_name)[1]
    now = time.strftime(\"%Y-%m-%d %H:%M:%S\")
    conn = MySQLdb.connect(host = \'192.168.1.104\',user = \'root\',passwd = \'1q2w3e4r\',charset=\'utf8\',connect_timeout=20)
    cursor = conn.cursor()
    sql = \"SELECT ip FROM wddel_log.status_sql WHERE ip=\'%s\'\" % ip
    cursor.execute(sql)
    res = cursor.fetchall()
    if len(res)==0:
      inster_sql = \"insert into wddel_log.status_sql VALUES(\'%s\',\'%s\',\'%s\',%s,\'%s\',\'%s\')\" % (ip,tar_name,md5,flag,error,now)
      cursor.execute(inster_sql)
      conn.commit()
    else:
      update_sql = \"UPDATE wddel_log.status_sql SET md5=\'%s\',flag=\'%s\',error_log=\'%s\',uptime=\'%s\' WHERE ip=\'%s\'\" % (md5,flag,error,now,ip)
      cursor.execute(update_sql)
      conn.commit()
    cursor.close()
    conn.close()
  except Exception,e:
    print e
def find_ip():#获取本地eth0的IP地址
  ip = os.popen(\"/sbin/ip a|grep \'global eth0\'\").readlines()[0].split()[1].split(\"/\")[0]
  if \"192.168.\" in ip:
    ip = os.popen(\"/sbin/ip a|grep \'global eth1\'\").readlines()[0].split()[1].split(\"/\")[0]
  return ip
def md5sum(file_name):#验证sql打包文件的MD5
  if os.path.isfile(file_name):
    f = open(file_name,\'rb\')
    py_ver = sys.version[:3]
    if py_ver == \"2.4\":
      import md5 as hashlib
    else:
      import hashlib
      md5 = hashlib.md5(f.read()).hexdigest()
      f.close()
      return md5
  else:
    return 0
def center_md5(file_name):#上传至备份中心的文件的MD5
  try:
    s=paramiko.SSHClient()
    s.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    s.connect(hostname = center_hostname,port=center_port,username=center_username, password=center_password)
    conm = \"/usr/bin/md5sum %s\" % file_name
    stdin,stdout,stderr=s.exec_command(conm)
    result = stdout.readlines()[0].split()[0].strip()
    s.close()
    return result
  except Exception,e:
    return e
def back_file(ip,tar_name,tar_md5):#上传文件到备份中心
  remote_dir=\'/data/sql\'
  file_name=os.path.join(remote_dir,os.path.split(tar_name)[1])
  try:
    t=paramiko.Transport((center_hostname,center_port))
    t.connect(username=center_username,password=center_password)
    sftp=paramiko.SFTPClient.from_transport(t)
    sftp.put(tar_name,file_name)
    t.close()
    #print \"%s back_file OK\" % tar_name
    os.remove(tar_name)
    remot_md5=center_md5(file_name)
    if remot_md5 == tar_md5:
      log2db(ip,tar_name,tar_md5,0)
    else:
      log2db(ip,tar_name,tar_md5,1,\'remot_md5!=tar_md5\')
  except Exception,e:
    #print \"connect error!\"
    log2db(ip,tar_name,tar_md5,1,e)
    os.remove(tar_name)
def back_sql():#执行备份
  ip = find_ip()
  tar_name = \"/tmp/%s.tar.gz\" % ip
  sql_conn = \"/usr/bin/find %s -type f -name \'*.sql\'|/usr/bin/xargs /bin/tar zcvPf %s\" % (GM_path,tar_name)
  sql_tar = os.popen(sql_conn).readlines()
  tar_md5 = md5sum(tar_name)
  if tar_md5 != 0:
    back_file(ip,tar_name,tar_md5)
  else:
    error_log = \"%s not find\" % tar_name
    log2db(ip,tar_name,tar_md5,0,error_log)
class PFilePath(ProcessEvent):#文件变化的触发
  def process_IN_CREATE(self, event):
    if os.path.splitext(event.name)[1] == \".sql\":
      text = \"Create file: %s \" % os.path.join(event.path, event.name)
      #print text
      back_sql()
  def process_IN_MODIFY(self, event):
    if os.path.splitext(event.name)[1] == \".sql\":
      text = \"Modify file: %s \" % os.path.join(event.path, event.name)
      #print text
      back_sql()
def FSMonitor():#主监控函数
  back_sql()#运行脚本先备份sql文件
  wm = WatchManager()
  mask = IN_CREATE |IN_MODIFY
  notifier = Notifier(wm, PFilePath())
  wdd = wm.add_watch(GM_path, mask, rec=True)
  print \'now starting monitor %s\' % (GM_path)
  while True:
    try :
      notifier.process_events()
      if notifier.check_events():
        notifier.read_events()
    except KeyboardInterrupt:
      notifier.stop()
      break
if __name__ == \"__main__\":
  FSMonitor()

以上就是本文的全部内容,希望对大家的学习有所帮助。

相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
python查找阿姆斯特朗数 题目解释 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿姆斯特朗数。 例如1^3 + 5...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...