前言
最近在维护项目的python项目代码,项目使用了 python 的日志模块 logging, 设定了保存的日志数目, 不过没有生效,还要通过contab定时清理数据。
分析
项目使用了 logging 的 TimedRotatingFileHandler :
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
#!/user/bin/env python # -*- coding: utf-8 -*- import logging from logging.handlers import TimedRotatingFileHandler log = logging.getLogger() file_name = "./test.log" logformatter = logging.Formatter( '%(asctime)s [%(levelname)s]|%(message)s' ) loghandle = TimedRotatingFileHandler(file_name, 'midnight' , 1 , 2 ) loghandle.setFormatter(logformatter) loghandle.suffix = '%Y%m%d' log.addHandler(loghandle) log.setLevel(logging.DEBUG) log.debug( "init successful" ) |
参考 python logging 的官方文档:
https://docs.python.org/2/library/logging.html
查看其 入门 实例,可以看到使用按时间轮转的相关内容:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
import logging # create logger logger = logging.getLogger( 'simple_example' ) logger.setLevel(logging.DEBUG) # create console handler and set level to debug ch = logging.StreamHandler() ch.setLevel(logging.DEBUG) # create formatter formatter = logging.Formatter( '%(asctime)s - %(name)s - %(levelname)s - %(message)s' ) # add formatter to ch ch.setFormatter(formatter) # add ch to logger logger.addHandler(ch) # 'application' code logger.debug( 'debug message' ) |
粗看下,也看不出有什么不对的地方。
那就看下logging的代码,找到TimedRotatingFileHandler 相关的内容,其中删除过期日志的内容:
logging/handlers.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
def getFilesToDelete( self ): """ Determine the files to delete when rolling over. More specific than the earlier method, which just used glob.glob(). """ dirName, baseName = os.path.split( self .baseFilename) fileNames = os.listdir(dirName) result = [] prefix = baseName + "." plen = len (prefix) for fileName in fileNames: if fileName[:plen] = = prefix: suffix = fileName[plen:] if self .extMatch.match(suffix): result.append(os.path.join(dirName, fileName)) result.sort() if len (result) < self .backupCount: result = [] else : result = result[: len (result) - self .backupCount] return result |
轮转删除的原理,是查找到日志目录下,匹配suffix后缀的文件,加入到删除列表,如果超过了指定的数目就加入到要删除的列表中,再看下匹配的原理:
1
2
3
4
|
elif self .when = = 'D' or self .when = = 'MIDNIGHT' : self .interval = 60 * 60 * 24 # one day self .suffix = "%Y-%m-%d" self .extMatch = r "^\d{4}-\d{2}-\d{2}$" |
exMatch 是一个正则的匹配,格式是 - 分隔的时间,而我们自己设置了新的suffix没有 - 分隔:
loghandle.suffix = '%Y%m%d'
这样就找不到要删除的文件,不会删除相关的日志。
总结
1. 封装好的库,尽量使用公开的接口,不要随便修改内部变量;
2. 代码有问题地,实在找不到原因,可以看下代码。