服务器之家

服务器之家 > 正文

Logback配置文件这么写(TPS提高10倍)

时间：2020-08-11 18:09     来源/作者：何甜甜在吗

通过阅读本篇文章将了解到

  • 1.日志输出到文件并根据level级别将日志分类保存到不同文件
  • 2.通过异步输出日志减少磁盘io提高性能
  • 3.异步输出日志的原理

配置文件logback-spring.xml"> 配置文件logback-spring.xml

springboot工程自带logback和slf4j的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将error日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="console-log" class="ch.qos.logback.core.consoleappender">
        <layout class="ch.qos.logback.classic.patternlayout">
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--获取比info级别高(包括info级别)但除error级别的日志-->
    <appender name="info-log" class="ch.qos.logback.core.rolling.rollingfileappender">
        <filter class="ch.qos.logback.classic.filter.levelfilter">
            <level>error</level>
            <onmatch>deny</onmatch>
            <onmismatch>accept</onmismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </encoder>
 
        <!--滚动策略-->
        <rollingpolicy class="ch.qos.logback.core.rolling.timebasedrollingpolicy">
            <!--路径-->
            <filenamepattern>${log_info_home}//%d.log</filenamepattern>
            <maxhistory>30</maxhistory>
        </rollingpolicy>
    </appender>
    <appender name="error-log" class="ch.qos.logback.core.rolling.rollingfileappender">
        <filter class="ch.qos.logback.classic.filter.thresholdfilter">
            <level>error</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </encoder>
        <!--滚动策略-->
        <rollingpolicy class="ch.qos.logback.core.rolling.timebasedrollingpolicy">
            <!--路径-->
            <filenamepattern>${log_error_home}//%d.log</filenamepattern>
            <maxhistory>30</maxhistory>
        </rollingpolicy>
    </appender>
 
    <root level="info">
        <appender-ref ref="console-log" />
        <appender-ref ref="info-log" />
        <appender-ref ref="error-log" />
    </root>
</configuration>

部分标签说明

  • ?
    1
    <root>

    标签，必填标签，用来指定最基础的日志输出级别

    • <appender-ref>标签，添加append
  • ?
    1
    <append>

    标签，通过使用该标签指定日志的收集策略

    • name属性指定appender命名
    • class属性指定输出策略，通常有两种，控制台输出和文件输出，文件输出就是将日志进行一个持久化。consoleappender将日志输出到控制台
  • ?
    1
    <filter>

    标签，通过使用该标签指定过滤策略

    • <level>标签指定过滤的类型

  • <encoder>标签，使用该标签下的<pattern>标签指定日志输出格式

  • ?
    1
    <rollingpolicy>

    标签指定收集策略，比如基于时间进行收集

    • <filenamepattern>标签指定生成日志保存地址 通过这样配置已经实现了分类分天手机日志的目标了

Logback配置文件这么写(TPS提高10倍)

logback 高级特性异步输出日志

之前的日志配置方式是基于同步的，每次日志输出到文件都会进行一次磁盘io。采用异步写日志的方式而不让此次写日志发生磁盘io，阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单，添加一个基于异步写日志的appender，并指向原先配置的appender即可

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<!-- 异步输出 -->
   <appender name="async-info" class="ch.qos.logback.classic.asyncappender">
       <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃tract、debug、info级别的日志 -->
       <discardingthreshold>0</discardingthreshold>
       <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
       <queuesize>256</queuesize>
       <!-- 添加附加的appender,最多只能添加一个 -->
       <appender-ref ref="info-log"/>
   </appender>
 
   <appender name="async-error" class="ch.qos.logback.classic.asyncappender">
       <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃tract、debug、info级别的日志 -->
       <discardingthreshold>0</discardingthreshold>
       <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
       <queuesize>256</queuesize>
       <!-- 添加附加的appender,最多只能添加一个 -->
       <appender-ref ref="error-log"/>
   </appender>

异步输出日志性能测试

既然能提高性能的话，必须进行一次测试比对，同步和异步输出日志性能到底能提升多少倍？

服务器硬件

  • cpu六核
  • 内存 8g

测试工具

?
1
apache jmeter

同步输出日志

  • 线程数：100

  • ramp-up loop(可以理解为启动线程所用时间) ：0 可以理解为100个线程同时启用

  • 测试结果

    Logback配置文件这么写(TPS提高10倍)

    重点关注指标

    ?
    1
    throughput【tps】

    吞吐量：系统在单位时间内处理请求的数量，在同步输出日志中

    ?
    1
    tps

    为

    44.2/sec

异步输出日志

  • 线程数 100

  • ramp-up loop：0

  • 测试结果

    Logback配置文件这么写(TPS提高10倍)

    ?
    1
    tps

    为

    497.5/sec

    ，

    性能提升了10多倍！！！

异步日志输出原理

从logback框架下的logger.info方法开始追踪。一路的方法调用路径如下图所示：

Logback配置文件这么写(TPS提高10倍)

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic``asyncappenderbase``append

?
1
2
3
4
5
6
protected void append(e eventobject) {
        if(!this.isqueuebelowdiscardingthreshold() || !this.isdiscardable(eventobject)) {
            this.preprocess(eventobject);
            this.put(eventobject);
        }
    }

通过队列情况判断是否需要丢弃日志，不丢弃的话将它放到阻塞队列中，通过查看代码，这个阻塞队列为arrayblockingqueueu，默认大小为256，可以通过配置文件进行修改。logger.info(...)到append(...)就结束了，只做了将日志塞入到阻塞队列的事，然后继续执行logger.info(...)下面的语句了。 在asyncappenderbase类中定义了一个worker线程，run方法中的关键部分代码如下:

?
1
2
e e = parent.blockingqueue.take();
aai.appendlooponappenders(e);

从阻塞队列中取出一个日志，并调用appenderattachableimpl类中的appendlooponappenders方法维护一个append列表。worker线程中调用方法过程主要如下图：

Logback配置文件这么写(TPS提高10倍)

最主要的两个方法就是encode``write``encode

作者：何甜甜在吗链接：

最后附：项目完整代码

异步输出日志

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="console-log" class="ch.qos.logback.core.consoleappender">
        <layout class="ch.qos.logback.classic.patternlayout">
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--获取比info级别高(包括info级别)但除error级别的日志-->
    <appender name="info-log" class="ch.qos.logback.core.rolling.rollingfileappender">
        <filter class="ch.qos.logback.classic.filter.levelfilter">
            <level>error</level>
            <onmatch>deny</onmatch>
            <onmismatch>accept</onmismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </encoder>
 
        <!--滚动策略-->
        <rollingpolicy class="ch.qos.logback.core.rolling.timebasedrollingpolicy">
            <!--路径-->
            <filenamepattern>${log_info_home}//%d.log</filenamepattern>
            <maxhistory>30</maxhistory>
        </rollingpolicy>
    </appender>
    <appender name="error-log" class="ch.qos.logback.core.rolling.rollingfileappender">
        <filter class="ch.qos.logback.classic.filter.thresholdfilter">
            <level>error</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-mm-dd' 'hh:mm:ss.sss}] [%c] [%t] [%l] [%-5p] %m%n</pattern>
        </encoder>
        <!--滚动策略-->
        <rollingpolicy class="ch.qos.logback.core.rolling.timebasedrollingpolicy">
            <!--路径-->
            <filenamepattern>${log_error_home}//%d.log</filenamepattern>
            <maxhistory>30</maxhistory>
        </rollingpolicy>
    </appender>
    <!-- 异步输出 -->
    <appender name="async-info" class="ch.qos.logback.classic.asyncappender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃tract、debug、info级别的日志 -->
        <discardingthreshold>0</discardingthreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queuesize>256</queuesize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref="info-log"/>
    </appender>
 
    <appender name="async-error" class="ch.qos.logback.classic.asyncappender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃tract、debug、info级别的日志 -->
        <discardingthreshold>0</discardingthreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queuesize>256</queuesize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref="error-log"/>
    </appender>
 
    <root level="info">
        <appender-ref ref="console-log" />
        <appender-ref ref="info-log" />
        <appender-ref ref="error-log" />
    </root>
</configuration>
?
1
2
log_error_home=c://users//hetiantian//desktop//log//error
log_info_home=c://users//hetiantian//desktop//log//info

最主要的两个方法就是encode和write方法，前一个法方会根据配置文件中encode指定的方式转化为字节码，后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的，主线程将日志扔到阻塞队列中，然后又去做其他事情了。
最后附：项目完整代码

到此这篇关于Logback配置文件这么写(TPS提高10倍)的文章就介绍到这了,更多相关Logback配置文件内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://juejin.im/post/6844903909920604174

标签：
配置文件 logback 

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享 2020-04-07
Intellij idea2020永久破解，亲测可用！！！
Intellij idea2020永久破解，亲测可用！！！ 2020-07-29
男生常说24816是什么意思？女生说13579是什么意思？
男生常说24816是什么意思？女生说13579是什么意思？ 2019-09-17
沙雕群名称大全2019精选 今年最火的微信群名沙雕有创意
沙雕群名称大全2019精选 今年最火的微信群名沙雕有创意 2019-07-07
返回顶部