详解容器部署ELK7.10，适用于生产

 一、elk架构简介

• 首先 logstash 具有日志采集、过滤、筛选等功能，功能完善但同时体量也会比较大，消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具，虽然没有过滤筛选功能，但是仅仅部署在应用服务器作为我们采集日志的工具可以是说最好的选择。但我们有些时候可能又需要logstash的过滤筛选功能，所以我们在采集日志时用filebeat，然后交给logstash过滤筛选。
• 其次，logstash的吞吐量是有限的，一旦短时间内filebeat传过来的日志过多会产生堆积和堵塞，对日志的采集也会受到影响，所以在filebeat与logstash中间又加了一层kafka消息队列来缓存或者说解耦，当然redis也是可以的。这样当众多filebeat节点采集大量日志直接放到kafka中，logstash慢慢的进行消费，两边互不干扰。
• 至于zookeeper，分布式服务管理神器，监控管理kafka的节点注册，topic管理等，同时弥补了kafka集群节点对外界无法感知的问题，kafka实际已经自带了zookeeper，这里将会使用独立的zookeeper进行管理，方便后期zookeeper集群的扩展。

二、环境

• 阿里云ECS：5台部署ES节点，3台分别部署logstash、kafka、zookeeper和kibana等服务。
• 阿里云ECS配置：5台 4核16G SSD磁盘。3台 4核16G SSD磁盘。都是 Centos7.8系统
• 安装 docker 和 docker-compose
• ELK版本7.10.1;zookeeper版本3.6.2;kafka版本2.13-2.6.0;

三、系统参数优化

1. # 最大用户打开进程数 
2. $ vim /etc/security/limits.d/20-nproc.conf 
3.  
4. *           soft   nproc       65535 
5. *           hard   nproc       65535 
6.  
7. # 优化内核，用于 docker 支持 
8. $ modprobe br_netfilter 
9. $ cat <<EOF >  /etc/sysctl.d/k8s.conf 
10. net.bridge.bridge-nf-call-ip6tables = 1 
11. net.bridge.bridge-nf-call-iptables = 1 
12. net.ipv4.ip_forward = 1 
13. EOF 
14. $ sysctl -p /etc/sysctl.d/k8s.conf 
15.  
16. # 优化内核，对 es 支持 
17. $ echo 'vm.max_map_count=262144' >> /etc/sysctl.conf 
18.  
19. # 生效配置 
20. $ sysctl -p 

四、部署 docker 和 docker-compose

部署 docker

1. # 安装必要的一些系统工具 
2. $ yum install -y yum-utils device-mapper-persistent-data lvm2 
3.  
4. # 添加软件源信息 
5. $ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
6.  
7. # 更新并安装 Docker-CE 
8. $ yum makecache fast 
9. $ yum -y install docker-ce 
10.  
11. # 配置docker 
12. $ systemctl enable docker 
13. $ systemctl start docker 
14. $ vim /etc/docker/daemon.json 
15. {"data-root": "/var/lib/docker", "bip": "10.50.0.1/16", "default-address-pools": [{"base": "10.51.0.1/16", "size": 24}], "registry-mirrors": ["https://4xr1qpsp.mirror.aliyuncs.com"], "log-opts": {"max-size":"500m", "max-file":"3"}} 
16. $ sed  -i '/ExecStart=/i ExecStartPost=\/sbin\/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service 
17. $ systemctl enable docker.service 
18. $ systemctl daemon-reload 
19. $ systemctl restart docker 

部署 docker-compose

1. # 安装 docker-compose 
2. $ sudo curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 
3. $ chmod +x /usr/local/bin/docker-compose 

五、部署 ES

es-master1 操作

1. # 创建 es 目录 
2. $ mkdir /data/ELKStack 
3. $ mkdir elasticsearch elasticsearch-data elasticsearch-plugins 
4.  
5. # 容器es用户 uid 和 gid 都是 1000 
6. $ chown 1000.1000 elasticsearch-data elasticsearch-plugins 
7.  
8. # 临时启动一个es 
9. $ docker run --name es-test -it --rm docker.elastic.co/elasticsearch/elasticsearch:7.10.1 bash 
10.  
11. # 生成证书，证书有效期10年，证书输入的密码这里为空 
12. $ bin/elasticsearch-certutil ca --days 3660 
13. $ bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --days 3660 
14.  
15. # 打开新的窗口，拷贝生成的证书 
16. $ cd /data/ELKStack/elasticsearch 
17. $ mkdir es-p12 
18. $ docker cp es-test:/usr/share/elasticsearch/elastic-certificates.p12 ./es-p12 
19. $ docker cp es-test:/usr/share/elasticsearch/elastic-stack-ca.p12 ./es-p12 
20. $ chown -R 1000.1000 ./es-p12 
21.  
22. # 创建 docker-compose.yml 
23. $ vim docker-compose.yml 
24.  
25. version: '2.2' 
26. services: 
27.   elasticsearch: 
28.     image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 
29.     container_name: es01 
30.     environment: 
31.       - cluster.name=es-docker-cluster 
32.       - cluster.initial_master_nodes=es01,es02,es03 
33.       - bootstrap.memory_lock=true 
34.       - "ES_JAVA_OPTS=-Xms10000m -Xmx10000m" 
35.     ulimits: 
36.       memlock: 
37.         soft: -1 
38.         hard: -1 
39.       nofile: 
40.         soft: 65536 
41.         hard: 65536 
42.     mem_limit: 13000m 
43.     cap_add: 
44.       - IPC_LOCK 
45.     restart: always 
46.     # 设置 docker host 网络模式 
47.     network_mode: "host" 
48.     volumes: 
49.        - /data/ELKStack/elasticsearch-data:/usr/share/elasticsearch/data 
50.        - /data/ELKStack/elasticsearch-plugins:/usr/share/elasticsearch/plugins 
51.        - /data/ELKStack/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
52.        - /data/ELKStack/elasticsearch/es-p12:/usr/share/elasticsearch/config/es-p12 
53.  
54. # 创建 elasticsearch.yml 配置文件 
55. $ vim elasticsearch.yml 
56.  
57. cluster.name: "es-docker-cluster" 
58. node.name: "es01" 
59. network.host: 0.0.0.0 
60.  
61. node.master: true 
62. node.data: true 
63.  
64. discovery.zen.minimum_master_nodes: 2 
65. http.port: 9200 
66. transport.tcp.port: 9300 
67.  
68. # 如果是多节点es，通过ping来健康检查 
69. discovery.zen.ping.unicast.hosts: ["172.20.166.25:9300", "172.20.166.24:9300", "172.20.166.22:9300", "172.20.166.23:9300", "172.20.166.26:9300"] 
70. discovery.zen.fd.ping_timeout: 120s 
71. discovery.zen.fd.ping_retries: 6 
72. discovery.zen.fd.ping_interval: 10s 
73.  
74. cluster.info.update.interval: 1m 
75. indices.fielddata.cache.size:  20% 
76. indices.breaker.fielddata.limit: 40% 
77. indices.breaker.request.limit: 40% 
78. indices.breaker.total.limit: 70% 
79. indices.memory.index_buffer_size: 20% 
80. script.painless.regex.enabled: true 
81.  
82. # 磁盘分片分配 
83. cluster.routing.allocation.disk.watermark.low: 100gb 
84. cluster.routing.allocation.disk.watermark.high: 50gb 
85. cluster.routing.allocation.disk.watermark.flood_stage: 30gb 
86.  
87. # 本地数据分片恢复配置 
88. gateway.recover_after_nodes: 3 
89. gateway.recover_after_time: 5m 
90. gateway.expected_nodes: 3 
91. cluster.routing.allocation.node_initial_primaries_recoveries: 8 
92. cluster.routing.allocation.node_concurrent_recoveries: 2 
93.  
94. # 允许跨域请求 
95. http.cors.enabled: true 
96. http.cors.allow-origin: "*" 
97. http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type 
98.  
99. # 开启xpack 
100. xpack.security.enabled: true 
101. xpack.monitoring.collection.enabled: true 
102.  
103. # 开启集群中https传输 
104. xpack.security.transport.ssl.enabled: true 
105. xpack.security.transport.ssl.verification_mode: certificate 
106. xpack.security.transport.ssl.keystore.path: es-p12/elastic-certificates.p12 
107. xpack.security.transport.ssl.truststore.path: es-p12/elastic-certificates.p12 
108.  
109. # 把 es 配置使用 rsync 同步到其它 es 节点 
110. $ rsync -avp -e ssh /data/ELKStack 172.20.166.24:/data/ 
111. $ rsync -avp -e ssh /data/ELKStack 172.20.166.22:/data/ 
112. $ rsync -avp -e ssh /data/ELKStack 172.20.166.23:/data/ 
113. $ rsync -avp -e ssh /data/ELKStack 172.20.166.26:/data/ 
114.  
115. # 启动 es 
116. $ docker-compose up -d 
117.  
118. # 查看 es 
119. $ docker-compose ps 

es-master2 操作

1. $ cd /data/ELKStack/elasticsearch 
2.  
3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
4. $ sed -i 's/es01/es02/g' docker-compose.yml elasticsearch.yml 
5.  
6. # 启动 es 
7. $ docker-compose up -d 

es-master3 操作

1. $ cd /data/ELKStack/elasticsearch 
2.  
3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
4. $ sed -i 's/es01/es03/g' docker-compose.yml elasticsearch.yml 
5.  
6. # 启动 es 
7. $ docker-compose up -d 

es-data1 操作

1. $ cd /data/ELKStack/elasticsearch 
2.  
3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
4. $ sed -i 's/es01/es04/g' docker-compose.yml elasticsearch.yml 
5.  
6. # 不做为 es master 节点，只做数据节点 
7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
8.  
9. # 启动 es 
10. $ docker-compose up -d 

es-data2 操作

1. $ cd /data/ELKStack/elasticsearch 
2.  
3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
4. $ sed -i 's/es01/es05/g' docker-compose.yml elasticsearch.yml 
5.  
6. # 不做为 es master 节点，只做数据节点 
7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
8.  
9. # 启动 es 
10. $ docker-compose up -d 

设置 es 访问账号

1. # es-master1 操作 
2. $ docker exec -it es01 bash 
3.  
4. # 设置 elastic，apm_system，kibana，kibana_system，logstash_system，beats_system，remote_monitoring_user 等密码 
5. # 密码都设置为 elastic123，这里只是举例，具体根据需求设置 
6. $ ./bin/elasticsearch-setup-passwords interactive 

六、部署 Kibana

logstash3 操作

1. $ mkdir -p /data/ELKStack/kibana 
2. $ cd /data/ELKStack/kibana 
3.  
4. # 创建 kibana 相关目录，用于容器挂载 
5. $ mkdir config data plugins 
6. $ chown 1000.1000 config data plugins 
7.  
8. # 创建 docker-compose.yml 
9. $ vim docker-compose.yml 
10.  
11. version: '2' 
12. services: 
13.   kibana: 
14.     image: docker.elastic.co/kibana/kibana:7.10.1 
15.     container_name: kibana 
16.     restart: always 
17.     network_mode: "bridge" 
18.     mem_limit: 2000m 
19.     environment: 
20.       SERVER_NAME: kibana.example.com 
21.     ports: 
22.       - "5601:5601" 
23.     volumes: 
24.        - /data/ELKStack/kibana/config:/usr/share/kibana/config 
25.        - /data/ELKStack/kibana/data:/usr/share/kibana/data 
26.        - /data/ELKStack/kibana/plugins:/usr/share/kibana/plugins 
27.  
28. # 创建 kibana.yml 
29. $ vim config/kibana.yml 
30.  
31. server.name: kibana 
32. server.host: "0" 
33. elasticsearch.hosts: ["http://172.20.166.25:9200","http://172.20.166.24:9200","http://172.20.166.22:9200"] 
34. elasticsearch.username: "kibana" 
35. elasticsearch.password: "elastic123" 
36. monitoring.ui.container.elasticsearch.enabled: true 
37. xpack.security.enabled: true 
38. xpack.encryptedSavedObjects.encryptionKey: encryptedSavedObjects12345678909876543210 
39. xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210 
40. xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210 
41. i18n.locale: "zh-CN" 
42.  
43. # 启动 kibana 
44. $ docker-compose up -d 

七、部署 Zookeeper

logstash1 操作

1. # 创建 zookeeper 目录 
2. $ mkdir /data/ELKStack/zookeeper 
3. $ cd /data/ELKStack/zookeeper 
4. $ mkdir data datalog 
5. $ chown 1000.1000 data datalog 
6.  
7. # 创建 docker-compose.yml 
8. $ vim docker-compose.yml 
9.  
10. version: '2' 
11. services: 
12.   zoo1: 
13.     image: zookeeper:3.6.2 
14.     restart: always 
15.     hostname: zoo1 
16.     container_name: zoo1 
17.     network_mode: "bridge" 
18.     mem_limit: 2000m 
19.     ports: 
20.       - 2181:2181 
21.       - 3888:3888 
22.       - 2888:2888 
23.     volumes: 
24.       - /data/ELKStack/zookeeper/data:/data 
25.       - /data/ELKStack/zookeeper/datalog:/datalog 
26.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
27.     environment: 
28.       ZOO_MY_ID: 1  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
29.       ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=172.20.166.28:2888:3888;2181 server.3=172.20.166.29:2888:3888;2181 
30.       # ZOOKEEPER_CLIENT_PORT: 2181 
31.  
32. # 创建 zoo.cfg 配置 
33. $ vim zoo.cfg 
34.  
35. tickTime=2000 
36. initLimit=10 
37. syncLimit=5 
38. dataDir=/data 
39. dataLogDir=/datalog 
40. autopurge.snapRetainCount=3 
41. autopurge.purgeInterval=1 
42. maxClientCnxns=60 
43. server.1= 0.0.0.0:2888:3888;2181 
44. server.2= 172.20.166.28:2888:3888;2181 
45. server.3= 172.20.166.29:2888:3888;2181 
46.  
47. # 拷贝配置到 logstash2 logstash3 机器上 
48. $ rsync -avp -e ssh /data/ELKStack/zookeeper 172.20.166.28:/data/ELKStack/ 
49. $ rsync -avp -e ssh /data/ELKStack/zookeeper 172.20.166.29:/data/ELKStack/ 
50.  
51. # 启动 zookeeper 
52. $ docker-compose up -d 

logstash2 操作

1. $ cd /data/ELKStack/zookeeper 
2.  
3. # 修改 docker-compose.yml 文件 
4. $ vim docker-compose.yml 
5.  
6. version: '2' 
7. services: 
8.   zoo2: 
9.     image: zookeeper:3.6.2 
10.     restart: always 
11.     hostname: zoo2 
12.     container_name: zoo2 
13.     network_mode: "bridge" 
14.     mem_limit: 2000m 
15.     ports: 
16.       - 2181:2181 
17.       - 3888:3888 
18.       - 2888:2888 
19.     volumes: 
20.       - /data/ELKStack/zookeeper/data:/data 
21.       - /data/ELKStack/zookeeper/datalog:/datalog 
22.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
23.     environment: 
24.       ZOO_MY_ID: 2  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
25.       ZOO_SERVERS: server.1=172.20.166.27:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=172.20.166.29:2888:3888;2181 
26.       # ZOOKEEPER_CLIENT_PORT: 2181 
27.  
28. # 修改 zoo.cfg 
29. $ vim zoo.cfg 
30.  
31. tickTime=2000 
32. initLimit=10 
33. syncLimit=5 
34. dataDir=/data 
35. dataLogDir=/datalog 
36. autopurge.snapRetainCount=3 
37. autopurge.purgeInterval=1 
38. maxClientCnxns=60 
39. server.1= 172.20.166.27:2888:3888;2181 
40. server.2= 0.0.0.0:2888:3888;2181 
41. server.3= 172.20.166.29:2888:3888;2181 
42.  
43. # 启动 zookeeper 
44. $ docker-compose up -d 

logstash3 操作

1. $ cd /data/ELKStack/zookeeper 
2.  
3. # 修改 docker-compose.yml 文件 
4. $ vim docker-compose.yml 
5.  
6. version: '2' 
7. services: 
8.   zoo3: 
9.     image: zookeeper:3.6.2 
10.     restart: always 
11.     hostname: zoo3 
12.     container_name: zoo3 
13.     network_mode: "bridge" 
14.     mem_limit: 2000m 
15.     ports: 
16.       - 2181:2181 
17.       - 3888:3888 
18.       - 2888:2888 
19.     volumes: 
20.       - /data/ELKStack/zookeeper/data:/data 
21.       - /data/ELKStack/zookeeper/datalog:/datalog 
22.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
23.     environment: 
24.       ZOO_MY_ID: 3  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
25.       ZOO_SERVERS: server.1=172.20.166.27:2888:3888;2181 server.2=172.20.166.28:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181 
26.       # ZOOKEEPER_CLIENT_PORT: 2181 
27.  
28. # 修改 zoo.cfg 
29. $ vim zoo.cfg 
30.  
31. tickTime=2000 
32. initLimit=10 
33. syncLimit=5 
34. dataDir=/data 
35. dataLogDir=/datalog 
36. autopurge.snapRetainCount=3 
37. autopurge.purgeInterval=1 
38. maxClientCnxns=60 
39. server.1= 172.20.166.27:2888:3888;2181 
40. server.2= 172.20.166.28:2888:3888;2181 
41. server.3= 0.0.0.0:2888:3888;2181 
42.  
43. # 启动 zookeeper 
44. $ docker-compose up -d 
45.  
46. # 操作 zookeeper 
47. $ docker run -it zoo3 bash 
48. $ zkCli.sh -server 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181 

八、部署 Kafka

logstash1 操作

1. # 创建 kafka 目录 
2. $ mkdir -p /data/ELKStack/kafka 
3. $ cd /data/ELKStack/kafka 
4.  
5. # 创建数据目录，用于存储kafka容器数据 
6. $ mkdir data 
7.  
8. # 把kafka配置拷贝到宿主机上 
9. $ docker run --name kafka-test -it --rm wurstmeister/kafka:2.13-2.6.0 bash 
10. $ cd /opt/kafka 
11. $ tar zcvf /tmp/config.tar.gz config 
12.  
13. # 打开一个新的窗口 
14. $ docker cp kafka-test:/tmp/config.tar.gz ./ 
15.  
16. # 解压配置文件 
17. $ tar xf config.tar.gz 
18.  
19. # 创建 docker-compose.yml 
20. $ vim docker-compose.yml 
21.  
22. version: '2' 
23.  
24. services: 
25.   kafka1: 
26.     image: wurstmeister/kafka:2.13-2.6.0 
27.     restart: always 
28.     hostname: kafka1 
29.     container_name: kafka1 
30.     network_mode: "bridge" 
31.     mem_limit: 5120m 
32.     ports: 
33.     - 9092:9092 
34.     - 9966:9966 
35.     environment: 
36.       KAFKA_BROKER_ID: 1 
37.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.27:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
38.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.27                        # 外网访问地址 
39.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
40.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
41.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.27 -Dcom.sun.management.jmxremote.rmi.port=9966" 
42.       JMX_PORT: 9966 # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
43.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
44.     volumes: 
45.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
46.     - /data/ELKStack/kafka/config:/opt/kafka/config 
47.  
48. # 优化 kafka server.properties 配置 
49. $ vim config/server.properties 
50.  
51. # 调大socket，防止报错 
52. socket.send.buffer.bytes=1024000 
53. socket.receive.buffer.bytes=1024000 
54. socket.request.max.bytes=1048576000 
55.  
56. # topic 数据保留多久，默认168小时(7day) 
57. log.retention.hours=72 
58. log.cleanup.policy=delete 
59.  
60. # 拷贝配置到 logstash2 logstash3 机器上 
61. $ rsync -avp -e ssh /data/ELKStack/kafka 172.20.166.28:/data/ELKStack/ 
62. $ rsync -avp -e ssh /data/ELKStack/kafka 172.20.166.29:/data/ELKStack/ 
63.  
64. # 启动 kafka 
65. $ docker-compose up -d 

logstash2 操作

1. $ cd /data/ELKStack/kafka 
2.  
3. # 修改 docker-compose.yml 文件 
4. $ vim docker-compose.yml 
5.  
6. version: '2' 
7.  
8. services: 
9.   kafka2: 
10.     image: wurstmeister/kafka:2.13-2.6.0 
11.     restart: always 
12.     hostname: kafka2 
13.     container_name: kafka2 
14.     network_mode: "bridge" 
15.     mem_limit: 5120m 
16.     ports: 
17.     - 9092:9092 
18.     - 9966:9966 
19.     environment: 
20.       KAFKA_BROKER_ID: 2 
21.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.28:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
22.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.28                        # 外网访问地址 
23.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
24.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
25.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.28 -Dcom.sun.management.jmxremote.rmi.port=9966" 
26.       JMX_PORT: 9966  # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
27.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
28.     volumes: 
29.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
30.     - /data/ELKStack/kafka/config:/opt/kafka/config 
31.  
32. # 启动 kafka 
33. $ docker-compose up -d 

logstash3 操作

1. $ cd /data/ELKStack/kafka 
2.  
3. # 修改 docker-compose.yml 文件 
4. $ vim docker-compose.yml 
5.  
6. version: '2' 
7.  
8. services: 
9.   kafka3: 
10.     image: wurstmeister/kafka:2.13-2.6.0 
11.     restart: always 
12.     hostname: kafka3 
13.     container_name: kafka3 
14.     network_mode: "bridge" 
15.     mem_limit: 5120m 
16.     ports: 
17.     - 9092:9092 
18.     - 9966:9966 
19.     environment: 
20.       KAFKA_BROKER_ID: 3 
21.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.29:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
22.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.29                        # 外网访问地址 
23.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
24.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
25.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.29 -Dcom.sun.management.jmxremote.rmi.port=9966" 
26.       JMX_PORT: 9966  # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
27.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
28.     volumes: 
29.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
30.     - /data/ELKStack/kafka/config:/opt/kafka/config 
31.  
32. # 启动 kafka 
33. $ docker-compose up -d 
34.  
35. # 部署 kafka-manager 管理 kafka 平台 
36. $ mkdir /data/ELKStack/kafka-manager 
37. $ cd /data/ELKStack/kafka-manager 
38. $ vim docker-compose.yml 
39.  
40. version: '3.6' 
41. services: 
42.   kafka_manager: 
43.     restart: always 
44.     container_name: kafa-manager 
45.     hostname: kafka-manager 
46.     network_mode: "bridge" 
47.     mem_limit: 1024m 
48.     image: hlebalbau/kafka-manager:3.0.0.5-7e7a22e 
49.     ports: 
50.       - "9000:9000" 
51.     environment: 
52.       ZK_HOSTS: "172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181" 
53.       APPLICATION_SECRET: "random-secret" 
54.       KAFKA_MANAGER_AUTH_ENABLED: "true" 
55.       KAFKA_MANAGER_USERNAME: admin 
56.       KAFKA_MANAGER_PASSWORD: elastic123 
57.       JMX_PORT: 9966 
58.       TZ: "Asia/Shanghai" 
59.  
60. # 启动 kafka-manager 
61. $ docker-compose up -d 
62.  
63. # 访问 http://172.20.166.29:9000 ，把上面创建的三台 kafka 加入管理，这里不在阐述，网上很多配置教程 

九、部署 logstash

logstash1 操作

1. $ mkdir /data/ELKStack/logstash 
2. $ cd /data/ELKStack/logstash 
3. $ mkdir config data 
4. $ chown 1000.1000 config data 
5.  
6. # 创建 docker-compose.yml 
7. $ vim docker-compose.yml 
8.  
9. version: '2' 
10. services: 
11.   logstash1: 
12.     image: docker.elastic.co/logstash/logstash:7.10.1 
13.     container_name: logstash1 
14.     hostname: logstash1 
15.     restart: always 
16.     network_mode: "bridge" 
17.     mem_limit: 4096m 
18.     environment: 
19.       TZ: "Asia/Shanghai" 
20.     ports: 
21.       - 5044:5044 
22.     volumes: 
23.       - /data/ELKStack/logstash/config:/config-dir 
24.       - /data/ELKStack/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml 
25.       - /data/ELKStack/logstash/data:/usr/share/logstash/data 
26.       - /etc/localtime:/etc/localtime 
27.     user: logstash 
28.     command: bash -c "logstash -f /config-dir --config.reload.automatic" 
29.  
30. # 创建 logstash.yml 
31. $ vim logstash.yml 
32.  
33. http.host: "0.0.0.0" 
34. # 指发送到Elasticsearch的批量请求的大小，值越大，处理则通常更高效，但增加了内存开销 
35. pipeline.batch.size: 3000 
36. # 指调整Logstash管道的延迟，过了该时间则logstash开始执行过滤器和输出 
37. pipeline.batch.delay: 200 
38.  
39. # 创建 logstash 规则配置 
40. $ vim config/01-input.conf 
41.  
42. input {                                        # 输入组件 
43.     kafka {                                    # 从kafka消费数据 
44.         bootstrap_servers => ["172.20.166.27:9092,172.20.166.28:9092,172.20.166.29:9092"] 
45.         #topics => "%{[@metadata][topic]}"     # 使用kafka传过来的topic 
46.         topics_pattern => "elk-.*"             # 使用正则匹配topic 
47.         codec => "json"                        # 数据格式 
48.         consumer_threads => 3                  # 消费线程数量 
49.         decorate_events => true                # 可向事件添加Kafka元数据，比如主题、消息大小的选项，这将向logstash事件中添加一个名为kafka的字段 
50.         auto_offset_reset => "latest"          # 自动重置偏移量到最新的偏移量 
51.         group_id => "logstash-node"            # 消费组ID，多个有相同group_id的logstash实例为一个消费组 
52.         client_id => "logstash1"               # 客户端ID 
53.         fetch_max_wait_ms => "1000"            # 指当没有足够的数据立即满足fetch_min_bytes时，服务器在回答fetch请求之前将阻塞的最长时间 
54.   } 
55. } 
56.  
57. $ vim config/02-output.conf 
58.  
59. output {                                       # 输出组件 
60.     elasticsearch { 
61.         # Logstash输出到es 
62.         hosts => ["172.20.166.25:9200", "172.20.166.24:9200", "172.20.166.22:9200", "172.20.166.23:9200", "172.20.166.26:9200"] 
63.         index => "%{[fields][source]}-%{+YYYY-MM-dd}"      # 直接在日志中匹配，索引会去掉elk 
64.         # index => "%{[@metadata][topic]}-%{+YYYY-MM-dd}"  # 以日期建索引 
65.         user => "elastic" 
66.         password => "elastic123" 
67.     } 
68.     #stdout { 
69.     #    codec => rubydebug 
70.     #} 
71. } 
72.  
73. $ vim config/03-filter.conf 
74.  
75. filter { 
76.    # 当非业务字段时，无traceId则移除 
77.    if ([message] =~ "traceId=null") {          # 过滤组件，这里只是展示，无实际意义，根据自己的业务需求进行过滤 
78.       drop {} 
79.    } 
80. } 
81.  
82. # 拷贝配置到 logstash2 logstash3 机器上 
83. $ rsync -avp -e ssh /data/ELKStack/logstash 172.20.166.28:/data/ELKStack/ 
84. $ rsync -avp -e ssh /data/ELKStack/logstash 172.20.166.29:/data/ELKStack/ 
85.  
86. # 启动 logstash 
87. $ docker-compose up -d 

logstash2 操作

1. $ cd /data/ELKStack/logstash 
2. $ sed -i 's/logstash1/logstash2/g' docker-compose.yml 
3. $ sed -i 's/logstash1/logstash2/g' config/01-input.conf 
4.  
5. # 启动 logstash 
6. $ docker-compose up -d 

logstash3 操作

1. $ cd /data/ELKStack/logstash 
2. $ sed -i 's/logstash1/logstash3/g' docker-compose.yml 
3. $ sed -i 's/logstash1/logstash3/g' config/01-input.conf 
4.  
5. # 启动 logstash 
6. $ docker-compose up -d 

十、部署 filebeat

1. # 配置 filebeat yum源，这里以 centos7 为例 
2. $ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 
3.  
4. $ vim /etc/yum.repos.d/elastic.repo 
5.  
6. [elastic-7.x] 
7. name=Elastic repository for 7.x packages 
8. baseurl=https://artifacts.elastic.co/packages/7.x/yum 
9. gpgcheck=1 
10. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
11. enabled=1 
12. autorefresh=1 
13. type=rpm-md 
14.  
15. $ yum install -y filebeat-7.10.1 
16. $ systemctl enable filebeat 
17.  
18. # 配置 
19. $ cd /etc/filebeat/ 
20. $ cp -a filebeat.yml filebeat.yml.old 
21. $ echo > filebeat.yml 
22.  
23. # 以收集nginx访问日志为例 
24. $ vim filebeat.yml 
25.  
26. filebeat.inputs:                   # inputs为复数，表名type可以有多个 
27. - type: log                        # 输入类型 
28.   access: 
29.   enabled: true                    # 启用这个type配置 
30.   json.keys_under_root: true       # 默认这个值是FALSE的，也就是我们的json日志解析后会被放在json键上。设为TRUE，所有的keys就会被放到根节点 
31.   json.overwrite_keys: true        # 是否要覆盖原有的key，这是关键配置，将keys_under_root设为TRUE后，再将overwrite_keys也设为TRUE，就能把filebeat默认的key值给覆盖 
32.   max_bytes: 20480                 # 单条日志的大小限制,建议限制(默认为10M,queue.mem.events * max_bytes 将是占有内存的一部分) 
33.   paths: 
34.     - /var/log/nginx/access.log    # 监控nginx 的access日志 
35.  
36.   fields:                          # 额外的字段 
37.     source: nginx-access-prod      # 自定义source字段，用于es建议索引（字段名小写，我记得大写好像不行） 
38.  
39. # 自定义es的索引需要把ilm设置为false 
40. setup.ilm.enabled: false 
41.  
42. output.kafka:            # 输出到kafka 
43.   enabled: true          # 该output配置是否启用 
44.   hosts: ["172.20.166.27:9092", "172.20.166.28:9092", "172.20.166.29:9092"]  # kafka节点列表 
45.   topic: "elk-%{[fields.source]}"   # kafka会创建该topic，然后logstash(可以过滤修改)会传给es作为索引名称 
46.   partition.hash: 
47.     reachable_only: true # 是否只发往可达分区 
48.   compression: gzip      # 压缩 
49.   max_message_bytes: 1000000  # Event最大字节数。默认1000000。应小于等于kafka broker message.max.bytes值 
50.   required_acks: 1  # kafka ack等级 
51.   worker: 1  # kafka output的最大并发数 
52.   bulk_max_size: 2048    # 单次发往kafka的最大事件数 
53. logging.to_files: true   # 输出所有日志到file，默认true， 达到日志文件大小限制时，日志文件会自动限制替换，详细配置：https://www.cnblogs.com/qinwengang/p/10982424.html 
54. close_older: 30m         # 如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle。默认1h 
55. force_close_files: false # 这个选项关闭一个文件,当文件名称的变化。只在window建议为true 
56.  
57. # 没有新日志采集后多长时间关闭文件句柄，默认5分钟，设置成1分钟，加快文件句柄关闭 
58. close_inactive: 1m 
59.  
60. # 传输了3h后荏没有传输完成的话就强行关闭文件句柄，这个配置项是解决以上案例问题的key point 
61. close_timeout: 3h 
62.  
63. # 这个配置项也应该配置上，默认值是0表示不清理，不清理的意思是采集过的文件描述在registry文件里永不清理，在运行一段时间后，registry会变大，可能会带来问题 
64. clean_inactive: 72h 
65.  
66. # 设置了clean_inactive后就需要设置ignore_older，且要保证ignore_older < clean_inactive 
67. ignore_older: 70h 
68.  
69. # 限制 CPU和内存资源 
70. max_procs: 1 # 限制一个CPU核心,避免过多抢占业务资源 
71. queue.mem.events: 256 # 存储于内存队列的事件数，排队发送 (默认4096) 
72. queue.mem.flush.min_events: 128 # 小于 queue.mem.events ,增加此值可提高吞吐量 (默认值2048) 
73.  
74. # 启动 filebeat 
75. $ systemctl start filebeat 

十一、部署 curator，定时清理es索引

logstash3 机器操作

1. # 参考链接：https://www.elastic.co/guide/en/elasticsearch/client/curator/current/yum-repository.html 
2.  
3. # 安装 curator 服务，以 centos7 为例 
4. $ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch 
5.  
6. $ vim /etc/yum.repos.d/elk-curator-5.repo 
7.  
8. [curator-5] 
9. name=CentOS/RHEL 7 repository for Elasticsearch Curator 5.x packages 
10. baseurl=https://packages.elastic.co/curator/5/centos/7 
11. gpgcheck=1 
12. gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch 
13. enabled=1 
14.  
15. $ yum install elasticsearch-curator -y 
16.  
17. # 创建 curator 配置文件目录与输出日志目录 
18. $ mkdir -p /data/ELKStack/curator/logs 
19. $ cd /data/ELKStack/curator 
20.  
21. $ vim config.yml 
22.  
23. --- 
24. # Remember, leave a key empty if there is no value.  None will be a string, 
25. # # not a Python "NoneType" 
26. client: 
27.   hosts: ["172.20.166.25", "172.20.166.24", "172.20.166.22", "172.20.166.23", "172.20.166.26"] 
28.   port: 9200 
29.   url_prefix: 
30.   use_ssl: False 
31.   certificate: 
32.   client_cert: 
33.   client_key: 
34.   ssl_no_validate: False 
35.   http_auth: elastic:elastic123 
36.   timeout: 150 
37.   master_only: False 
38.  
39. logging: 
40.   loglevel: INFO 
41.   logfile: /data/ELKStack/curator/logs/curator.log 
42.   logformat: default 
43.   blacklist: ['elasticsearch', 'urllib3'] 
44.  
45. $ vim action.yml 
46.  
47. --- 
48. # Remember, leave a key empty if there is no value.  None will be a string, 
49. # not a Python "NoneType" 
50. # 
51. # Also remember that all examples have 'disable_action' set to True.  If you 
52. # want to use this action as a template, be sure to set this to False after 
53. # copying it. 
54. actions: 
55.   1: 
56.     action: delete_indices 
57.     description: >- 
58.       Delete indices older than 30 days. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly. 
59.     options: 
60.       ignore_empty_list: True 
61.       disable_action: False 
62.     filters: 
63.     - filtertype: pattern 
64.       kind: regex 
65.       value: '^((?!(kibana|json|monitoring|metadata|apm|async|transform|siem|security)).)*$' 
66.     - filtertype: age 
67.       source: creation_date 
68.       direction: older 
69.       #timestring: '%Yi-%m-%d' 
70.       unit: days 
71.       unit_count: 30 
72.   2: 
73.     action: delete_indices 
74.     description: >- 
75.       Delete indices older than 15 days. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly. 
76.     options: 
77.       ignore_empty_list: True 
78.       disable_action: False 
79.     filters: 
80.     - filtertype: pattern 
81.       kind: regex 
82.       value: '^(nginx-).*$' 
83.     - filtertype: age 
84.       source: creation_date 
85.       direction: older 
86.       #timestring: '%Yi-%m-%d' 
87.       unit: days 
88.       unit_count: 15 
89.  
90. # 设置定时任务清理es索引 
91. $ crontab -e 
92.  
93. 0 0 * * * /usr/bin/curator --config /data/ELKStack/curator/config.yml /data/ELKStack/curator/action.yml 

十二、参考链接

• es证书配置：https://cloud.tencent.com/developer/article/1549834
• es忘记密码找回：https://www.cnblogs.com/woshimrf/p/docker-es7.html
• es设置密码：https://blog.csdn.net/extraordinarylife/article/details/107917764?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242
• elk-kafka部署 1：https://www.codenong.com/cs106056710/
• elk-kafka部署 2：https://www.cnblogs.com/lz0925/p/12061293.html
• elk优化：https://www.clxz.top/2020/06/19/elk-kafka-optimization/
• es7索引分片：https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html
• filebeat优化：https://www.jianshu.com/p/389702465461
• kafka数据与日志清理：https://blog.csdn.net/VIP099/article/details/106257561

原文地址：https://mp.weixin.qq.com/s/Hx2lNG4D6vhgjd1Ftaa8GA