服务器之家

服务器之家 > 正文

Longhorn,企业级云原生容器分布式存储之监控

时间:2021-08-24 22:43     来源/作者:黑客下午茶

Longhorn,企业级云原生容器分布式存储之监控

目录

  • 设置 Prometheus 和 Grafana 来监控 Longhorn
  • 将 Longhorn 指标集成到 Rancher 监控系统中
  • Longhorn 监控指标
  • 支持 Kubelet Volume 指标
  • Longhorn 警报规则示例

设置 Prometheus 和 Grafana 来监控 Longhorn

概览

Longhorn 在 REST 端点 http://LONGHORN_MANAGER_IP:PORT/metrics 上以 Prometheus 文本格式原生公开指标。有关所有可用指标的说明,请参阅 Longhorn's metrics。您可以使用 Prometheus, Graphite, Telegraf 等任何收集工具来抓取这些指标,然后通过 Grafana 等工具将收集到的数据可视化。

本文档提供了一个监控 Longhorn 的示例设置。监控系统使用 Prometheus 收集数据和警报,使用 Grafana 将收集的数据可视化/仪表板(visualizing/dashboarding)。高级概述来看,监控系统包含:

  • Prometheus 服务器从 Longhorn 指标端点抓取和存储时间序列数据。Prometheus 还负责根据配置的规则和收集的数据生成警报。Prometheus 服务器然后将警报发送到 Alertmanager。
  • AlertManager 然后管理这些警报(alerts),包括静默(silencing)、抑制(inhibition)、聚合(aggregation)和通过电子邮件、呼叫通知系统和聊天平台等方法发送通知。
  • Grafana 向 Prometheus 服务器查询数据并绘制仪表板进行可视化。

下图描述了监控系统的详细架构。

Longhorn,企业级云原生容器分布式存储之监控

上图中有 2 个未提及的组件:

  • Longhorn 后端服务是指向 Longhorn manager pods 集的服务。Longhorn 的指标在端点 http://LONGHORN_MANAGER_IP:PORT/metrics 的 Longhorn manager pods 中公开。
  • Prometheus operator 使在 Kubernetes 上运行 Prometheus 变得非常容易。operator 监视 3 个自定义资源:ServiceMonitor、Prometheus 和 AlertManager。当用户创建这些自定义资源时,Prometheus Operator 会使用用户指定的配置部署和管理 Prometheus server, AlerManager。

安装

按照此说明将所有组件安装到 monitoring 命名空间中。要将它们安装到不同的命名空间中,请更改字段 namespace: OTHER_NAMESPACE

创建 monitoring 命名空间

  1. apiVersion: v1 
  2. kind: Namespace 
  3. metadata: 
  4.   name: monitoring 

安装 Prometheus Operator

部署 Prometheus Operator 及其所需的 ClusterRole、ClusterRoleBinding 和 Service Account。

  1. apiVersion: rbac.authorization.k8s.io/v1 
  2. kind: ClusterRoleBinding 
  3. metadata: 
  4.   labels: 
  5.     app.kubernetes.io/component: controller 
  6.     app.kubernetes.io/name: prometheus-operator 
  7.     app.kubernetes.io/version: v0.38.3 
  8.   name: prometheus-operator 
  9.   namespace: monitoring 
  10. roleRef: 
  11.   apiGroup: rbac.authorization.k8s.io 
  12.   kind: ClusterRole 
  13.   name: prometheus-operator 
  14. subjects: 
  15. - kind: ServiceAccount 
  16.   name: prometheus-operator 
  17.   namespace: monitoring 
  18. --- 
  19. apiVersion: rbac.authorization.k8s.io/v1 
  20. kind: ClusterRole 
  21. metadata: 
  22.   labels: 
  23.     app.kubernetes.io/component: controller 
  24.     app.kubernetes.io/name: prometheus-operator 
  25.     app.kubernetes.io/version: v0.38.3 
  26.   name: prometheus-operator 
  27.   namespace: monitoring 
  28. rules: 
  29. - apiGroups: 
  30.   - apiextensions.k8s.io 
  31.   resources: 
  32.   - customresourcedefinitions 
  33.   verbs: 
  34.   - create 
  35. - apiGroups: 
  36.   - apiextensions.k8s.io 
  37.   resourceNames: 
  38.   - alertmanagers.monitoring.coreos.com 
  39.   - podmonitors.monitoring.coreos.com 
  40.   - prometheuses.monitoring.coreos.com 
  41.   - prometheusrules.monitoring.coreos.com 
  42.   - servicemonitors.monitoring.coreos.com 
  43.   - thanosrulers.monitoring.coreos.com 
  44.   resources: 
  45.   - customresourcedefinitions 
  46.   verbs: 
  47.   - get 
  48.   - update 
  49. - apiGroups: 
  50.   - monitoring.coreos.com 
  51.   resources: 
  52.   - alertmanagers 
  53.   - alertmanagers/finalizers 
  54.   - prometheuses 
  55.   - prometheuses/finalizers 
  56.   - thanosrulers 
  57.   - thanosrulers/finalizers 
  58.   - servicemonitors 
  59.   - podmonitors 
  60.   - prometheusrules 
  61.   verbs: 
  62.   - '*' 
  63. - apiGroups: 
  64.   - apps 
  65.   resources: 
  66.   - statefulsets 
  67.   verbs: 
  68.   - '*' 
  69. - apiGroups: 
  70.   - "" 
  71.   resources: 
  72.   - configmaps 
  73.   - secrets 
  74.   verbs: 
  75.   - '*' 
  76. - apiGroups: 
  77.   - "" 
  78.   resources: 
  79.   - pods 
  80.   verbs: 
  81.   - list 
  82.   - delete 
  83. - apiGroups: 
  84.   - "" 
  85.   resources: 
  86.   - services 
  87.   - services/finalizers 
  88.   - endpoints 
  89.   verbs: 
  90.   - get 
  91.   - create 
  92.   - update 
  93.   - delete 
  94. - apiGroups: 
  95.   - "" 
  96.   resources: 
  97.   - nodes 
  98.   verbs: 
  99.   - list 
  100.   - watch 
  101. - apiGroups: 
  102.   - "" 
  103.   resources: 
  104.   - namespaces 
  105.   verbs: 
  106.   - get 
  107.   - list 
  108.   - watch 
  109. --- 
  110. apiVersion: apps/v1 
  111. kind: Deployment 
  112. metadata: 
  113.   labels: 
  114.     app.kubernetes.io/component: controller 
  115.     app.kubernetes.io/name: prometheus-operator 
  116.     app.kubernetes.io/version: v0.38.3 
  117.   name: prometheus-operator 
  118.   namespace: monitoring 
  119. spec: 
  120.   replicas: 1 
  121.   selector: 
  122.     matchLabels: 
  123.       app.kubernetes.io/component: controller 
  124.       app.kubernetes.io/name: prometheus-operator 
  125.   template: 
  126.     metadata: 
  127.       labels: 
  128.         app.kubernetes.io/component: controller 
  129.         app.kubernetes.io/name: prometheus-operator 
  130.         app.kubernetes.io/version: v0.38.3 
  131.     spec: 
  132.       containers: 
  133.       - args: 
  134.         - --kubelet-service=kube-system/kubelet 
  135.         - --logtostderr=true 
  136.         - --config-reloader-image=jimmidyson/configmap-reload:v0.3.0 
  137.         - --prometheus-config-reloader=quay.io/prometheus-operator/prometheus-config-reloader:v0.38.3 
  138.         image: quay.io/prometheus-operator/prometheus-operator:v0.38.3 
  139.         name: prometheus-operator 
  140.         ports: 
  141.         - containerPort: 8080 
  142.           name: http 
  143.         resources: 
  144.           limits: 
  145.             cpu: 200m 
  146.             memory: 200Mi 
  147.           requests: 
  148.             cpu: 100m 
  149.             memory: 100Mi 
  150.         securityContext: 
  151.           allowPrivilegeEscalation: false 
  152.       nodeSelector: 
  153.         beta.kubernetes.io/os: linux 
  154.       securityContext: 
  155.         runAsNonRoot: true 
  156.         runAsUser: 65534 
  157.       serviceAccountName: prometheus-operator 
  158. --- 
  159. apiVersion: v1 
  160. kind: ServiceAccount 
  161. metadata: 
  162.   labels: 
  163.     app.kubernetes.io/component: controller 
  164.     app.kubernetes.io/name: prometheus-operator 
  165.     app.kubernetes.io/version: v0.38.3 
  166.   name: prometheus-operator 
  167.   namespace: monitoring 
  168. --- 
  169. apiVersion: v1 
  170. kind: Service 
  171. metadata: 
  172.   labels: 
  173.     app.kubernetes.io/component: controller 
  174.     app.kubernetes.io/name: prometheus-operator 
  175.     app.kubernetes.io/version: v0.38.3 
  176.   name: prometheus-operator 
  177.   namespace: monitoring 
  178. spec: 
  179.   clusterIP: None 
  180.   ports: 
  181.   - name: http 
  182.     port: 8080 
  183.     targetPort: http 
  184.   selector: 
  185.     app.kubernetes.io/component: controller 
  186.     app.kubernetes.io/name: prometheus-operator 

安装 Longhorn ServiceMonitor

Longhorn ServiceMonitor 有一个标签选择器 app: longhorn-manager 来选择 Longhorn 后端服务。稍后,Prometheus CRD 可以包含 Longhorn ServiceMonitor,以便 Prometheus server 可以发现所有 Longhorn manager pods 及其端点。

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: ServiceMonitor 
  3. metadata: 
  4.   name: longhorn-prometheus-servicemonitor 
  5.   namespace: monitoring 
  6.   labels: 
  7.     name: longhorn-prometheus-servicemonitor 
  8. spec: 
  9.   selector: 
  10.     matchLabels: 
  11.       app: longhorn-manager 
  12.   namespaceSelector: 
  13.     matchNames: 
  14.     - longhorn-system 
  15.   endpoints: 
  16.   - port: manager 

安装和配置 Prometheus AlertManager

使用 3 个实例创建一个高可用的 Alertmanager 部署:

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: Alertmanager 
  3. metadata: 
  4.   name: longhorn 
  5.   namespace: monitoring 
  6. spec: 
  7.   replicas: 3 

除非提供有效配置,否则 Alertmanager 实例将无法启动。有关 Alertmanager 配置的更多说明,请参见此处。下面的代码给出了一个示例配置:

  1. global
  2.   resolve_timeout: 5m 
  3. route: 
  4.   group_by: [alertname] 
  5.   receiver: email_and_slack 
  6. receivers: 
  7. name: email_and_slack 
  8.   email_configs: 
  9.   - to: <the email address to send notifications to
  10.     from: <the sender address> 
  11.     smarthost: <the SMTP host through which emails are sent> 
  12.     # SMTP authentication information. 
  13.     auth_username: <the username> 
  14.     auth_identity: <the identity> 
  15.     auth_password: <the password
  16.     headers: 
  17.       subject: 'Longhorn-Alert' 
  18.     text: |- 
  19.       {{ range .Alerts }} 
  20.         *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}` 
  21.         *Description:* {{ .Annotations.description }} 
  22.         *Details:* 
  23.         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}` 
  24.         {{ end }} 
  25.       {{ end }} 
  26.   slack_configs: 
  27.   - api_url: <the Slack webhook URL> 
  28.     channel: <the channel or user to send notifications to
  29.     text: |- 
  30.       {{ range .Alerts }} 
  31.         *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}` 
  32.         *Description:* {{ .Annotations.description }} 
  33.         *Details:* 
  34.         {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}` 
  35.         {{ end }} 
  36.       {{ end }} 

将上述 Alertmanager 配置保存在名为 alertmanager.yaml 的文件中,并使用 kubectl 从中创建一个 secret。

Alertmanager 实例要求 secret 资源命名遵循 alertmanager-{ALERTMANAGER_NAME} 格式。在上一步中,Alertmanager 的名称是 longhorn,所以 secret 名称必须是 alertmanager-longhorn

  1. $ kubectl create secret generic alertmanager-longhorn --from-file=alertmanager.yaml -n monitoring 

为了能够查看 Alertmanager 的 Web UI,请通过 Service 公开它。一个简单的方法是使用 NodePort 类型的 Service :

  1. apiVersion: v1 
  2. kind: Service 
  3. metadata: 
  4.   name: alertmanager-longhorn 
  5.   namespace: monitoring 
  6. spec: 
  7.   type: NodePort 
  8.   ports: 
  9.   - name: web 
  10.     nodePort: 30903 
  11.     port: 9093 
  12.     protocol: TCP 
  13.     targetPort: web 
  14.   selector: 
  15.     alertmanager: longhorn 

创建上述服务后,您可以通过节点的 IP 和端口 30903 访问 Alertmanager 的 web UI。

使用上面的 NodePort 服务进行快速验证,因为它不通过 TLS 连接进行通信。您可能希望将服务类型更改为 ClusterIP,并设置一个 Ingress-controller 以通过 TLS 连接公开 Alertmanager 的 web UI。

安装和配置 Prometheus server

创建定义警报条件的 PrometheusRule 自定义资源。

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: PrometheusRule 
  3. metadata: 
  4.   labels: 
  5.     prometheus: longhorn 
  6.     role: alert-rules 
  7.   name: prometheus-longhorn-rules 
  8.   namespace: monitoring 
  9. spec: 
  10.   groups: 
  11.   - name: longhorn.rules 
  12.     rules: 
  13.     - alert: LonghornVolumeUsageCritical 
  14.       annotations: 
  15.         description: Longhorn volume {{$labels.volume}} on {{$labels.node}} is at {{$value}}% used for 
  16.           more than 5 minutes. 
  17.         summary: Longhorn volume capacity is over 90% used. 
  18.       expr: 100 * (longhorn_volume_usage_bytes / longhorn_volume_capacity_bytes) > 90 
  19.       for: 5m 
  20.       labels: 
  21.         issue: Longhorn volume {{$labels.volume}} usage on {{$labels.node}} is critical. 
  22.         severity: critical 

有关如何定义警报规则的更多信息,请参见https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/#alerting-rules

如果激活了 RBAC 授权,则为 Prometheus Pod 创建 ClusterRole 和 ClusterRoleBinding:

  1. apiVersion: v1 
  2. kind: ServiceAccount 
  3. metadata: 
  4.   name: prometheus 
  5.   namespace: monitoring 
  6. apiVersion: rbac.authorization.k8s.io/v1beta1 
  7. kind: ClusterRole 
  8. metadata: 
  9.   name: prometheus 
  10.   namespace: monitoring 
  11. rules: 
  12. - apiGroups: [""
  13.   resources: 
  14.   - nodes 
  15.   - services 
  16.   - endpoints 
  17.   - pods 
  18.   verbs: ["get""list""watch"
  19. - apiGroups: [""
  20.   resources: 
  21.   - configmaps 
  22.   verbs: ["get"
  23. - nonResourceURLs: ["/metrics"
  24.   verbs: ["get"
  25. apiVersion: rbac.authorization.k8s.io/v1beta1 
  26. kind: ClusterRoleBinding 
  27. metadata: 
  28.   name: prometheus 
  29. roleRef: 
  30.   apiGroup: rbac.authorization.k8s.io 
  31.   kind: ClusterRole 
  32.   name: prometheus 
  33. subjects: 
  34. - kind: ServiceAccount 
  35.   name: prometheus 
  36.   namespace: monitoring 

创建 Prometheus 自定义资源。请注意,我们在 spec 中选择了 Longhorn 服务监视器(service monitor)和 Longhorn 规则。

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: Prometheus 
  3. metadata: 
  4.   name: prometheus 
  5.   namespace: monitoring 
  6. spec: 
  7.   replicas: 2 
  8.   serviceAccountName: prometheus 
  9.   alerting: 
  10.     alertmanagers: 
  11.       - namespace: monitoring 
  12.         name: alertmanager-longhorn 
  13.         port: web 
  14.   serviceMonitorSelector: 
  15.     matchLabels: 
  16.       name: longhorn-prometheus-servicemonitor 
  17.   ruleSelector: 
  18.     matchLabels: 
  19.       prometheus: longhorn 
  20.       role: alert-rules 

为了能够查看 Prometheus 服务器的 web UI,请通过 Service 公开它。一个简单的方法是使用 NodePort 类型的 Service:

  1. apiVersion: v1 
  2. kind: Service 
  3. metadata: 
  4.   name: prometheus 
  5.   namespace: monitoring 
  6. spec: 
  7.   type: NodePort 
  8.   ports: 
  9.   - name: web 
  10.     nodePort: 30904 
  11.     port: 9090 
  12.     protocol: TCP 
  13.     targetPort: web 
  14.   selector: 
  15.     prometheus: prometheus 

创建上述服务后,您可以通过节点的 IP 和端口 30904 访问 Prometheus server 的 web UI。

此时,您应该能够在 Prometheus server UI 的目标和规则部分看到所有 Longhorn manager targets 以及 Longhorn rules。

使用上述 NodePort service 进行快速验证,因为它不通过 TLS 连接进行通信。您可能希望将服务类型更改为 ClusterIP,并设置一个 Ingress-controller 以通过 TLS 连接公开 Prometheus server 的 web UI。

安装 Grafana

创建 Grafana 数据源配置:

  1. apiVersion: v1 
  2. kind: ConfigMap 
  3. metadata: 
  4.   name: grafana-datasources 
  5.   namespace: monitoring 
  6. data: 
  7.   prometheus.yaml: |- 
  8.     { 
  9.         "apiVersion": 1, 
  10.         "datasources": [ 
  11.             { 
  12.                "access":"proxy"
  13.                 "editable"true
  14.                 "name""prometheus"
  15.                 "orgId": 1, 
  16.                 "type""prometheus"
  17.                 "url""http://prometheus:9090"
  18.                 "version": 1 
  19.             } 
  20.         ] 
  21.     } 

创建 Grafana 部署:

  1. apiVersion: apps/v1 
  2. kind: Deployment 
  3. metadata: 
  4.   name: grafana 
  5.   namespace: monitoring 
  6.   labels: 
  7.     app: grafana 
  8. spec: 
  9.   replicas: 1 
  10.   selector: 
  11.     matchLabels: 
  12.       app: grafana 
  13.   template: 
  14.     metadata: 
  15.       name: grafana 
  16.       labels: 
  17.         app: grafana 
  18.     spec: 
  19.       containers: 
  20.       - name: grafana 
  21.         image: grafana/grafana:7.1.5 
  22.         ports: 
  23.         - name: grafana 
  24.           containerPort: 3000 
  25.         resources: 
  26.           limits: 
  27.             memory: "500Mi" 
  28.             cpu: "300m" 
  29.           requests: 
  30.             memory: "500Mi" 
  31.             cpu: "200m" 
  32.         volumeMounts: 
  33.           - mountPath: /var/lib/grafana 
  34.             name: grafana-storage 
  35.           - mountPath: /etc/grafana/provisioning/datasources 
  36.             name: grafana-datasources 
  37.             readOnly: false 
  38.       volumes: 
  39.         - name: grafana-storage 
  40.           emptyDir: {} 
  41.         - name: grafana-datasources 
  42.           configMap: 
  43.               defaultMode: 420 
  44.               name: grafana-datasources 

在 NodePort 32000 上暴露 Grafana:

  1. apiVersion: v1 
  2. kind: Service 
  3. metadata: 
  4.   name: grafana 
  5.   namespace: monitoring 
  6. spec: 
  7.   selector: 
  8.     app: grafana 
  9.   type: NodePort 
  10.   ports: 
  11.     - port: 3000 
  12.       targetPort: 3000 
  13.       nodePort: 32000 

使用上述 NodePort 服务进行快速验证,因为它不通过 TLS 连接进行通信。您可能希望将服务类型更改为 ClusterIP,并设置一个 Ingress-controller 以通过 TLS 连接公开 Grafana。

使用端口 32000 上的任何节点 IP 访问 Grafana 仪表板。默认凭据为:

  1. User: admin 
  2. Pass: admin 

安装 Longhorn dashboard

进入 Grafana 后,导入预置的面板:https://grafana.com/grafana/dashboards/13032

有关如何导入 Grafana dashboard 的说明,请参阅 https://grafana.com/docs/grafana/latest/reference/export_import/

成功后,您应该会看到以下 dashboard:

Longhorn,企业级云原生容器分布式存储之监控

将 Longhorn 指标集成到 Rancher 监控系统中

关于 Rancher 监控系统

使用 Rancher,您可以通过与领先的开源监控解决方案 Prometheus 的集成来监控集群节点、Kubernetes 组件和软件部署的状态和进程。

有关如何部署/启用 Rancher 监控系统的说明,请参见https://rancher.com/docs/rancher/v2.x/en/monitoring-alerting/

将 Longhorn 指标添加到 Rancher 监控系统

如果您使用 Rancher 来管理您的 Kubernetes 并且已经启用 Rancher 监控,您可以通过简单地部署以下 ServiceMonitor 将 Longhorn 指标添加到 Rancher 监控中:

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: ServiceMonitor 
  3. metadata: 
  4.   name: longhorn-prometheus-servicemonitor 
  5.   namespace: longhorn-system 
  6.   labels: 
  7.     name: longhorn-prometheus-servicemonitor 
  8. spec: 
  9.   selector: 
  10.     matchLabels: 
  11.       app: longhorn-manager 
  12.   namespaceSelector: 
  13.     matchNames: 
  14.     - longhorn-system 
  15.   endpoints: 
  16.   - port: manager 

创建 ServiceMonitor 后,Rancher 将自动发现所有 Longhorn 指标。

然后,您可以设置 Grafana 仪表板以进行可视化。

Longhorn 监控指标

Volume(卷)

指标名 说明 示例
longhorn_volume_actual_size_bytes 对应节点上卷的每个副本使用的实际空间 longhorn_volume_actual_size_bytes{node="worker-2",volume="testvol"} 1.1917312e+08
longhorn_volume_capacity_bytes 此卷的配置大小(以 byte 为单位) longhorn_volume_capacity_bytes{node="worker-2",volume="testvol"} 6.442450944e+09
longhorn_volume_state 本卷状态:1=creating, 2=attached, 3=Detached, 4=Attaching, 5=Detaching, 6=Deleting longhorn_volume_state{node="worker-2",volume="testvol"} 2
longhorn_volume_robustness 本卷的健壮性: 0=unknown, 1=healthy, 2=degraded, 3=faulted longhorn_volume_robustness{node="worker-2",volume="testvol"} 1

Node(节点)

指标名 说明 示例
longhorn_node_status 该节点的状态:1=true, 0=false longhorn_node_status{condition="ready",condition_reason="",node="worker-2"} 1
longhorn_node_count_total Longhorn 系统中的节点总数 longhorn_node_count_total 4
longhorn_node_cpu_capacity_millicpu 此节点上的最大可分配 CPU longhorn_node_cpu_capacity_millicpu{node="worker-2"} 2000
longhorn_node_cpu_usage_millicpu 此节点上的 CPU 使用率 longhorn_node_cpu_usage_millicpu{node="pworker-2"} 186
longhorn_node_memory_capacity_bytes 此节点上的最大可分配内存 longhorn_node_memory_capacity_bytes{node="worker-2"} 4.031229952e+09
longhorn_node_memory_usage_bytes 此节点上的内存使用情况 longhorn_node_memory_usage_bytes{node="worker-2"} 1.833582592e+09
longhorn_node_storage_capacity_bytes 本节点的存储容量 longhorn_node_storage_capacity_bytes{node="worker-3"} 8.3987283968e+10
longhorn_node_storage_usage_bytes 该节点的已用存储 longhorn_node_storage_usage_bytes{node="worker-3"} 9.060941824e+09
longhorn_node_storage_reservation_bytes 此节点上为其他应用程序和系统保留的存储空间 longhorn_node_storage_reservation_bytes{node="worker-3"} 2.519618519e+10
 

Disk(磁盘)

指标名 说明 示例
longhorn_disk_capacity_bytes 此磁盘的存储容量 longhorn_disk_capacity_bytes{disk="default-disk-8b28ee3134628183",node="worker-3"} 8.3987283968e+10
longhorn_disk_usage_bytes 此磁盘的已用存储空间 longhorn_disk_usage_bytes{disk="default-disk-8b28ee3134628183",node="worker-3"} 9.060941824e+09
longhorn_disk_reservation_bytes 此磁盘上为其他应用程序和系统保留的存储空间 longhorn_disk_reservation_bytes{disk="default-disk-8b28ee3134628183",node="worker-3"} 2.519618519e+10

Instance Manager(实例管理器)

指标名 说明 示例
longhorn_instance_manager_cpu_usage_millicpu 这个 longhorn 实例管理器的 CPU 使用率 longhorn_instance_manager_cpu_usage_millicpu{instance_manager="instance-manager-e-2189ed13",instance_manager_type="engine",node="worker-2"} 80
longhorn_instance_manager_cpu_requests_millicpu 在这个 Longhorn 实例管理器的 kubernetes 中请求的 CPU 资源 longhorn_instance_manager_cpu_requests_millicpu{instance_manager="instance-manager-e-2189ed13",instance_manager_type="engine",node="worker-2"} 250
longhorn_instance_manager_memory_usage_bytes 这个 longhorn 实例管理器的内存使用情况 longhorn_instance_manager_memory_usage_bytes{instance_manager="instance-manager-e-2189ed13",instance_manager_type="engine",node="worker-2"} 2.4072192e+07
longhorn_instance_manager_memory_requests_bytes 这个 longhorn 实例管理器在 Kubernetes 中请求的内存 longhorn_instance_manager_memory_requests_bytes{instance_manager="instance-manager-e-2189ed13",instance_manager_type="engine",node="worker-2"} 0
 

Manager(管理器)

指标名 说明 示例
longhorn_manager_cpu_usage_millicpu 这个 Longhorn Manager 的 CPU 使用率 longhorn_manager_cpu_usage_millicpu{manager="longhorn-manager-5rx2n",node="worker-2"} 27
longhorn_manager_memory_usage_bytes 这个 Longhorn Manager 的内存使用情况 longhorn_manager_memory_usage_bytes{manager="longhorn-manager-5rx2n",node="worker-2"} 2.6144768e+07
 

支持 Kubelet Volume 指标

关于 Kubelet Volume 指标

Kubelet 公开了以下指标:

  1. kubelet_volume_stats_capacity_bytes
  2. kubelet_volume_stats_available_bytes
  3. kubelet_volume_stats_used_bytes
  4. kubelet_volume_stats_inodes
  5. kubelet_volume_stats_inodes_free
  6. kubelet_volume_stats_inodes_used

这些指标衡量与 Longhorn 块设备内的 PVC 文件系统相关的信息。

它们与 longhorn_volume_* 指标不同,后者测量特定于 Longhorn 块设备(block device)的信息。

您可以设置一个监控系统来抓取 Kubelet 指标端点以获取 PVC 的状态并设置异常事件的警报,例如 PVC 即将耗尽存储空间。

一个流行的监控设置是 prometheus-operator/kube-prometheus-stack,,它抓取 kubelet_volume_stats_* 指标并为它们提供仪表板和警报规则。

Longhorn CSI 插件支持

在 v1.1.0 中,Longhorn CSI 插件根据 CSI spec 支持 NodeGetVolumeStats RPC。

这允许 kubelet 查询 Longhorn CSI 插件以获取 PVC 的状态。

然后 kubelet 在 kubelet_volume_stats_* 指标中公开该信息。

Longhorn 警报规则示例

我们在下面提供了几个示例 Longhorn 警报规则供您参考。请参阅此处获取所有可用 Longhorn 指标的列表并构建您自己的警报规则。

  1. apiVersion: monitoring.coreos.com/v1 
  2. kind: PrometheusRule 
  3. metadata: 
  4.   labels: 
  5.     prometheus: longhorn 
  6.     role: alert-rules 
  7.   name: prometheus-longhorn-rules 
  8.   namespace: monitoring 
  9. spec: 
  10.   groups: 
  11.   - name: longhorn.rules 
  12.     rules: 
  13.     - alert: LonghornVolumeActualSpaceUsedWarning 
  14.       annotations: 
  15.         description: The actual space used by Longhorn volume {{$labels.volume}} on {{$labels.node}} is at {{$value}}% capacity for 
  16.           more than 5 minutes. 
  17.         summary: The actual used space of Longhorn volume is over 90% of the capacity. 
  18.       expr: (longhorn_volume_actual_size_bytes / longhorn_volume_capacity_bytes) * 100 > 90 
  19.       for: 5m 
  20.       labels: 
  21.         issue: The actual used space of Longhorn volume {{$labels.volume}} on {{$labels.node}} is high. 
  22.         severity: warning 
  23.     - alert: LonghornVolumeStatusCritical 
  24.       annotations: 
  25.         description: Longhorn volume {{$labels.volume}} on {{$labels.node}} is Fault for 
  26.           more than 2 minutes. 
  27.         summary: Longhorn volume {{$labels.volume}} is Fault 
  28.       expr: longhorn_volume_robustness == 3 
  29.       for: 5m 
  30.       labels: 
  31.         issue: Longhorn volume {{$labels.volume}} is Fault. 
  32.         severity: critical 
  33.     - alert: LonghornVolumeStatusWarning 
  34.       annotations: 
  35.         description: Longhorn volume {{$labels.volume}} on {{$labels.node}} is Degraded for 
  36.           more than 5 minutes. 
  37.         summary: Longhorn volume {{$labels.volume}} is Degraded 
  38.       expr: longhorn_volume_robustness == 2 
  39.       for: 5m 
  40.       labels: 
  41.         issue: Longhorn volume {{$labels.volume}} is Degraded. 
  42.         severity: warning 
  43.     - alert: LonghornNodeStorageWarning 
  44.       annotations: 
  45.         description: The used storage of node {{$labels.node}} is at {{$value}}% capacity for 
  46.           more than 5 minutes. 
  47.         summary:  The used storage of node is over 70% of the capacity. 
  48.       expr: (longhorn_node_storage_usage_bytes / longhorn_node_storage_capacity_bytes) * 100 > 70 
  49.       for: 5m 
  50.       labels: 
  51.         issue: The used storage of node {{$labels.node}} is high. 
  52.         severity: warning 
  53.     - alert: LonghornDiskStorageWarning 
  54.       annotations: 
  55.         description: The used storage of disk {{$labels.disk}} on node {{$labels.node}} is at {{$value}}% capacity for 
  56.           more than 5 minutes. 
  57.         summary:  The used storage of disk is over 70% of the capacity. 
  58.       expr: (longhorn_disk_usage_bytes / longhorn_disk_capacity_bytes) * 100 > 70 
  59.       for: 5m 
  60.       labels: 
  61.         issue: The used storage of disk {{$labels.disk}} on node {{$labels.node}} is high. 
  62.         severity: warning 
  63.     - alert: LonghornNodeDown 
  64.       annotations: 
  65.         description: There are {{$value}} Longhorn nodes which have been offline for more than 5 minutes. 
  66.         summary: Longhorn nodes is offline 
  67.       expr: longhorn_node_total - (count(longhorn_node_status{condition="ready"}==1) OR on() vector(0)) 
  68.       for: 5m 
  69.       labels: 
  70.         issue: There are {{$value}} Longhorn nodes are offline 
  71.         severity: critical 
  72.     - alert: LonghornIntanceManagerCPUUsageWarning 
  73.       annotations: 
  74.         description: Longhorn instance manager {{$labels.instance_manager}} on {{$labels.node}} has CPU Usage / CPU request is {{$value}}% for 
  75.           more than 5 minutes. 
  76.         summary: Longhorn instance manager {{$labels.instance_manager}} on {{$labels.node}} has CPU Usage / CPU request is over 300%. 
  77.       expr: (longhorn_instance_manager_cpu_usage_millicpu/longhorn_instance_manager_cpu_requests_millicpu) * 100 > 300 
  78.       for: 5m 
  79.       labels: 
  80.         issue: Longhorn instance manager {{$labels.instance_manager}} on {{$labels.node}} consumes 3 times the CPU request. 
  81.         severity: warning 
  82.     - alert: LonghornNodeCPUUsageWarning 
  83.       annotations: 
  84.         description: Longhorn node {{$labels.node}} has CPU Usage / CPU capacity is {{$value}}% for 
  85.           more than 5 minutes. 
  86.         summary: Longhorn node {{$labels.node}} experiences high CPU pressure for more than 5m. 
  87.       expr: (longhorn_node_cpu_usage_millicpu / longhorn_node_cpu_capacity_millicpu) * 100 > 90 
  88.       for: 5m 
  89.       labels: 
  90.         issue: Longhorn node {{$labels.node}} experiences high CPU pressure. 
  91.         severity: warning 

在https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/#alerting-rules 查看有关如何定义警报规则的更多信息。

原文链接:https://mp.weixin.qq.com/s/znaf4v3OBdGrLp0j23BcaQ

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
返回顶部