腾讯云 K8S 集群实战 Service Mesh—Linkerd2 & Traefik2 部署 emojivoto 应用

Linkerd 是 Kubernetes 的服务网格。它通过为您提供运行时调试(runtime debugging)、可观察性(observability)、可靠性(reliability)和安全性(security)，使运行服务更轻松、更安全 — 所有这些都不需要对您的代码进行任何更改。

服务网格是用于处理服务间通信的专用基础设施层。它负责通过包含现代云原生应用程序的复杂服务拓扑来可靠地传递请求。实际上，服务网格通常通过一组轻量级网络代理来实现，这些代理与应用程序代码一起部署，而不需要感知应用程序本身。— Willian Morgan Buoyant CEO

为什么我们需要 Service Mesh?

1.What's a service mesh? And why do I need one? 一文中做了详细的解释，这里不再赘述。拥抱云原生，微服务已进入 Service Mesh 时代。

https://buoyant.io/2020/10/12/what-is-a-service-mesh/

为什么折腾 Linkerd2 而不是 Istio?

2.Benchmarking Linkerd and Istio

https://linkerd.io/2021/05/27/linkerd-vs-istio-benchmarks/

部署环境

• 腾讯云 TKE K8S 集群(或你自建的私有 K8S 集群)
• CentOS 7.x

可先快速过一个官方上手教程，本文是基于此在腾讯云的实战详解。

• 快速上手 Linkerd v2 Service Mesh(服务网格)
• Getting Started

https://linkerd.io/2.10/getting-started

查看集群版本

kubectl version --short

1. Client Version: v1.16.9 
2. Server Version: v1.16.9 

Linkerd2 CLI 安装

首先我们需要下载并安装最新版本的 linkerd CLI。

我们直接进入 Linkerd2 版本发行页面，查看最新版：

https://github.com/linkerd/linkerd2/releases/

这里我们下载 linkerd2-cli-edge-21.6.1-linux-amd64。

https://github.com/linkerd/linkerd2/releases/download/edge-21.6.1/linkerd2-cli-edge-21.6.1-linux-amd64

安装：

1. wget -c https://github.com/linkerd/linkerd2/releases/download/edge-21.6.1/linkerd2-cli-edge-21.6.1-linux-amd64 
2.  
3. mv linkerd2-cli-edge-21.6.1-linux-amd64 /usr/local/bin/linkerd 
4.  
5. chmod 755 /usr/local/bin/linkerd 

现在我们运行 linkerd，会看到如下信息：

1. Usage: 
2.   linkerd [command] 
3.  
4. Available Commands: 
5.   check        Check the Linkerd installation for potential problems 
6.   completion   Output shell completion code for the specified shell (bash, zsh or fish) 
7.   diagnostics  Commands used to diagnose Linkerd components 
8.   help         Help about any command 
9.   identity     Display the certificate(s) of one or more selected pod(s) 
10.   inject       Add the Linkerd proxy to a Kubernetes config 
11.   install      Output Kubernetes configs to install Linkerd 
12.   install-cni  Output Kubernetes configs to install Linkerd CNI 
13.   jaeger       jaeger manages the jaeger extension of Linkerd service mesh 
14.   multicluster Manages the multicluster setup for Linkerd 
15.   profile      Output service profile config for Kubernetes 
16.   repair       Output the secret/linkerd-config-overrides resource if it has been deleted 
17.   uninject     Remove the Linkerd proxy from a Kubernetes config 
18.   uninstall    Output Kubernetes resources to uninstall Linkerd control plane 
19.   upgrade      Output Kubernetes configs to upgrade an existing Linkerd control plane 
20.   version      Print the client and server version information 
21.   viz          viz manages the linkerd-viz extension of Linkerd service mesh 
22.  
23. Flags: 
24.       --api-addr string            Override kubeconfig and communicate directly with the control plane at host:port (mostly for testing) 
25.       --as string                  Username to impersonate for Kubernetes operations 
26.       --as-group stringArray       Group to impersonate for Kubernetes operations 
27.       --cni-namespace string       Namespace in which the Linkerd CNI plugin is installed (default "linkerd-cni") 
28.       --context string             Name of the kubeconfig context to use 
29.   -h, --help                       help for linkerd 
30.       --kubeconfig string          Path to the kubeconfig file to use for CLI requests 
31.   -L, --linkerd-namespace string   Namespace in which Linkerd is installed ($LINKERD_NAMESPACE) (default "linkerd") 
32.       --verbose                    Turn on debug logging 
33.  
34. Additional help topics: 
35.   linkerd alpha        experimental subcommands for Linkerd 
36.  
37. Use "linkerd [command] --help" for more information about a command. 

安装 Linkerd2 控制平面

首先，我们需要验证下集群，使用 linkerd check --pre，正常会输出如下信息：

1. Linkerd core checks 
2. =================== 
3.  
4. kubernetes-api 
5. -------------- 
6. √ can initialize the client 
7. √ can query the Kubernetes API 
8.  
9. kubernetes-version 
10. ------------------ 
11. √ is running the minimum Kubernetes API version 
12. √ is running the minimum kubectl version 
13.  
14. pre-kubernetes-setup 
15. -------------------- 
16. √ control plane namespace does not already exist 
17. √ can create non-namespaced resources 
18. √ can create ServiceAccounts 
19. √ can create Services 
20. √ can create Deployments 
21. √ can create CronJobs 
22. √ can create ConfigMaps 
23. √ can create Secrets 
24. √ can read Secrets 
25. √ can read extension-apiserver-authentication configmap 
26. √ no clock skew detected 
27.  
28. pre-kubernetes-capability 
29. ------------------------- 
30. √ has NET_ADMIN capability 
31. √ has NET_RAW capability 
32.  
33. linkerd-version 
34. --------------- 
35. √ can determine the latest version 
36. √ cli is up-to-date 
37.  
38. Status check results are √ 

部署控制平面：

1. linkerd install | kubectl apply -f - 

查看 linkerd 命名空间的 pod 部署情况：

1. kubectl get po -n linkerd 
2.  
3. NAME                                      READY   STATUS    RESTARTS   AGE 
4. linkerd-destination-6c6bf4fc4-282gd       3/3     Running   0          5m 
5. linkerd-identity-7cd9998969-cvzc8         2/2     Running   0          5m 
6. linkerd-proxy-injector-855b9b6747-r8pcz   2/2     Running   0          5m 

同样，我们使用 linkerd check 检查一下。

ok, 接下来我们部署一些常用的扩展，增强我们控制平面的功能。

安装 Linkerd2 控制平面常用扩展

grafana，prometheus，jaeger 等的部署(针对 Linkerd 2 的相关指标)

使用如下命令：

1. linkerd viz install | kubectl apply -f - # on-cluster metrics stack 
2.  
3. kubectl get po -n linkerd-viz #审查 namespace, 直到所 pod 都 ready 
4.  
5. # grafana-5659477d88-txq5b        0/2     PodInitializing   0          14m 
6. # metrics-api-6fcb849dc-k9sw5     2/2     Running           0          14m 
7. # prometheus-798d8d4698-4x8h2     2/2     Running           0          14m 
8. # tap-f5984d7f7-fkpf9             0/2     PodInitializing   0          14m 
9. # tap-injector-6b455dd64b-2c82n   0/2     PodInitializing   0          14m 
10. # web-657dbffb8f-7d2gr            0/2     PodInitializing   0          14m 

如果出现某一个 pod 出现错误，我们可以通过 kubectl describe po 来获取详细错误信息，如：

1. kubectl describe po grafana-5659477d88-txq5b -n linkerd-viz 

比如说，我这里如下镜像就被卡住了(腾讯云)：

1. cr.l5d.io/linkerd/grafana:edge-21.6.1 
2. cr.l5d.io/linkerd/tap:edge-21.6.1 
3. cr.l5d.io/linkerd/web:edge-21.6.1 

大家可以(科学上网)手动拉取。

同样，我们再部署两个可选的扩展。

部署 jaeger：

1. ## optional 
2. linkerd jaeger install | kubectl apply -f - # Jaeger collector and UI 
3.  
4. kubectl get po -n linkerd-jaeger #审查 namespace 
5. # OR: 
6. # docker pull cr.l5d.io/linkerd/jaeger-webhook:edge-21.6.1 
7. # docker pull jaegertracing/all-in-one:1.19.2 

部署 multicluster：

1. linkerd multicluster install | kubectl apply -f - # multi-cluster components 
2. kubectl get po -n linkerd-multicluster 
3.  
4. # 果然报错了 
5. linkerd-gateway-bcb5888c5-ws6wz   1/2     ErrImagePull   0          21s 

查看报错信息：

1. kubectl describe po linkerd-gateway-bcb5888c5-ws6wz -n linkerd-multicluster 
2. # Normal   BackOff    21s (x5 over 2m13s)  kubelet, k8s-master-01  Back-off pulling image "gcr.io/google_containers/pause" 
3. # Warning  Failed     21s (x5 over 2m13s)  kubelet, k8s-master-01  Error: ImagePullBackOff 

很明显(gcr.io/google_containers/pause)，我们需要科学上网(具体怎么做，太多教程了，这里不讨论)。

还有一个问题比较棘手的是，这里即使 gcr.io/google_containers/pause 已经存在于本地，部署时还是回去 gcr.io 拉取。

所以，下面提供另一种方式来弄(没连外网的情况下)。

使用 kustomize 解决 linkerd-gateway (腾讯云部署)不成功的问题

kustomize 如何安装，大家自行查看 https://kustomize.io。

首先，导出 linkerd multicluster 部署 yaml 档。

1. linkerd multicluster install > linkerd-multicluster.yaml 

然后，我们给它打个补丁patch-linkerd-multicluster.yaml：

1. apiVersion: apps/v1 
2. kind: Deployment 
3. metadata: 
4.   annotations: 
5.     linkerd.io/created-by: linkerd/cli edge-21.6.1 
6.   labels: 
7.     app.kubernetes.io/name: gateway 
8.     app.kubernetes.io/part-of: Linkerd 
9.     app.kubernetes.io/version: edge-21.6.1 
10.     linkerd.io/control-plane-component: gateway 
11.     app: linkerd-gateway 
12.     linkerd.io/extension: multicluster 
13.   name: linkerd-gateway 
14.   namespace: linkerd-multicluster 
15. spec: 
16.   replicas: 1 
17.   selector: 
18.     matchLabels: 
19.       app: linkerd-gateway 
20.   template: 
21.     metadata: 
22.       annotations: 
23.         linkerd.io/created-by: linkerd/cli edge-21.6.1 
24.         linkerd.io/inject: enabled 
25.         config.linkerd.io/proxy-require-identity-inbound-ports: "4191,4143" 
26.         config.linkerd.io/enable-gateway: "true" 
27.       labels: 
28.         app: linkerd-gateway 
29.     spec: 
30.       containers: 
31.         - name: pause 
32.           image: ccr.ccs.tencentyun.com/cloud-native/google-pause 
33.       serviceAccountName: linkerd-gateway 

ccr.ccs.tencentyun.com/cloud-native/google-pause，这是笔者上传到腾讯云的公开镜像。

新建 kustomization.yaml：

1. resources: 
2. - linkerd-multicluster.yaml 
3. patchesStrategicMerge: 
4. - patch-linkerd-multicluster.yaml 

使用 kustomize 重新部署：

1. kustomize build . | kubectl apply -f - 

重新查看一下：

1. kubectl get po -n linkerd-multicluster 
2. # linkerd-gateway-6c8dc7bb49-6tghc   2/2     Running   0          92s 

完美解决。

使用 Traefik Ingressroute 导出 linkerd-web 管理面板

关于 traefik v2 的部署，这里不做赘述。

使用 kustomize 对 linkerd viz 部署进行更新

我这里使用的域名是 linkerd-web.hacker-linner.com。

导出 yaml 档：

1. linkerd viz install > linkerd-viz.yaml 

打补丁，patch-linkerd-viz-web.yaml：

1. apiVersion: apps/v1 
2. kind: Deployment 
3. metadata: 
4.   annotations: 
5.     linkerd.io/created-by: linkerd/helm edge-21.6.1 
6.   labels: 
7.     linkerd.io/extension: viz 
8.     app.kubernetes.io/name: web 
9.     app.kubernetes.io/part-of: Linkerd 
10.     app.kubernetes.io/version: edge-21.6.1 
11.     component: web 
12.     namespace: linkerd-viz 
13.   name: web 
14.   namespace: linkerd-viz 
15. spec: 
16.   replicas: 1 
17.   selector: 
18.     matchLabels: 
19.       linkerd.io/extension: viz 
20.       component: web 
21.       namespace: linkerd-viz 
22.   template: 
23.     metadata: 
24.       annotations: 
25.         linkerd.io/created-by: linkerd/helm edge-21.6.1 
26.       labels: 
27.         linkerd.io/extension: viz 
28.         component: web 
29.         namespace: linkerd-viz 
30.     spec: 
31.       nodeSelector: 
32.         beta.kubernetes.io/os: linux 
33.       containers: 
34.       - args: 
35.         - -linkerd-metrics-api-addr=metrics-api.linkerd-viz.svc.cluster.local:8085 
36.         - -cluster-domain=cluster.local 
37.         - -grafana-addr=grafana.linkerd-viz.svc.cluster.local:3000 
38.         - -controller-namespace=linkerd 
39.         - -viz-namespace=linkerd-viz 
40.         - -log-level=info 
41.         - -enforced-host=^(linkerd-web\.hacker-linner\.com|localhost|127\.0\.0\.1|web\.linkerd-viz\.svc\.cluster\.local|web\.linkerd-viz\.svc|\[::1\])(:\d+)?$ 
42.         image: cr.l5d.io/linkerd/web:edge-21.6.1 
43.         imagePullPolicy: IfNotPresent 
44.         livenessProbe: 
45.           httpGet: 
46.             path: /ping 
47.             port: 9994 
48.           initialDelaySeconds: 10 
49.         name: web 
50.         ports: 
51.         - containerPort: 8084 
52.           name: http 
53.         - containerPort: 9994 
54.           name: admin-http 
55.         readinessProbe: 
56.           failureThreshold: 7 
57.           httpGet: 
58.             path: /ready 
59.             port: 9994 
60.         resources: 
61.         securityContext: 
62.           runAsUser: 2103 
63.       serviceAccountName: web 

更新 kustomization.yaml：

1. resources: 
2. - linkerd-viz.yaml 
3. - linkerd-multicluster.yaml 
4. patchesStrategicMerge: 
5. - patch-linkerd-viz-web.yaml 
6. - patch-linkerd-multicluster.yaml 

重新部署

1. kustomize build . | kubectl apply -f - 

设置 Ingressroute & Basic Auth

1. ingressroute-viz.yaml 

1. apiVersion: v1 
2. kind: Secret 
3. metadata: 
4.   name: linkerd-authsecret 
5.   namespace: linkerd-viz 
6. type: Opaque 
7. stringData: 
8.   users: # 这里使用 htpasswd -nb 进行设置 
9. --- 
10. apiVersion: traefik.containo.us/v1alpha1 
11. kind: Middleware 
12. metadata: 
13.   name: linkerd-basic-auth 
14.   namespace: linkerd-viz 
15. spec: 
16.   basicAuth: 
17.     secret: linkerd-authsecret 
18. --- 
19. apiVersion: traefik.containo.us/v1alpha1 
20. kind: Middleware 
21. metadata: 
22.   name: l5d-header-middleware 
23.   namespace: linkerd-viz 
24. spec: 
25.   headers: 
26.     customRequestHeaders: 
27.       l5d-dst-override: "web.linkerd-viz.svc.cluster.local:8084" 
28. --- 
29. apiVersion: traefik.containo.us/v1alpha1 
30. kind: IngressRoute 
31. metadata: 
32.   name: linkerd-web-ingress-route 
33.   namespace: linkerd-viz 
34. spec: 
35.   entryPoints: 
36.     - websecure 
37.   tls: 
38.     secretName: hacker-linner-cert-tls 
39.   routes: 
40.     - match: Host(`linkerd-web.hacker-linner.com`) 
41.       kind: Rule 
42.       services: 
43.         - name: web 
44.           port: 8084 
45.       middlewares: 
46.         - name: l5d-header-middleware 
47.         - name: linkerd-basic-auth 

部署：

1. kubectl apply -f ingressroute-viz.yaml 

 

部署 emojivoto

运行如下命令：

1. curl -sL https://run.linkerd.io/emojivoto.yml \ 
2.   | kubectl apply -f 

审查部署：

1. kubectl get po -n  emojivoto 
2. # OR 
3. # docker pull docker.l5d.io/buoyantio/emojivoto-emoji-svc:v11 
4. # docker pull docker.l5d.io/buoyantio/emojivoto-web:v11 
5. # docker pull docker.l5d.io/buoyantio/emojivoto-voting-svc:v11 
6.  
7. emoji-6b776684f5-nnflg      1/1     Running   0          6m4s 
8. vote-bot-64695c4dc6-jn8ln   1/1     Running   0          6m4s 
9. voting-7778876bdb-kdvsx     1/1     Running   0          6m4s 
10. web-6f8d774656-9dsw7        1/1     Running   0          6m4s 

设置 Ingressroute

这里是：https://emojivoto.hacker-linner.com

1. emojivoto-ingressroute.yaml 

1. apiVersion: traefik.containo.us/v1alpha1 
2. kind: IngressRoute 
3. metadata: 
4.   name: emojivoto-web-ingress-route 
5.   namespace: emojivoto 
6. spec: 
7.   entryPoints: 
8.     - websecure 
9.   tls: 
10.     secretName: hacker-linner-cert-tls 
11.   routes: 
12.     - match: Host(`emojivoto.hacker-linner.com`) 
13.       kind: Rule 
14.       services: 
15.         - name: web-svc 
16.           port: 80 

 

Service Mesh(Linkerd) 注入

添加 Linkerd 到 emojivoto：

1. kubectl get -n emojivoto deploy -o yaml \ 
2.   | linkerd inject - \ 
3.   | kubectl apply -f - 

审查一下是否一切正常：

1. linkerd -n emojivoto check --proxy 

回到面板查看 emojivoto：

完美搞定，一切正常。

最后看一下 Grafana 面板：

Refs

• What's a service mesh? And why do I need one?
• https://buoyant.io/2020/10/12/what-is-a-service-mesh
• 快速上手 Linkerd v2 Service Mesh(服务网格)
• Getting Started
• https://linkerd.io/2.10/getting-started

原文链接：https://mp.weixin.qq.com/s/i4jmkgfYf8dSRV3U24WboA