可以像 Docker 一样方便的使用 Containerd 吗？

前面我们介绍了可以使用 ctr 操作管理 containerd 镜像容器，但是大家都习惯了使用 docker cli，ctr 使用起来可能还是不太顺手，为了能够让大家更好的转到 containerd 上面来，社区提供了一个新的命令行工具：nerdctl(https://github.com/containerd/nerdctl)。nerdctl 是一个与 docker cli 风格兼容的 containerd 客户端工具，而且直接兼容 docker compose 的语法的，这就大大提高了直接将 containerd 作为本地开发、测试或者单机容器部署使用的效率。

安装

同样直接在 GitHub Release 页面下载对应的压缩包解压到 PATH 路径下即可：

1. # 如果没有安装 containerd，则可以下载 nerdctl-full-<VERSION>-linux-amd64.tar.gz 包进行安装 
2. ➜  ~ wget https://github.com/containerd/nerdctl/releases/download/v0.11.0/nerdctl-0.11.0-linux-amd64.tar.gz 
3. # 如果有限制，也可以替换成下面的 URL 加速下载 
4. # wget https://download.fastgit.org/containerd/nerdctl/releases/download/v0.11.0/nerdctl-0.11.0-linux-amd64.tar.gz 
5. ➜  ~ mkdir -p /usr/local/containerd/bin/ && tar -zxvf nerdctl-0.11.0-linux-amd64.tar.gz nerdctl && mv nerdctl /usr/local/containerd/bin/ 
6. ➜  ~ ln -s /usr/local/containerd/bin/nerdctl /usr/local/bin/nerdctl 
7. ➜  ~ nerdctl version 
8. Client: 
9.  Version:       v0.11.0 
10.  Git commit:    c802f934791f83dacf20a041cd1c865f8fac954e 
11.  
12. Server: 
13.  containerd: 
14.   Version:      v1.5.5 
15.   Revision:     72cec4be58a9eb6b2910f5d10f1c01ca47d231c0 

安装完成后接下来学习下 nerdctl 命令行工具的使用。

命令

Run&Exec

nerdctl run

和 docker run 类似可以使用 nerdctl run 命令运行容器，例如：

1. ➜  ~ nerdctl run -d -p 80:80 --name=nginx --restart=always nginx:alpine 
2. docker.io/library/nginx:alpine:                                                   resolved       |++++++++++++++++++++++++++++++++++++++| 
3. index-sha256:bead42240255ae1485653a956ef41c9e458eb077fcb6dc664cbc3aa9701a05ce:    done           |++++++++++++++++++++++++++++++++++++++| manifest-sha256:ce6ca11a3fa7e0e6b44813901e3289212fc2f327ee8b1366176666e8fb470f24: done           |++++++++++++++++++++++++++++++++++++++| config-sha256:7ce0143dee376bfd2937b499a46fb110bda3c629c195b84b1cf6e19be1a9e23b:   done           |++++++++++++++++++++++++++++++++++++++| elapsed: 5.3 s                                                                    total:  3.1 Ki (606.0 B/s)                                       6e489777d2f73dda8a310cdf8da9df38353c1aa2021d3c2270b30eff1806bcf8 

可选的参数使用和 docker run 基本一致，比如 -i、-t、--cpus、--memory 等选项，可以使用 nerdctl run --help 获取可使用的命令选项：

1. ➜  ~ nerdctl run --help 
2. NAME: 
3.    nerdctl run - Run a command in a new container 
4.  
5. USAGE: 
6.    nerdctl run [command options] [arguments...] 
7.  
8. OPTIONS: 
9.    --help                        show help (default: false) 
10.    --tty, -t                     (Currently -t needs to correspond to -i) (default: false) 
11.    --interactive, -i             Keep STDIN open even if not attached (default: false) 
12.    --detach, -d                  Run container in background and print container ID (default: false) 
13.    --restart value               Restart policy to apply when a container exits (implemented values: "no"|"always") (default: "no") 
14.    --rm                          Automatically remove the container when it exits (default: false) 
15.    --pull value                  Pull image before running ("always"|"missing"|"never") (default: "missing") 
16.    --network value, --net value  Connect a container to a network ("bridge"|"host"|"none") (default: "bridge") 
17.    --dns value                   Set custom DNS servers (default: "8.8.8.8", "1.1.1.1") 
18.    --publish value, -p value     Publish a container's port(s) to the host 
19.    --hostname value, -h value    Container host name 
20.    --cpus value                  Number of CPUs (default: 0) 
21.    --memory value, -m value      Memory limit 
22.    --pid value                   PID namespace to use 
23.    --pids-limit value            Tune container pids limit (set -1 for unlimited) (default: -1) 
24.    --cgroupns value              Cgroup namespace to use, the default depends on the cgroup version ("host"|"private") (default: "host") 
25.    --cpuset-cpus value           CPUs in which to allow execution (0-3, 0,1) 
26.    --cpu-shares value            CPU shares (relative weight) (default: 0) 
27.    --device value                Add a host device to the container 
28.    --user value, -u value        Username or UID (format: <name|uid>[:<group|gid>]) 
29.    --security-opt value          Security options 
30.    --cap-add value               Add Linux capabilities 
31.    --cap-drop value              Drop Linux capabilities 
32.    --privileged                  Give extended privileges to this container (default: false) 
33.    --runtime value               Runtime to use for this container, e.g. "crun", or "io.containerd.runsc.v1" (default: "io.containerd.runc.v2") 
34.    --sysctl value                Sysctl options 
35.    --gpus value                  GPU devices to add to the container ('all' to pass all GPUs) 
36.    --volume value, -v value      Bind mount a volume 
37.    --read-only                   Mount the container's root filesystem as read only (default: false) 
38.    --rootfs                      The first argument is not an image but the rootfs to the exploded container (default: false) 
39.    --entrypoint value            Overwrite the default ENTRYPOINT of the image 
40.    --workdir value, -w value     Working directory inside the container 
41.    --env value, -e value         Set environment variables 
42.    --env-file value              Set environment variables from file 
43.    --name value                  Assign a name to the container 
44.    --label value, -l value       Set meta data on a container 
45.    --label-file value            Read in a line delimited file of labels 
46.    --cidfile value               Write the container ID to the file 
47.    --shm-size value              Size of /dev/shm 

nerdctl exec

同样也可以使用 exec 命令执行容器相关命令，例如：

1. ➜  ~ nerdctl exec -it nginx /bin/sh 
2. / # date 
3. Thu Aug 19 06:43:19 UTC 2021 
4. / # 

容器管理

nerdctl ps：列出容器

使用 nerdctl ps 命令可以列出所有容器。

1. ➜  ~ nerdctl ps 
2. CONTAINER ID    IMAGE                             COMMAND                   CREATED           STATUS    PORTS                 NAMES 
3. 6e489777d2f7    docker.io/library/nginx:alpine    "/docker-entrypoint.…"    10 minutes ago    Up        0.0.0.0:80->80/tcp    nginx 

同样可以使用 -a 选项显示所有的容器列表，默认只显示正在运行的容器，不过需要注意的是 nerdctl ps 命令并没有实现 docker ps 下面的 --filter、--format、--last、--size 等选项。

nerdctl inspect：获取容器的详细信息。

1. ➜  ~ nerdctl inspect nginx 
2. [ 
3.     { 
4.         "Id": "6e489777d2f73dda8a310cdf8da9df38353c1aa2021d3c2270b30eff1806bcf8", 
5.         "Created": "2021-08-19T06:35:46.403464674Z", 
6.         "Path": "/docker-entrypoint.sh", 
7.         "Args": [ 
8.             "nginx", 
9.             "-g", 
10.             "daemon off;" 
11.         ], 
12.         "State": { 
13.             "Status": "running", 
14.             "Running": true, 
15.             "Paused": false, 
16.             "Pid": 2002, 
17.             "ExitCode": 0, 
18.             "FinishedAt": "0001-01-01T00:00:00Z" 
19.         }, 
20.         "Image": "docker.io/library/nginx:alpine", 
21.         "ResolvConfPath": "/var/lib/nerdctl/1935db59/containers/default/6e489777d2f73dda8a310cdf8da9df38353c1aa2021d3c2270b30eff1806bcf8/resolv.conf", 
22.         "LogPath": "/var/lib/nerdctl/1935db59/containers/default/6e489777d2f73dda8a310cdf8da9df38353c1aa2021d3c2270b30eff1806bcf8/6e489777d2f73dda8a310cdf8da9df38353c1aa2021d3c2270b30eff1806bcf8-json.log", 
23.         "Name": "nginx", 
24.         "Driver": "overlayfs", 
25.         "Platform": "linux", 
26.         "AppArmorProfile": "nerdctl-default", 
27.         "NetworkSettings": { 
28.             "Ports": { 
29.                 "80/tcp": [ 
30.                     { 
31.                         "HostIp": "0.0.0.0", 
32.                         "HostPort": "80" 
33.                     } 
34.                 ] 
35.             }, 
36.             "GlobalIPv6Address": "", 
37.             "GlobalIPv6PrefixLen": 0, 
38.             "IPAddress": "10.4.0.3", 
39.             "IPPrefixLen": 24, 
40.             "MacAddress": "f2:b1:8e:a2:fe:18", 
41.             "Networks": { 
42.                 "unknown-eth0": { 
43.                     "IPAddress": "10.4.0.3", 
44.                     "IPPrefixLen": 24, 
45.                     "GlobalIPv6Address": "", 
46.                     "GlobalIPv6PrefixLen": 0, 
47.                     "MacAddress": "f2:b1:8e:a2:fe:18" 
48.                 } 
49.             } 
50.         } 
51.     } 
52. ] 

可以看到显示结果和 docker inspect 也基本一致的。

nerdctl logs：获取容器日志

查看容器日志是我们平时经常会使用到的一个功能，同样我们可以使用 nerdctl logs 来获取日志数据：

1. ➜  ~ nerdctl logs -f nginx 
2. ...... 
3. 2021/08/19 06:35:46 [notice] 1#1: start worker processes 
4. 2021/08/19 06:35:46 [notice] 1#1: start worker process 32 
5. 2021/08/19 06:35:46 [notice] 1#1: start worker process 33 

同样支持 -f、-t、-n、--since、--until 这些选项。

nerdctl stop：停止容器

1. ➜  ~ nerdctl stop nginx 
2. nginx 
3. ➜  ~ nerdctl ps 
4. CONTAINER ID    IMAGE    COMMAND    CREATED    STATUS    PORTS    NAMES 
5. ➜  ~ nerdctl ps -a 
6. CONTAINER ID    IMAGE                             COMMAND                   CREATED           STATUS    PORTS                 NAMES 
7. 6e489777d2f7    docker.io/library/nginx:alpine    "/docker-entrypoint.…"    20 minutes ago    Up        0.0.0.0:80->80/tcp    nginx 

nerdctl rm：删除容器

1. ➜  ~ nerdctl rm nginx 
2. You cannot remove a running container f4ac170235595f28bf962bad68aa81b20fc83b741751e7f3355bd77d8016462d. Stop the container before attempting removal or force remove 
3. ➜  ~ nerdctl rm -f ginx 
4. nginx 
5. ➜  ~ nerdctl ps 
6. CONTAINER ID    IMAGE    COMMAND    CREATED    STATUS    PORTS    NAMES 

要强制删除同样可以使用 -f 或 --force 选项来操作。

镜像管理

nerdctl images：镜像列表

1. ➜  ~ nerdctl images 
2. REPOSITORY    TAG       IMAGE ID        CREATED           SIZE 
3. alpine        latest    eb3e4e175ba6    6 days ago        5.9 MiB 
4. nginx         alpine    bead42240255    29 minutes ago    16.0 KiB 

也需要注意的是没有实现 docker images 的一些选项，比如 --all、--digests、--filter、--format。

nerdctl pull：拉取镜像

1. ➜  ~ nerdctl image rm busybox 
2. Untagged: docker.io/library/busybox:latest@sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60 
3. Deleted: sha256:5b8c72934dfc08c7d2bd707e93197550f06c0751023dabb3a045b723c5e7b373 
4. docker.io/library/busybox:latest:                                                 resolved       |++++++++++++++++++++++++++++++++++++++| 
5. index-sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60:    done           |++++++++++++++++++++++++++++++++++++++| 
6. manifest-sha256:dca71257cd2e72840a21f0323234bb2e33fea6d949fa0f21c5102146f583486b: done           |++++++++++++++++++++++++++++++++++++++| config-sha256:69593048aa3acfee0f75f20b77acb549de2472063053f6730c4091b53f2dfb02:   done           |++++++++++++++++++++++++++++++++++++++| layer-sha256:b71f96345d44b237decc0c2d6c2f9ad0d17fde83dad7579608f1f0764d9686f2:    done           |++++++++++++++++++++++++++++++++++++++| elapsed: 5.7 s                                                                    total:  752.8  (132.0 KiB/s) 

nerdctl push：推送镜像

当然在推送镜像之前也可以使用 nerdctl login 命令登录到镜像仓库，然后再执行 push 操作。

可以使用 nerdctl login --username xxx --password xxx 进行登录，使用 nerdctl logout 可以注销退出登录。

nerdctl tag：镜像标签

使用 tag 命令可以为一个镜像创建一个别名镜像：

1. ➜  ~ nerdctl images 
2. REPOSITORY    TAG                  IMAGE ID        CREATED           SIZE 
3. busybox       latest               0f354ec1728d    6 minutes ago     1.3 MiB 
4. nginx         alpine               bead42240255    41 minutes ago    16.0 KiB 
5. ➜  ~ nerdctl tag nginx:alpine harbor.k8s.local/course/nginx:alpine 
6. ➜  ~ nerdctl images 
7. REPOSITORY                       TAG                  IMAGE ID        CREATED           SIZE 
8. busybox                          latest               0f354ec1728d    7 minutes ago     1.3 MiB 
9. nginx                            alpine               bead42240255    41 minutes ago    16.0 KiB 
10. harbor.k8s.local/course/nginx    alpine               bead42240255    2 seconds ago     16.0 KiB 

nerdctl save：导出镜像

使用 save 命令可以导出镜像为一个 tar 压缩包。

1. ➜  ~ nerdctl save -o busybox.tar.gz busybox:latest 
2. ➜  ~ ls -lh busybox.tar.gz 
3. -rw-r--r-- 1 root root 761K Aug 19 15:19 busybox.tar.gz 

nerdctl rmi：删除镜像

1. ➜  ~ nerdctl rmi busybox 
2. Untagged: docker.io/library/busybox:latest@sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60 
3. Deleted: sha256:5b8c72934dfc08c7d2bd707e93197550f06c0751023dabb3a045b723c5e7b373 

nerdctl load：导入镜像

使用 load 命令可以将上面导出的镜像再次导入：

1. ➜  ~ nerdctl load -i busybox.tar.gz 
2. unpacking docker.io/library/busybox:latest (sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60)...done 

使用 -i 或 --input 选项指定需要导入的压缩包。

镜像构建

镜像构建是平时我们非常重要的一个需求，我们知道 ctr 并没有构建镜像的命令，而现在我们又不使用 Docker 了，那么如何进行镜像构建了，幸运的是 nerdctl 就提供了 nerdctl build 这样的镜像构建命令。

nerdctl build：从 Dockerfile 构建镜像

比如现在我们定制一个 nginx 镜像，新建一个如下所示的 Dockerfile 文件：

1. FROM nginx 
2. RUN echo '这是一个基于containerd使用nerdctl构建的nginx镜像' > /usr/share/nginx/html/index.html 

然后在文件所在目录执行镜像构建命令：

1. ➜  ~ nerdctl build -t nginx:nerdctl -f Dockerfile . 
2. FATA[0000] `buildctl` needs to be installed and `buildkitd` needs to be running, see https://github.com/moby/buildkit: exec: "buildctl": executable file not found in $PATH 

可以看到有一个错误提示，需要我们安装 buildctl 并运行 buildkitd，这是因为 nerdctl build 需要依赖 buildkit 工具。

buildkit 项目也是 Docker 公司开源的一个构建工具包，支持 OCI 标准的镜像构建。它主要包含以下部分:

• 服务端 buildkitd：当前支持 runc 和 containerd 作为 worker，默认是 runc，我们这里使用 containerd
• 客户端 buildctl：负责解析 Dockerfile，并向服务端 buildkitd 发出构建请求

buildkit 是典型的 C/S 架构，客户端和服务端是可以不在一台服务器上，而 nerdctl 在构建镜像的时候也作为 buildkitd 的客户端，所以需要我们安装并运行 buildkitd。

所以接下来我们先来安装 buildkit：

1. ➜  ~ wget https://github.com/moby/buildkit/releases/download/v0.9.0/buildkit-v0.9.0.linux-amd64.tar.gz 
2. # 如果有限制，也可以替换成下面的 URL 加速下载 
3. # wget https://download.fastgit.org/moby/buildkit/releases/download/v0.9.0/buildkit-v0.9.0.linux-amd64.tar.gz 
4. ➜  ~ tar -zxvf buildkit-v0.9.0.linux-amd64.tar.gz -C /usr/local/containerd/ 
5. bin/ 
6. bin/buildctl 
7. bin/buildkit-qemu-aarch64 
8. bin/buildkit-qemu-arm 
9. bin/buildkit-qemu-i386 
10. bin/buildkit-qemu-mips64 
11. bin/buildkit-qemu-mips64el 
12. bin/buildkit-qemu-ppc64le 
13. bin/buildkit-qemu-riscv64 
14. bin/buildkit-qemu-s390x 
15. bin/buildkit-runc 
16. bin/buildkitd 
17. ➜  ~ ln -s /usr/local/containerd/bin/buildkitd /usr/local/bin/buildkitd 
18. ➜  ~ ln -s /usr/local/containerd/bin/buildctl /usr/local/bin/buildctl 

这里我们使用 Systemd 来管理 buildkitd，创建如下所示的 systemd unit 文件：

1. ➜  ~ cat /etc/systemd/system/buildkit.service 
2. [Unit] 
3. Description=BuildKit 
4. Documentation=https://github.com/moby/buildkit 
5.  
6. [Service] 
7. ExecStart=/usr/local/bin/buildkitd --oci-worker=false --containerd-worker=true 
8.  
9. [Install] 
10. WantedBy=multi-user.target 

然后启动 buildkitd：

1. ➜  ~ systemctl daemon-reload 
2. ➜  ~ systemctl enable buildkit --now 
3. Created symlink /etc/systemd/system/multi-user.target.wants/buildkit.service → /etc/systemd/system/buildkit.service. 
4. ➜  ~ systemctl status buildkit 
5. ● buildkit.service - BuildKit 
6.      Loaded: loaded (/etc/systemd/system/buildkit.service; enabled; vendor preset: enabled) 
7.      Memory: 8.6M 
8.      CGroup: /system.slice/buildkit.service 
9.              └─5779 /usr/local/bin/buildkitd --oci-worker=false --containerd-worker=true 
10.  
11. Aug 19 16:03:10 ydzsio systemd[1]: Started BuildKit. 
12. Aug 19 16:03:10 ydzsio buildkitd[5779]: time="2021-08-19T16:03:10+08:00" level=warning msg="using host network as the default" 
13. Aug 19 16:03:10 ydzsio buildkitd[5779]: time="2021-08-19T16:03:10+08:00" level=info msg="found worker \"euznuelxhxb689bc5of7pxmbc\", labels> 
14. Aug 19 16:03:10 ydzsio buildkitd[5779]: time="2021-08-19T16:03:10+08:00" level=info msg="found 1 workers, default=\"euznuelxhxb689bc5of7pxm> 
15. Aug 19 16:03:10 ydzsio buildkitd[5779]: time="2021-08-19T16:03:10+08:00" level=warning msg="currently, only the default worker can be used." 
16. Aug 19 16:03:10 ydzsio buildkitd[5779]: time="2021-08-19T16:03:10+08:00" level=info msg="running server on /run/buildkit/buildkitd.sock" 
17. ~ 

现在我们再来重新构建镜像：

nerdctl 构建镜像

构建完成后查看镜像是否构建成功：

1. ➜  ~ nerdctl images 
2. WARN[0000] unparsable image name "overlayfs@sha256:d5b9b9e4c930f30340650cb373f62f97c93ee3b92c83f01c6e00b7b87d62c624" 
3. REPOSITORY    TAG        IMAGE ID        CREATED               SIZE 
4. nginx         latest     4d4d96ac750a    4 minutes ago         16.0 KiB 
5. nginx         nerdctl    d5b9b9e4c930    About a minute ago    24.0 KiB 
6.                          d5b9b9e4c930    About a minute ago    24.0 KiB 

我们可以看到已经有我们构建的 nginx:nerdctl 镜像了，不过出现了一个 WARN[0000] unparsable image name "xxx" 的 Warning 信息，在镜像列表里面也可以看到有一个镜像 tag 为空的镜像，和我们构建的镜像 ID 一样，在 nerdctl 的 github issue 上也有提到这个问题：https://github.com/containerd/nerdctl/issues/177，不过到现在为止还没有 FIX，幸运的是这只是一个⚠️，不会影响我们的使用。

接下来使用上面我们构建的镜像来启动一个容器进行测试：

1. ➜  ~ nerdctl run -d -p 80:80 --name=nginx --restart=always nginx:nerdctl 
2. f8f639cb667926023231b13584226b2c7b856847e0a25bd5f686b9a6e7e3cacd 
3. ➜  ~ nerdctl ps 
4. CONTAINER ID    IMAGE                              COMMAND                   CREATED         STATUS    PORTS                 NAMES 
5. f8f639cb6679    docker.io/library/nginx:nerdctl    "/docker-entrypoint.…"    1 second ago    Up        0.0.0.0:80->80/tcp    nginx 
6. ➜  ~ curl localhost 
7. This is a nerdctl build's nginx image base on containerd 

这样我们就使用 nerdctl + buildkitd 轻松完成了容器镜像的构建。

当然如果你还想在单机环境下使用 Docker Compose，在 containerd 模式下，我们也可以使用 nerdctl 来兼容该功能。同样我们可以使用 nerdctl compose、nerdctl compose up、nerdctl compose logs、nerdctl compose build、nerdctl compose down 等命令来管理 Compose 服务。这样使用 containerd、nerdctl 结合 buildkit 等工具就完全可以替代 docker 在镜像构建、镜像容器方面的管理功能了。

原文链接：https://mp.weixin.qq.com/s/1o4ec6m4LANHt1wgPrwZDA