服务器之家

服务器之家 > 正文

如何在 Golang 代码里面解析容器镜像

时间:2022-01-05 23:12     来源/作者:阿里技术

如何在 Golang 代码里面解析容器镜像

一 背景

容器镜像在我们日常的开发工作中占据着极其重要的位置。通常情况下我们是将应用程序打包到容器镜像并上传到镜像仓库中,在生产环境将其拉取下来。然后用 docker/containerd 等容器运行时将镜像启动,开始执行应用。但是对于一些运维平台来说,对于一个镜像制品本身的扫描和分析才是真正的关注点。本文简单介绍下如何在代码中解析一个容器镜像。

二 go-containerregistry

go-containerregistry 是 google 公司的一个开源项目,它提供了一个对镜像的操作接口,这个接口背后的资源可以是 镜像仓库的远程资源,镜像的tar包,甚至是 docker daemon 进程。下面我们就简单介绍下如何使用这个项目来完成我们的目标—— 在代码中解析镜像。

除了对外提供了三方包,该项目里面还提供了 crane (与远端镜像交互的客户端)gcrane (与 gcr 交互的客户端)。

三 基本接口

1 镜像基本概念

在介绍具体接口之间先介绍几个简单概念

  • ImageIndex, 根据 OCI 规范,是为了兼容多架构(amd64, arm64)镜像而创造出来的数据结构, 我们可以在一个ImageIndex 里面关联多个镜像,使用同一个镜像tag,客户端(docker,ctr)会根据客户端所在的操作系统的基础架构拉取对应架构的镜像下来
  • Image Manifest 基本上对应了一个镜像,里面包含了一个镜像的所有layers digest,客户端拉取镜像的时候一般都是先获取manifest 文件,在根据 manifest 文件里面的内容拉取镜像各个层(tar+gzip)
  • Image Config 跟 ImageManifest 是一一对应的关系,Image Config 主要包含一些 镜像的基本配置,例如 创建时间,作者,该镜像的基础架构,镜像层的 diffID(未压缩的 ChangeSet),ChainID 之类的信息。一般在宿主机上执行 docker image 看到的ImageID就是 ImageConfig 的hash值。
  • layer 就是镜像层,镜像层信息不包含任何的运行时信息(环境变量等)只包含文件系统的信息。镜像是通过最底层 rootfs 加上各层的 changeset(对上一层的 add, update, delete 操作)组合而成的。
    • layer diffid 是未压缩的层的hash值,常见于 本地环境,使用 看到的便是diffid。因为客户端一般下载 ImageConfig, ImageConfig 里面是引用的diffid。
    • layer digest 是压缩后的层的hash值,常见于镜像仓库 使用 看到的layers 一般都是 digest. 因为 manifest 引用都是 layer digest。
    • 两者没有可以直接转换的方式,目前的唯一方式就是按照顺序来对应。
    • 用一张图来总结一下。

如何在 Golang 代码里面解析容器镜像

  1. // ImageIndex 定义与 OCI ImageIndex 交互的接口
  2. type ImageIndex interface {
  3. // 返回当前 imageIndex 的 MediaType
  4. MediaType() (types.MediaType, error)
  5. // 返回这个 ImageIndex manifest 的 sha256值。
  6. Digest() (Hash, error)
  7. // 返回这个 ImageIndex manifest 的大小
  8. Size() (int64, error)
  9. // 返回这个 ImageIndex 的 manifest 结构
  10. IndexManifest() (*IndexManifest, error)
  11. // 返回这个 ImageIndex 的 manifest 字节数组
  12. RawManifest() ([]byte, error)
  13. // 返回这个 ImageIndex 引用的 Image
  14. Image(Hash) (Image, error)
  15. // 返回这个 ImageIndex 引用的 ImageIndex
  16. ImageIndex(Hash) (ImageIndex, error)
  17. }
  18. // Image 定义了与 OCI Image 交互的接口
  19. type Image interface {
  20. // 返回了当前镜像的所有层级, 最老/最基础的层在数组的前面,最上面/最新的层在数组的后面
  21. Layers() ([]Layer, error)
  22. // 返回当前 image 的 MediaType
  23. MediaType() (types.MediaType, error)
  24. // 返回这个 Image manifest 的大小
  25. Size() (int64, error)
  26. // 返回这个镜像 ConfigFile 的hash值,也是这个镜像的 ImageID
  27. ConfigName() (Hash, error)
  28. // 返回这个镜像的 ConfigFile
  29. ConfigFile() (*ConfigFile, error)
  30. // 返回这个镜像的 ConfigFile 的字节数组
  31. RawConfigFile() ([]byte, error)
  32. // 返回这个Image Manifest 的sha256 值
  33. Digest() (Hash, error)
  34. // 返回这个Image Manifest
  35. Manifest() (*Manifest, error)
  36. // 返回 ImageManifest 的bytes数组
  37. RawManifest() ([]byte, error)
  38. // 返回这个镜像中的某一层layer, 根据 digest(压缩后的hash值) 来查找
  39. LayerByDigest(Hash) (Layer, error)
  40. // 返回这个镜像中的某一层layer, 根据 diffid (未压缩的hash值) 来查找
  41. LayerByDiffID(Hash) (Layer, error)
  42. }
  43. // Layer 定义了访问 OCI Image 特定 Layer 的接口
  44. type Layer interface {
  45. // 返回了压缩后的layer的sha256 值
  46. Digest() (Hash, error)
  47. // 返回了 未压缩的layer 的sha256值.
  48. DiffID() (Hash, error)
  49. // 返回了压缩后的镜像层
  50. Compressed() (io.ReadCloser, error)
  51. // 返回了未压缩的镜像层
  52. Uncompressed() (io.ReadCloser, error)
  53. // 返回了压缩后镜像层的大小
  54. Size() (int64, error)
  55. // 返回当前 layer 的 MediaType
  56. MediaType() (types.MediaType, error)
  57. }

相关接口功能已在注释中说明,不再赘述。

四 获取镜像相关元信息

我们以 remote 方式(拉取远程镜像) 举例说明下如何使用。

  1. package main
  2. import (
  3. "github.com/google/go-containerregistry/pkg/authn"
  4. "github.com/google/go-containerregistry/pkg/name"
  5. "github.com/google/go-containerregistry/pkg/v1/remote"
  6. )
  7. func main() {
  8. ref, err := name.ParseReference("xxx")
  9. if err != nil {
  10. panic(err)
  11. }
  12. tryRemote(context.TODO(), ref, GetDockerOption())
  13. if err != nil {
  14. panic(err)
  15. }
  16. // do stuff with img
  17. }
  18. type DockerOption struct {
  19. // Auth
  20. UserName string
  21. Password string
  22. // RegistryToken is a bearer token to be sent to a registry
  23. RegistryToken string
  24. // ECR
  25. AwsAccessKey string
  26. AwsSecretKey string
  27. AwsSessionToken string
  28. AwsRegion string
  29. // GCP
  30. GcpCredPath string
  31. InsecureSkipTLSVerify bool
  32. NonSSL bool
  33. SkipPing bool // this is ignored now
  34. Timeout time.Duration
  35. }
  36. func GetDockerOption() (types.DockerOption, error) {
  37. cfg := DockerConfig{}
  38. if err := env.Parse(&cfg); err != nil {
  39. return types.DockerOption{}, fmt.Errorf("unable to parse environment variables: %w", err)
  40. }
  41. return types.DockerOption{
  42. UserName: cfg.UserName,
  43. Password: cfg.Password,
  44. RegistryToken: cfg.RegistryToken,
  45. InsecureSkipTLSVerify: cfg.Insecure,
  46. NonSSL: cfg.NonSSL,
  47. }, nil
  48. }
  49. func tryRemote(ctx context.Context, ref name.Reference, option types.DockerOption) (v1.Image, extender, error) {
  50. var remoteOpts []remote.Option
  51. if option.InsecureSkipTLSVerify {
  52. t := &http.Transport{
  53. TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
  54. }
  55. remoteOpts = append(remoteOpts, remote.WithTransport(t))
  56. }
  57. domain := ref.Context().RegistryStr()
  58. auth := token.GetToken(ctx, domain, option)
  59. if auth.Username != "" && auth.Password != "" {
  60. remoteOpts = append(remoteOpts, remote.WithAuth(&auth))
  61. } else if option.RegistryToken != "" {
  62. bearer := authn.Bearer{Token: option.RegistryToken}
  63. remoteOpts = append(remoteOpts, remote.WithAuth(&bearer))
  64. } else {
  65. remoteOpts = append(remoteOpts, remote.WithAuthFromKeychain(authn.DefaultKeychain))
  66. }
  67. desc, err := remote.Get(ref, remoteOpts...)
  68. if err != nil {
  69. return nil, nil, err
  70. }
  71. img, err := desc.Image()
  72. if err != nil {
  73. return nil, nil, err
  74. }
  75. // Return v1.Image if the image is found in Docker Registry
  76. return img, remoteExtender{
  77. ref: implicitReference{ref: ref},
  78. descriptor: desc,
  79. }, nil
  80. }

执行完 tryRemote 代码之后就可以获取 Image 对象的实例,进而对这个实例进行操作。明确以下几个关键点

  • remote.Get() 方法只会实际拉取镜像的manifestList/manifest,并不会拉取整个镜像。
  • desc.Image() 方法会判断 remote.Get() 返回的媒体类型。如果是镜像的话直接返回一个 Image interface, 如果是 manifest list 的情况会解析当前宿主机的架构,并且返回指定架构对应的镜像。 同样这里并不会拉取镜像。
  • 所有的数据都是lazy load。只有需要的时候才会去获取。

五 读取镜像中系统软件的信息

通过上面的接口定义可知,我们可以通过 Image.LayerByDiffID(Hash) (Layer, error) 获取一个 layer 对象, 获取了layer对象之后我们可以调用 layer.Uncompressed() 方法获取一个未被压缩的层的 io.Reader , 也就是一个 tar file。

  1. // tarOnceOpener 读取文件一次并共享内容,以便分析器可以共享数据
  2. func tarOnceOpener(r io.Reader) func() ([]byte, error) {
  3. var once sync.Once
  4. var b []byte
  5. var err error
  6. return func() ([]byte, error) {
  7. once.Do(func() {
  8. b, err = ioutil.ReadAll(r)
  9. })
  10. if err != nil {
  11. return nil, xerrors.Errorf("unable to read tar file: %w", err)
  12. }
  13. return b, nil
  14. }
  15. }
  16. // 该方法主要是遍历整个 io stream,首先解析出文件的元信息 (path, prefix,suffix), 然后调用 analyzeFn 方法解析文件内容
  17. func WalkLayerTar(layer io.Reader, analyzeFn WalkFunc) ([]string, []string, error) {
  18. var opqDirs, whFiles []string
  19. var result *AnalysisResult
  20. tr := tar.NewReader(layer)
  21. opq := ".wh..wh..opq"
  22. wh := ".wh."
  23. for {
  24. hdr, err := tr.Next()
  25. if err == io.EOF {
  26. break
  27. }
  28. if err != nil {
  29. return nil, nil, xerrors.Errorf("failed to extract the archive: %w", err)
  30. }
  31. filePath := hdr.Name
  32. filePath = strings.TrimLeft(filepath.Clean(filePath), "/")
  33. fileDir, fileName := filepath.Split(filePath)
  34. // e.g. etc/.wh..wh..opq
  35. if opq == fileName {
  36. opqDirs = append(opqDirs, fileDir)
  37. continue
  38. }
  39. // etc/.wh.hostname
  40. if strings.HasPrefix(fileName, wh) {
  41. name := strings.TrimPrefix(fileName, wh)
  42. fpath := filepath.Join(fileDir, name)
  43. whFiles = append(whFiles, fpath)
  44. continue
  45. }
  46. if hdr.Typeflag == tar.TypeSymlink || hdr.Typeflag == tar.TypeLink || hdr.Typeflag == tar.TypeReg {
  47. analyzeFn(filePath, hdr.FileInfo(), tarOnceOpener(tr), result)
  48. if err != nil {
  49. return nil, nil, xerrors.Errorf("failed to analyze file: %w", err)
  50. }
  51. }
  52. }
  53. return opqDirs, whFiles, nil
  54. }
  55. // 调用不同的driver 对同一个文件进行解析
  56. func analyzeFn(filePath string, info os.FileInfo, opener analyzer.Opener,result *AnalysisResult) error {
  57. if info.IsDir() {
  58. return nil, nil
  59. }
  60. var wg sync.WaitGroup
  61. for _, d := range drivers {
  62. // filepath extracted from tar file doesn't have the prefix "/"
  63. if !d.Required(strings.TrimLeft(filePath, "/"), info) {
  64. continue
  65. }
  66. b, err := opener()
  67. if err != nil {
  68. return nil, xerrors.Errorf("unable to open a file (%s): %w", filePath, err)
  69. }
  70. if err = limit.Acquire(ctx, 1); err != nil {
  71. return nil, xerrors.Errorf("semaphore acquire: %w", err)
  72. }
  73. wg.Add(1)
  74. go func(a analyzer, target AnalysisTarget) {
  75. defer limit.Release(1)
  76. defer wg.Done()
  77. ret, err := a.Analyze(target)
  78. if err != nil && !xerrors.Is(err, aos.AnalyzeOSError) {
  79. log.Logger.Debugf("Analysis error: %s", err)
  80. return nil, err
  81. }
  82. result.Merge(ret)
  83. }(d, AnalysisTarget{Dir: dir, FilePath: filePath, Content: b})
  84. }
  85. return result, nil
  86. }
  87. // drivers: 用于解析tar包中的文件
  88. func (a alpinePkgAnalyzer) Analyze(target analyzer.AnalysisTarget) (*analyzer.AnalysisResult, error) {
  89. scanner := bufio.NewScanner(bytes.NewBuffer(target.Content))
  90. var pkg types.Package
  91. var version string
  92. for scanner.Scan() {
  93. line := scanner.Text()
  94. // check package if paragraph end
  95. if len(line) < 2 {
  96. if analyzer.CheckPackage(&pkg) {
  97. pkgs = append(pkgs, pkg)
  98. }
  99. pkg = types.Package{}
  100. continue
  101. }
  102. switch line[:2] {
  103. case "P:":
  104. pkg.Name = line[2:]
  105. case "V:":
  106. version = string(line[2:])
  107. if !apkVersion.Valid(version) {
  108. log.Printf("Invalid Version Found : OS %s, Package %s, Version %s", "alpine", pkg.Name, version)
  109. continue
  110. }
  111. pkg.Version = version
  112. case "o:":
  113. origin := line[2:]
  114. pkg.SrcName = origin
  115. pkg.SrcVersion = version
  116. }
  117. }
  118. // in case of last paragraph
  119. if analyzer.CheckPackage(&pkg) {
  120. pkgs = append(pkgs, pkg)
  121. }
  122. parsedPkgs := a.uniquePkgs(pkgs)
  123. return &analyzer.AnalysisResult{
  124. PackageInfos: []types.PackageInfo{
  125. {
  126. FilePath: target.FilePath,
  127. Packages: parsedPkgs,
  128. },
  129. },
  130. }, nil
  131. }

以上代码的重点在于 Analyze(target analyzer.AnalysisTarget) 方法,在介绍这个方法之前,有两个特殊文件需要稍微介绍下。众所周知,镜像是分层的,并且所有层都是只读的。当容器是以镜像为基础起来的时候,它会将所有镜像层包含的文件组合成为 rootfs 对容器暂时,当我们将容器 commit 成一个新的镜像的时候,容器内对文件修改会以新的layer 的方式覆盖到原有的镜像中。其中有如下两种特殊文件:

  • .wh..wh..opq: 代表这个文件所在的目录被删除了
  • .wh.:以这个词缀开头的文件说明这个文件在当前层已经被删除

所以综上所述,所有容器内的文件删除均不是真正的删除。所以我们在 WalkLayerTar 方法中将两个文件记录下来,跳过解析。

1 Analyze(target analyzer.AnalysisTarget)

  • 首先我们调用 bufio.scanner.Scan() 方法, 他会不断扫描文件中的信息,当返回false 的时候代表扫描到文件结尾,如果这时在扫描过程中没有错误,则 scanner 的 Err 字段为 nil
  • 我们通过 scanner.Text() 获取扫描文件的每一行,截取每一行的前两个字符,得出 apk package 的 package name & package version。

六 读取镜像中的java 应用信息

下面我们实际来看下如何读取java 应用中的依赖信息,包括 应用依赖 & jar包依赖, 首先我们使用上面的方式读取某一层的文件信息。

  • 如果发现 文件是jar包
  • 初始化 zip reader, 开始读取 jar 包内容
  • 开始通过 jar包名称进行解析 artifact的名称和版本, 例如: spring-core-5.3.4-SNAPSHOT.jar => sprint-core, 5.3.4-SNAPSHOT
  • 从 zip reader 读取被压缩的文件
  • 判断文件类型
    • 调用parseArtifact进行递归解析
    • 将返回的innerLibs放到 libs对象中
    • 从 MANIFEST.MF 文件中解析出manifest返回
    • 从 properties 文件中解析 groupid, artifactid, version 并返回
    • 将上述信息放到 libs 对象中
    • 如果是 pom.properties
    • 如果是 MANIFEST.MF
    • 如果是 jar/war/ear 等文件
  • 如果 找不到 artifactid or groupid
    • 根据jar sha256查询对应的包信息
    • 找到直接返回
  • 返回解析出来的libs
  1. func parseArtifact(c conf, fileName string, r io.ReadCloser) ([]types.Library, error) {
  2. defer r.Close()
  3. b, err := ioutil.ReadAll(r)
  4. if err != nil {
  5. return nil, xerrors.Errorf("unable to read the jar file: %w", err)
  6. }
  7. zr, err := zip.NewReader(bytes.NewReader(b), int64(len(b)))
  8. if err != nil {
  9. return nil, xerrors.Errorf("zip error: %w", err)
  10. }
  11. fileName = filepath.Base(fileName)
  12. fileProps := parseFileName(fileName)
  13. var libs []types.Library
  14. var m manifest
  15. var foundPomProps bool
  16. for _, fileInJar := range zr.File {
  17. switch {
  18. case filepath.Base(fileInJar.Name) == "pom.properties":
  19. props, err := parsePomProperties(fileInJar)
  20. if err != nil {
  21. return nil, xerrors.Errorf("failed to parse %s: %w", fileInJar.Name, err)
  22. }
  23. libs = append(libs, props.library())
  24. if fileProps.artifactID == props.artifactID && fileProps.version == props.version {
  25. foundPomProps = true
  26. }
  27. case filepath.Base(fileInJar.Name) == "MANIFEST.MF":
  28. m, err = parseManifest(fileInJar)
  29. if err != nil {
  30. return nil, xerrors.Errorf("failed to parse MANIFEST.MF: %w", err)
  31. }
  32. case isArtifact(fileInJar.Name):
  33. fr, err := fileInJar.Open()
  34. if err != nil {
  35. return nil, xerrors.Errorf("unable to open %s: %w", fileInJar.Name, err)
  36. }
  37. // 递归解析 jar/war/ear
  38. innerLibs, err := parseArtifact(c, fileInJar.Name, fr)
  39. if err != nil {
  40. return nil, xerrors.Errorf("failed to parse %s: %w", fileInJar.Name, err)
  41. }
  42. libs = append(libs, innerLibs...)
  43. }
  44. }
  45. // 如果找到了 pom.properties 文件,则直接返回libs对象
  46. if foundPomProps {
  47. return libs, nil
  48. }
  49. // 如果没有找到 pom.properties 文件,则解析MANIFEST.MF 文件
  50. manifestProps := m.properties()
  51. if manifestProps.valid() {
  52. // 这里即使找到了 artifactid or groupid 也有可能是非法的。这里会访问 maven等仓库确认 jar包是否真正存在
  53. if ok, _ := exists(c, manifestProps); ok {
  54. return append(libs, manifestProps.library()), nil
  55. }
  56. }
  57. p, err := searchBySHA1(c, b)
  58. if err == nil {
  59. return append(libs, p.library()), nil
  60. } else if !xerrors.Is(err, ArtifactNotFoundErr) {
  61. return nil, xerrors.Errorf("failed to search by SHA1: %w", err)
  62. }
  63. return libs, nil
  64. }

以上我们便完成了从容器镜像中读取信息的功能。

参考:

https://github.com/google/go-containerregistry

https://github.com/aquasecurity/fanal

项目地址: https://github.com/google/go-containerregistry

原文链接:https://zhuanlan.51cto.com/art/202201/697935.htm

标签:

相关文章

热门资讯

蜘蛛侠3英雄无归3正片免费播放 蜘蛛侠3在线观看免费高清完整
蜘蛛侠3英雄无归3正片免费播放 蜘蛛侠3在线观看免费高清完整 2021-08-24
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
返回顶部