如何快速删除 Harbor 镜像

背景

最近在巡检过程中，发现harbor存储空间使用率已经达到了80%。于是，去看了一下各项目下的镜像标签数。发现有个别项目下的镜像标签数竟然有好几百个。细问之下得知，该项目目前处于调试阶段，每天调试很多次。既然存储空间不多了，那就去harbor上删除掉之前的镜像标签，保留最近的几个就好了。在手动删除的过程中，发现几百个，每页才展示十个。我得先按照推送时间排序，然后一页一页的删除。心想着这种情况经历一次就好了，不要再有下一次。后来，仔细想想，这个也是不好控制的，每次巡检发现了就得手动删除太麻烦。所以就打算写一个脚本，每次通过脚本去删除镜像的标签，保留最近的几个就好了。刚好最近在学习golang，就用它来写就好了。比较尴尬的是，我脚本写完了，测试没问题后，发现新版本harbor已经可以在UI上设置保留策略了。自我安慰一下，就当作是一种练习、尝试好了!

目标

1. 通过命令行能够查询当前所有的项目、无论是否公开、仓库数量
2. 通过命令行能够查询项目下的仓库名和镜像名、拉取次数
3. 在命令行能够指定标签和保留个数进行删除镜像标签
4. 能够获取镜像的标签数
5. 删除后，不支持立刻垃圾清理，请手动进行垃圾清理(考虑清理过程中无法推拉镜像)

声明

该脚本纯属个人练习所写，不构成任何建议

初学golang，仅仅是为了实现目标，代码质量极差，请谅解

本次使用的harbor是v2.3.1

全部代码请移步至github

实现

获取harbor中所有的项目，API可通过harbor的 swagger获取

1. //根据harbor swagger测试出来的结果定义要获取的数据结构 
2. type MetaData struct { 
3.  Public string `json:"public"` 
4. } 
5. type ProjectData struct { 
6.  MetaData MetaData `json:"metadata"` 
7.  ProjectId int `json:"project_id"` 
8.  Name string `json:"name"` 
9.  RepoCount int `json:"repo_count"` 
10. } 
11.  
12. type PData []ProjectData 
13. // 提供harbor地址获取project 
14. func GetProject(url string) []map[string]string { 
15.  //定义url 
16.  url = url + "/api/v2.0/projects" 
17.  //url = url + "/api/projects" 
18.     // 构造请求 
19.  request, _ := http.NewRequest(http.MethodGet, url,nil) 
20.     //取消验证 
21.  tr := &http.Transport{ 
22.   TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, 
23.  } 
24.     //定义客户端 
25.  client := &http.Client{Timeout: 10 * time.Second, Transport: tr} 
26.  //client := &http.Client{Timeout: 10 * time.Second} 
27.  request.Header.Set("accept", "application/json") 
28.     //设置用户和密码 
29.  request.SetBasicAuth("admin", "Harbor12345") 
30.  response, err := client.Do(request) 
31.  
32.  if err != nil { 
33.   fmt.Println("excute failed") 
34.   fmt.Println(err) 
35.  } 
36.  // 获取body 
37.  body, _ := ioutil.ReadAll(response.Body) 
38.  defer response.Body.Close() 
39.  ret := PData{} 
40.  json.Unmarshal([]byte(string(body)), &ret) 
41.  var ps = []map[string]string{} 
42.     // 获取返回的数据 
43.  for i := 0; i < len(ret); i++ { 
44.   RData := make(map[string]string) 
45.   RData["name"] = (ret[i].Name) 
46.   RData["project_id"] = strconv.Itoa(ret[i].ProjectId) 
47.   RData["repo_count"] =strconv.Itoa(ret[i].RepoCount) 
48.   RData["public"] = ret[i].MetaData.Public 
49.  
50.   ps = append(ps, RData) 
51.  } 
52.  return ps 
53. } 

获取项目下的repo

1. // 定义要获取的数据结构 
2. type ReposiData struct { 
3.  Id int `json:"id"` 
4.  Name string `json:"name"` 
5.  ProjectId int `json:"project_id"` 
6.  PullCount int `json:"pull_count"` 
7. } 
8.  
9. type RepoData []ReposiData 
10. //通过提供harbor地址和对应的项目来获取项目下的repo 
11. func GetRepoData(url string, proj string)  []map[string]string { 
12.  // /api/v2.0/projects/goharbor/repositories 
13.  url = url + "/api/v2.0/projects/" + proj +  "/repositories" 
14.     //构造请求 
15.  request, _ := http.NewRequest(http.MethodGet, url,nil) 
16.     //忽略认证 
17.  tr := &http.Transport{ 
18.   TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, 
19.  } 
20.  client := &http.Client{Timeout: 10 * time.Second, Transport: tr} 
21.  request.Header.Set("accept", "application/json") 
22.     //设置用户名和密码 
23.  request.SetBasicAuth("admin", "Harbor12345") 
24.  response, err := client.Do(request) 
25.  
26.  if err != nil { 
27.   fmt.Println("excute failed") 
28.   fmt.Println(err) 
29.  } 
30.  // 获取body 
31.  body, _ := ioutil.ReadAll(response.Body) 
32.  defer response.Body.Close() 
33.  ret := RepoData{} 
34.  json.Unmarshal([]byte(string(body)), &ret) 
35.  var ps = []map[string]string{} 
36.     // 获取返回的数据 
37.  for i := 0; i < len(ret); i++ { 
38.   RData := make(map[string]string) 
39.   RData["name"] = (ret[i].Name) 
40.   pId := strconv.Itoa(ret[i].ProjectId) 
41.   RData["project_id"] = pId 
42.   RData["id"] =(strconv.Itoa(ret[i].Id)) 
43.   RData["pullCount"] = (strconv.Itoa(ret[i].PullCount)) 
44.   ps = append(ps, RData) 
45.  } 
46.  return ps 
47. } 

镜像tag操作

1. //定义要获取的tag数据结构 
2. type Tag struct { 
3.  ArtifactId int  `json:"artifact_id"` 
4.  Id int `json:"id"` 
5.  Name string `json:"name"` 
6.  RepositoryId int `json:"repository_id"` 
7.  PushTimte string `json:"push_time"` 
8. } 
9.  
10. type Tag2 struct { 
11.  ArtifactId string  `json:"artifact_id"` 
12.  Id string `json:"id"` 
13.  Name string `json:"name"` 
14.  RepositoryId string `json:"repository_id"` 
15.  PushTimte string `json:"push_time"` 
16. } 
17.  
18. type Tag2s []Tag2 
19. // delete tag by specified count，这里通过count先获取要删除的tag列表 
20. func DeleTagsByCount(tags []map[string]string ,count int) []string { 
21.  var re []string 
22.   
23.  tt := tags[0]["tags"] 
24.  ss := Tag2s{} 
25.  json.Unmarshal([]byte(tt), &ss) 
26.  
27.  // have a sort 
28.  for i := 0; i < len(ss); i++ { 
29.   for j := i + 1; j < len(ss); j++ { 
30.             //根据pushtime进行排序 
31.    if ss[i].PushTimte > ss[j].PushTimte { 
32.     ss[i], ss[j] = ss[j], ss[i] 
33.    } 
34.   } 
35.  } 
36.  // get all tags 
37.  for i := 0; i < len(ss); i++ { 
38.   re = append(re, ss[i].Name) 
39.  } 
40.  // 返回count个会被删除的tag， 
41.  return re[0:count] 
42. } 
43.  
44. // delete tag by specified tag 删除指定的tag 
45. func DelTags(url string, project string, repo string, tag string) (int, map[string]interface{})  { 
46.  url = url + "/api/v2.0/projects/" + project + "/repositories/" + repo + "/artifacts/" + tag + "/tags/" + tag 
47.  request, _ := http.NewRequest(http.MethodDelete, url,nil) 
48.  tr := &http.Transport{ 
49.   TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, 
50.  } 
51.  client := &http.Client{Timeout: 10 * time.Second, Transport: tr} 
52.  request.Header.Set("accept", "application/json") 
53.  request.SetBasicAuth("admin", "Pwd123456") 
54.     // 执行删除tag 
55.  response,_ := client.Do(request) 
56.  defer response.Body.Close() 
57.  
58.  var result map[string]interface{} 
59.  bd, err := ioutil.ReadAll(response.Body) 
60.  if err == nil { 
61.   err = json.Unmarshal(bd, &result) 
62.  } 
63.  return response.StatusCode,result 
64.  
65. } 
66.  
67.  
68.  
69.  
70. //定义要获取的tag数据结构 
71. type ArtiData struct { 
72.  Id int `json:"id"` 
73.  ProjectId int `json:"project_id"` 
74.  RepositoryId int `json:"repository_id"` 
75.  //Digest string `json:"digest"` 
76.  Tags []Tag `json:"tags"` 
77. } 
78.  
79. type AData []ArtiData 
80. // 根据harbor地址、project和repo获取tag数据 
81. func GetTags(url string, project string, repo string) []map[string]string { 
82.  url = url + "/api/v2.0/projects/" + project + "/repositories/" + repo + "/artifacts" 
83.  request, _ := http.NewRequest(http.MethodGet, url,nil) 
84.  tr := &http.Transport{ 
85.   TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, 
86.  } 
87.  client := &http.Client{Timeout: 10 * time.Second, Transport: tr} 
88.  request.Header.Set("accept", "application/json") 
89.  request.Header.Set("X-Accept-Vulnerabilities", "application/vnd.scanner.adapter.vuln.report.harbor+json; version=1.0") 
90.  request.SetBasicAuth("admin", "Harbor12345") 
91.     // 获取tag 
92.  response, err := client.Do(request) 
93.  
94.  if err != nil { 
95.   fmt.Println("excute failed") 
96.   fmt.Println(err) 
97.  } 
98.  
99.  body, _ := ioutil.ReadAll(response.Body) 
100.  defer response.Body.Close() 
101.  ret := AData{} 
102.  json.Unmarshal([]byte(string(body)),&ret) 
103.  var ps = []map[string]string{} 
104.  sum := 0 
105.  RData := make(map[string]string) 
106.  RData["name"] = repo 
107.     // 获取返回的数据 
108.  for i := 0; i < len(ret); i++ { 
109.  
110.   RData["id"] = (strconv.Itoa(ret[i].Id)) 
111.   RData["project_id"] = (strconv.Itoa(ret[i].ProjectId)) 
112.   RData["repository_id"] =(strconv.Itoa(ret[i].RepositoryId)) 
113.   //RData["digest"] = ret[i].Digest 
114.   var tdata = []map[string]string{} 
115.   sum = len((ret[i].Tags)) 
116.         // 获取tag 
117.   for j := 0; j < len((ret[i].Tags)); j++ { 
118.    TagData := make(map[string]string) 
119.    TagData["artifact_id"] = strconv.Itoa((ret[i].Tags)[j].ArtifactId) 
120.    TagData["id"] = strconv.Itoa((ret[i].Tags)[j].Id) 
121.    TagData["name"] = (ret[i].Tags)[j].Name 
122.    TagData["repository_id"] = strconv.Itoa((ret[i].Tags)[j].RepositoryId) 
123.    TagData["push_time"] = (ret[i].Tags)[j].PushTimte 
124.    tdata = append(tdata, TagData) 
125.   } 
126.   RData["count"] = strconv.Itoa(sum) 
127.   ss, err := json.Marshal(tdata) 
128.   if err != nil { 
129.    fmt.Println("failed") 
130.    os.Exit(2) 
131.   } 
132.   RData["tags"] = string(ss) 
133.   ps = append(ps, RData) 
134.  
135.  } 
136.  return ps 
137. } 

获取用户命令行输入，列出harbor中所有的项目

1. // 定义获取harbor中project的相关命令操作 
2. var projectCmd = &cobra.Command{ 
3.  Use: "project", 
4.  Short: "to operator project", 
5.  Run: func(cmd *cobra.Command, args []string) { 
6.  
7.   output, err := ExecuteCommand("harbor","project", args...) 
8.   if err != nil { 
9.    Error(cmd,args, err) 
10.   } 
11.   fmt.Fprint(os.Stdout, output) 
12.  }, 
13. } 
14. // project list 
15. var projectLsCmd = &cobra.Command{ 
16.  Use: "ls", 
17.  Short: "list  all project", 
18.  Run: func(cmd *cobra.Command, args []string) { 
19.   url, _ := cmd.Flags().GetString("url") 
20.   if len(url) == 0 { 
21.    fmt.Println("url is null,please specified the harbor url first !!!!") 
22.    os.Exit(2) 
23.   } 
24.         // 获取所有的project 
25.   output := harbor.GetProject(url) 
26.   fmt.Println("项目名 访问级别 仓库数量") 
27.   for i := 0; i < len(output); i++ { 
28.  
29.    fmt.Println(output[i]["name"], output[i]["public"], output[i]["repo_count"]) 
30.   } 
31.  }, 
32. } 
33. // init 
34. func init() { 
35.     // ./harbor project ls -u https:// 
36.  rootCmd.AddCommand(projectCmd) 
37.  projectCmd.AddCommand(projectLsCmd) 
38.  projectLsCmd.Flags().StringP("url", "u", "","defaults: [https://127.0.0.1]") 
39. } 

获取repo列表

1. // repo command 
2. var repoCmd = &cobra.Command{ 
3.  Use: "repo", 
4.  Short: "to operator repository", 
5.  Run: func(cmd *cobra.Command, args []string) { 
6.  
7.   output, err := ExecuteCommand("harbor","repo", args...) 
8.   if err != nil { 
9.    Error(cmd,args, err) 
10.   } 
11.   fmt.Fprint(os.Stdout, output) 
12.  }, 
13. } 
14. // repo list 
15. var repoLsCmd = &cobra.Command{ 
16.  Use: "ls", 
17.  Short: "list  project's repository", 
18.  Run: func(cmd *cobra.Command, args []string) { 
19.   url, _ := cmd.Flags().GetString("url") 
20.   project, _ := cmd.Flags().GetString("project") 
21.   if len(project) == 0 { 
22.    fmt.Println("sorry, you must specified the project which you want to show repository !!!") 
23.    os.Exit(2) 
24.   } 
25.         // get all repo  
26.   output := harbor.GetRepoData(url, project) 
27.         // 展示数据 
28.   fmt.Println("仓库名----------拉取次数") 
29.   for i := 0; i < len(output); i++ { 
30.    fmt.Println(output[i]["name"],output[i]["pullCount"]) 
31.   } 
32.  }, 
33. } 
34.  
35. func init() { 
36.     // ./harbor repo ls -u https:// -p xxx 
37.  rootCmd.AddCommand(repoCmd) 
38.  repoCmd.AddCommand(repoLsCmd) 
39.  repoLsCmd.Flags().StringP("url", "u", "","defaults: [https://127.0.0.1]") 
40.  repoLsCmd.Flags().StringP("project", "p","", "the project") 
41. } 

tag操作

1. // tag command 
2. var tagCmd = &cobra.Command{ 
3.  Use: "tag", 
4.  Short: "to operator image", 
5.  Run: func(cmd *cobra.Command, args []string) { 
6.  
7.   output, err := ExecuteCommand("harbor","tag", args...) 
8.   if err != nil { 
9.    Error(cmd,args, err) 
10.   } 
11.   fmt.Fprint(os.Stdout, output) 
12.  }, 
13. } 
14. // tag ls 
15. var tagLsCmd = &cobra.Command{ 
16.  Use: "ls", 
17.  Short: "list  all tags of the repository you have specified which you should specified project at the same time", 
18.  Run: func(cmd *cobra.Command, args []string) { 
19.   url, _ := cmd.Flags().GetString("url") 
20.   project, _ := cmd.Flags().GetString("project") 
21.   repo, _ := cmd.Flags().GetString("repo") 
22.         // get all tags  
23.   ss := harbor.GetTags(url, project, repo) 
24.   for i := 0; i < len(ss); i++ { 
25.    count, _ := strconv.Atoi((ss[i])["count"]) 
26.    fmt.Printf("the repo %s has %d images\n", repo, count) 
27.   } 
28.  
29.  }, 
30. } 
31.  
32. // tag del by tag or the number of image you want to save 
33. var tagDelCmd = &cobra.Command{ 
34.  Use: "del", 
35.  Short: "delete the tags of the repository you have specified which you should specified project at the same time", 
36.  Run: func(cmd *cobra.Command, args []string) { 
37.         // 获取用户输入并转格式 
38.   url, _ := cmd.Flags().GetString("url") 
39.   project, _ := cmd.Flags().GetString("project") 
40.   repo, _ := cmd.Flags().GetString("repo") 
41.   tag,_ := cmd.Flags().GetString("tag") 
42.   count,_ := cmd.Flags().GetString("count") 
43.   ret,_ := strconv.Atoi(count) 
44.   if len(tag) != 0 && ret != 0 { 
45.     fmt.Println("You can't choose both between count and tag") 
46.     os.Exit(2) 
47.   } else if len(tag) == 0 && ret != 0 { 
48.             // get all tags 
49.    retu := harbor.GetTags(url, project, repo) 
50.             //delete tag by you hsve specied the number of the images you want to save 
51.    rTagCount, _ := strconv.Atoi((retu[0])["count"]) 
52.             // 根据用户输入的count和实际tag数进行对比，决定是否去执行删除tag 
53.    if ret == rTagCount { 
54.     fmt.Printf("the repository %s of the project %s only have %d tags, so you can't delete tags and we will do nothing!!\n", repo, project,ret) 
55.    } else if ret > rTagCount { 
56.     fmt.Printf("the repository %s of the project %s only have %d tags, but you want to delete %d tags, so we suggest you to have a rest and we will do nothing!!\n", repo, project,rTagCount, ret) 
57.    } else { 
58.                 // 可以执行删除tag 
59.     fmt.Printf("we will save the latest %d tags  and delete other %d tags !!!\n", ret, (rTagCount - ret)) 
60.     tags := harbor.GetTags(url, project, repo) 
61.     retu := harbor.DeleTagsByCount(tags, (rTagCount - ret)) 
62.     for i := 0 ; i < len(retu); i++ { 
63.                     // to delete tag 
64.      code, msg := harbor.DelTags(url, project, repo, retu[i]) 
65.      fmt.Printf("the tag %s is deleted,status code is %d, msg is %s\n", retu[i], code, msg) 
66.     } 
67.    } 
68.   } else { 
69.             // delete tag by you specied tag 
70.    code, msg := harbor.DelTags(url, project, repo, tag) 
71.    fmt.Println(code, msg["errors"]) 
72.   } 
73.  }, 
74. } 
75.  
76.  
77.  
78. func init() { 
79.     // ./harbor tag ls -u -p -r 
80.  rootCmd.AddCommand(tagCmd) 
81.  tagCmd.AddCommand(tagLsCmd) 
82.  tagLsCmd.Flags().StringP("url", "u", "","defaults: [https://127.0.0.1]") 
83.  tagLsCmd.Flags().StringP("project", "p", "","the project") 
84.  tagLsCmd.Flags().StringP("repo", "r", "","the repository") 
85.  // ./harbor tag del -u -p -r [-t | -c] 
86.  tagCmd.AddCommand(tagDelCmd) 
87.  tagDelCmd.Flags().StringP("url", "u", "","defaults: [https://127.0.0.1]") 
88.  tagDelCmd.Flags().StringP("project", "p", "","the project which you should specified if you want to delete the tag of any repository ") 
89.  tagDelCmd.Flags().StringP("repo", "r", "","the repository which you should specified if you want to delete the tag") 
90.  tagDelCmd.Flags().StringP("tag", "t", "","the tag, You can't choose  it with tag together") 
91.  tagDelCmd.Flags().StringP("count", "c", "","the total number you want to save.for example: you set --count=10, we will save the 10 latest tags by use push_time to sort,can't choose it with tag together") 
92. } 

测试

1. //获取帮助 
2. harbor % ./harbor -h https://harbor.zaizai.com 
3. Usage: 
4.   harbor [flags] 
5.   harbor [command] 
6.  
7. Available Commands: 
8.   completion  generate the autocompletion script for the specified shell 
9.   help        Help about any command 
10.   project     to operator project 
11.   repo        to operator repository 
12.   tag         to operator image 
13.  
14. Flags: 
15.   -h, --help   help for harbor 
16.  
17. Use "harbor [command] --help" for more information about a command. 
18.  
19. //列出所有project 
20.  harbor % ./harbor  project ls -u https://harbor.zaizai.com 
21. 项目名 访问级别 仓库数量 
22. goharbor false 3 
23. library true 0 
24. public true 1 
25.  
26. //列出所有repo 
27. harbor % ./harbor  repo  ls -u https://harbor.zaizai.com -p goharbor 
28. 仓库名----------拉取次数 
29. goharbor/harbor-portal 0 
30. goharbor/harbor-db 1 
31. goharbor/prepare 0 
32.  
33. //列出tags harbor % ./harbor  tag   ls -u https://harbor.zaizai.com -p goharbor -r harbor-db 
34. the repo harbor-db has 9 images 
35.  
36. // 通过保留最近20个镜像去删除tag 
37. harbor % ./harbor  tag   del  -u https://harbor.zaizai.com -p goharbor -r harbor-db -c 20     
38. the repository harbor-db of the project goharbor only have 9 tags, but you want to delete 20 tags, so we suggest you to have a rest and we will do nothing!! 
39.  
40. // 通过保留最近10个镜像去删除tag 
41. harbor % ./harbor  tag   del  -u https://harbor.zaizai.com -p goharbor -r harbor-db -c 10 
42. the repository harbor-db of the project goharbor only have 9 tags, but you want to delete 10 tags, so we suggest you to have a rest and we will do nothing!! 
43.  
44. // 通过保留最近5个镜像去删除tag 
45. harbor % ./harbor  tag   del  -u https://harbor.zaizai.com -p goharbor -r harbor-db -c 5  
46. we will save the latest 5 tags  and delete other 4 tags !!! 
47. the tag v2.3.9 is deleted,status code is 200, msg is map[] 
48. the tag v2.3.10 is deleted,status code is 200, msg is map[] 
49. the tag v2.3.8 is deleted,status code is 200, msg is map[] 
50. the tag v2.3.7 is deleted,status code is 200, msg is map[] 
51.  
52. //指定tag进行删除 
53. caicloud@MacBook-Pro-2 harbor % ./harbor tag   del  -u https://harbor.zaizai.com -p goharbor -r harbor-db  -t v2.3.6 
54. 200 <nil> 
55.  
56. ！！！！ 最后需要手动去harbor UI上进行垃圾回收！！！ 

参考

https://github.com/spf13/cobra

harbor swagger

原文链接：https://mp.weixin.qq.com/s/64D9omkJx7MJaksOwVnb8g