Python和OpenCV进行多尺度模板匹配实现_Python

这篇博文将实现如何将标准模板匹配扩展到多尺度，从而使其更加健壮。使其可以处理模板和输入图像大小不同的匹配。

1. 效果图

模板匹配问题：对于模板和图像中不一致的情况，会发生错误检测。

如下图左侧模板小，右侧图像中大，虽然完全一致，只是大小不一样，却未被检测到。

Python和OpenCV进行多尺度模板匹配实现

优化：多尺度模板匹配，对于模板和图像中有平移和缩放的情况可以完美工作。
如下图：

Python和OpenCV进行多尺度模板匹配实现

多尺度模板匹配，gif 详细效果图：

Python和OpenCV进行多尺度模板匹配实现

2. 原理

使用cv2.matchTemplate进行模板匹配，不是很健壮。当模板的尺寸与检测图像上的尺寸不匹配时，将面临错误检测。
模板匹配具有平移不变性。通过扩展可以使其对伸缩性（即大小）的变化更加健壮。
多尺度模板匹配可以处理平移和缩放中的变化，但对旋转或非仿射变换的变化不具有鲁棒性。
对于非仿射变换上的旋转，可使用检测关键点，提取局部不变描述符，并应用关键点匹配（keypoint matching）。
如果模板相当严格且边缘映射良好，只关心平移和缩放，那么多尺度模板匹配可以提供非常好的结果；
使用边缘映射而不是原始图像进行模板匹配可以大大提高模板匹配的精度。

模板匹配不能很好地说明一个对象是否没有出现在图像中。 可以通过设置相关系数的阈值，但实际上是不可靠和稳健的。优化：更健壮的方法――关键点匹配。

3. 步骤

1）在每次迭代中，图像都会被调整大小并计算Canny边缘图；
2）应用模板匹配，找到相关系数最大的图像的边界框（x，y）坐标；
3）最后，将这些值存储在簿记变量中；
4）在算法的最后，找到所有尺度上相关系数响应最大的区域的（x，y）-坐标，然后绘制边界框；

4. 源码

# USAGE
# python match.py --template cod_logo.png --images images
# USAGE2 了解实际检测原理及细节
# python match.py --template cod_logo.png --images images --visualize 1

# 导入必要的包
import argparse  # argparse解析命令行参数
import glob  # 获取输入图像的路径

import cv2  # opencv绑定
import imutils  # 图像处理的一些方法
import numpy as np  # numpy进行数值处理

# 构建命令行及解析参数
# --template 模板路径
# --images 原始图像路径
# --visualize 标志是否显示每一个迭代的可视化结果
ap = argparse.ArgumentParser()
ap.add_argument("-t", "--template", required=True, help="Path to template image")
ap.add_argument("-i", "--images", required=True,
              help="Path to images where template will be matched")
ap.add_argument("-v", "--visualize",
              help="Flag indicating whether or not to visualize each iteration")
args = vars(ap.parse_args())

# 加载模板图像，转换灰度图，检测边缘
# 使用边缘而不是原始图像进行模板匹配可以大大提高模板匹配的精度。
template = cv2.imread(args["template"])
template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
template = cv2.Canny(template, 50, 200)
(tH, tW) = template.shape[:2]
cv2.imshow("Template", template)

# 遍历图像以匹配模板
for imagePath in glob.glob(args["images"] + "/*.jpg"):

  # 加载图像，转换为灰度图，初始化用于追踪匹配区域的簿记变量
  image = cv2.imread(imagePath)
  gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
  found = None

  # 遍历图像尺寸
  for scale in np.linspace(0.2, 1.0, 20)[::-1]:
      # 根据scale比例缩放图像，并保持其宽高比
      resized = imutils.resize(gray, width=int(gray.shape[1] * scale))
      r = gray.shape[1] / float(resized.shape[1])

      # 缩放到图像比模板小，则终止
      if resized.shape[0] < tH or resized.shape[1] < tW:
          break

      # 在缩放后的灰度图中检测边缘，进行模板匹配
      # 使用与模板图像完全相同的参数计算图像的Canny边缘表示；
      # 使用cv2.matchTemplate应用模板匹配；
      # cv2.minMaxLoc获取相关结果并返回一个4元组，其中分别包含最小相关值、最大相关值、最小值的（x，y）坐标和最大值的（x，y）坐标。我们只对最大值和（x，y）-坐标感兴趣，所以只保留最大值而丢弃最小值。
      edged = cv2.Canny(resized, 50, 200)
      result = cv2.matchTemplate(edged, template, cv2.TM_CCOEFF)
      (_, maxVal, _, maxLoc) = cv2.minMaxLoc(result)

      # 检查是否可视化
      if args.get("visualize", False):
          # 在检测到的区域绘制边界框
          clone = np.dstack([edged, edged, edged])
          cv2.rectangle(clone, (maxLoc[0], maxLoc[1]),
                        (maxLoc[0] + tW, maxLoc[1] + tH), (0, 0, 255), 2)
          cv2.imshow("Visualize", clone)
          cv2.waitKey(0)

      # 如果我们找到了一个新的最大校正值，更新簿记变量值
      if found is None or maxVal > found[0]:
          found = (maxVal, maxLoc, r)

  # 解包簿记变量并基于调整大小的比率，计算边界框（x，y）坐标
  (_, maxLoc, r) = found
  (startX, startY) = (int(maxLoc[0] * r), int(maxLoc[1] * r))
  (endX, endY) = (int((maxLoc[0] + tW) * r), int((maxLoc[1] + tH) * r))

  # 在检测结果上绘制边界框并展示图像
  cv2.rectangle(image, (startX, startY), (endX, endY), (0, 0, 255), 2)
  cv2.imshow("Image", image)
  cv2.waitKey(0)