详解OpenMV图像处理的基本方法

目录

• 一、图像处理基础知识
• 二、OpenMV图像处理的基本方法
  • 1. 感光元件
    • 相关名词解释
  • 2. 图像的基本运算
  • 3. 使用图像的统计信息
  • 4. 画图
  • 5. 寻找色块
  • 6. AprilTag实现标记跟踪
  • 6. 模版匹配NCC
  • 7. 多模版匹配
  • 8. 特征点检测
  • 9. 测距
  • 10. 扫码识别
  • 11. 颜色形状同时识别
  • 12. 颜色模版匹配同时识别
  • 13.分辨不同人脸
  • 14. 高级特征

import sensor # 引入感光元件部分
# 设置摄像头
sensor.reset() # 初始化感光元件
sensor.set_pixformat(sensor.RGB565)# 设置像素模式 sensor.GRAYSCALE：灰度，每个像素8bit， sensor.RGB565:彩色。每个像素16bit
sensor.set_framesize(sensor.QVGA)# 设置图像大小
sensor.skip_frames(n)# n是跳过的帧数，等待感光元件稳定
# 拍摄
while(True):
   img = sensor.snapshot();# 拍摄一张照片，img为一个image对象

# 自动增益/白平衡/曝光
sensor.set_auto_gain() # True开启；False关闭，使用颜色追踪时，需关闭
sensor.set_auto_whitebal() # True开启；False关闭，使用颜色追踪时，需关闭
sensor.set_auto_exposure(enable[,exposure_us])
# enable True打开/False关闭
# 如果关闭可以自己设置一个曝光值us为单位

# 设置窗口ROI
sensor.set_windowing(roi) #roi的格式是(x, y, w, h)的tupple.
sensor.set_framesize(sensor.VGA)
sensor.set_windowing((640,80))#选择出自己想要的元素

# 设置翻转
sensor.set_hmirror(True)# 水平方向翻转
sensor.set_vflip((True)# 垂直方向翻转

sensor.QQCIF: 88x72
sensor.QCIF: 176x144
sensor.CIF: 352x288
sensor.QQSIF: 88x60
sensor.QSIF: 176x120
sensor.SIF: 352x240
sensor.QQQQVGA: 40x30
sensor.QQQVGA: 80x60
sensor.QQVGA: 160x120
sensor.QVGA: 320x240
sensor.VGA: 640x480
sensor.HQQQVGA: 80x40
sensor.HQQVGA: 160x80
sensor.HQVGA: 240x160
sensor.B64X32: 64x32 #(用于帧差异 image.find_displacement())
sensor.B64X64: 64x64 #用于帧差异 image.find_displacement())
sensor.B128X64: 128x64 #(用于帧差异 image.find_displacement())
sensor.B128X128: 128x128 #(用于帧差异 image.find_displacement())
sensor.LCD: 128x160 #(用于LCD扩展板)
sensor.QQVGA2: 128x160 #(用于LCD扩展板)
sensor.WVGA: 720x480 #(用于 MT9V034)
sensor.WVGA2:752x480 #(用于 MT9V034)
sensor.SVGA: 800x600 #(仅用于 OV5640 感光元件)
sensor.XGA: 1024x768 #(仅用于 OV5640 感光元件)
sensor.SXGA: 1280x1024 #(仅用于 OV5640 感光元件)
sensor.UXGA: 1600x1200 #(仅用于 OV5640 感光元件)
sensor.HD: 1280x720 #(仅用于 OV5640 感光元件)
sensor.FHD: 1920x1080 #(仅用于 OV5640 感光元件)
sensor.QHD: 2560x1440 #(仅用于 OV5640 感光元件)
sensor.QXGA: 2048x1536 #(仅用于 OV5640 感光元件)
sensor.WQXGA: 2560x1600 #(仅用于 OV5640 感光元件)
sensor.WQXGA2: 2592x1944 #(仅用于 OV5640 感光元件)

# 1. 获取/设置像素点
image.get_pixel(x,y)
# 获取一个像素点的值
# 灰度：得到灰度值
# RGB：得到（r,g,b)的tuple

image.set_pixel(x,y,pixel)
# 设置一个像素点的值
# 灰度：设置灰度值
# RGB：设置(r,g,b)的tuple

# 2. 获取图像的宽度和高度
image.width()
image.height()
image.format()# 返回灰度还是彩色
image.size() # 返回图像大小byte

# 3. 图像的运算
# 图像可以是从文件读入的iamge对象，但是二者必须是相同的尺寸和类型（灰色/彩色）
image.invert() # 取反，二值图像0变1，1变0
image.nand(image) #与非
image.nor(image) #或非
image.xor(image) #异或
image.xnor(image) # 异或非
image.difference(image) # 从一张图片减去另一张图片，绝对值相减，经常用于移动检测

image.get_statistics(roi=Auto)# roi bins之类的参数一定要显式声明 

image.get_statistics(roi=(0,0,10,20))
#statistics.mean() 返回灰度的平均数(0-255) (int)。你也可以通过statistics[0]获得。
#statistics.median() 返回灰度的中位数(0-255) (int)。你也可以通过statistics[1]获得。
#statistics.mode() 返回灰度的众数(0-255) (int)。你也可以通过statistics[2]获得。
#statistics.stdev() 返回灰度的标准差(0-255) (int)。你也可以通过statistics[3]获得。
#staistics.min() 返回灰度的最小值(0-255) (int)。你也可以通过statistics[4]获得。
#statistics.max() 返回灰度的最大值(0-255) (int)。你也可以通过statistics[5]获得。
#statistics.lq() 返回灰度的第一四分数(0-255) (int)。你也可以通过statistics[6]获得。
#statistics.uq() 返回灰度的第三四分数(0-255) (int)。你也可以通过statistics[7]获得。

# lab三个通道的相关信息
#l_mean，l_median，l_mode，l_stdev，l_min，l_max，l_lq，l_uq，
#a_mean，a_median，a_mode，a_stdev，a_min，a_max，a_lq，a_uq，
#b_mean，b_median，b_mode，b_stdev，b_min，b_max，b_lq，b_uq，

# 颜色可以是灰度值0-255，也可以是彩色值(r,g,b)的tuple，但是color必须显式注明，默认是白色
image.draw_line((10,10,20,30),color=(255,0,0))
image.draw_rectangle(rect_tuple,color=(255,0,0))

# 画直线
image.draw_line(line_tuple,color=White) 
# line_tuple=(x1,y1,x2,y2) 从(x1,y1)到(x2,y2)的直线
# 颜色可以是灰度值（0-255），也可以是彩色值(r,g.b)的tuple

# 在图像中画一个矩形框
image.draw_rectangle(rect_tuple, color=White) 
# 在图像中画一个矩形框
# rect_tuple 的格式是 (x, y, w, h)

# 画圆
image.draw_circle(x, y, radius, color=White) 
# 在图像中画一个圆
# 圆心+半径

# 画十字
image.draw_cross(x, y, size=5, color=White) 
# 在图像中画一个十字
# size是两侧的尺寸

# 写字
image.draw_string(x, y, text, color=White)
# 在图像中写字 8x10的像素
# xy是坐标，使用

或
会使光标移动到下一行
# text是要写的字符串

image.find_blobs(thresholds, roi=Auto, x_stride=2, y_stride=1, invert=False, 
area_threshold=10, pixels_threshold=10, merge=False, margin=0, threshold_cb=None, 
merge_cb=None)
# thresholds 颜色的阈值
# roi感兴趣区
# x_stride 查找的色块的x方向上最小宽度的像素，比如想要找x方向上宽度大于10的像素，=10即可（默认是2）
# y_stride 查找的色块的y方向上最小宽度的像素（默认是1）
# invert 反转阈值，将阈值以外的颜色作为阈值进行查找
# area_threshold 面积阈值，如果色块被包围起来的面积小于这个值会被舍弃
# pixels_threshold 像素个数阈值，如果色块的像素数量小于这个值，会被过滤掉
# merge True，合并所有重叠的blob为1个，这个是合并所有的blob，无论什么颜色，如果想要分别混合的话，分别调用不同颜色阈值的find_blobs
# margin 边界，如果设置为1，那么两个blobs如果间距1一个像素点，也会被合并
# 合并所有
all_blobs = img.find_blobs([red,blue,yellow],merge=True)
# 单个合并
red_blobs = img.find_blobs([red],merge=True)
blue_blobs = img.find_blobs([blue],merge=True)
yellow_blobs = img.find_blobs([yellow],merge=True)

blobs = img.find_blobs([red])
for blob in blobs:
	print(blob.cx())

blob.rect() #返回这个色块的外框――矩形元组(x, y, w, h)，可以直接在image.draw_rectangle中使用。
blob.x() #返回色块的外框的x坐标（int），也可以通过blob[0]来获取。
blob.y() #返回色块的外框的y坐标（int），也可以通过blob[1]来获取。
blob.w() #返回色块的外框的宽度w（int），也可以通过blob[2]来获取。
blob.h() #返回色块的外框的高度h（int），也可以通过blob[3]来获取。
blob.pixels() #返回色块的像素数量（int），也可以通过blob[4]来获取。
blob.cx() #返回色块的外框的中心x坐标（int），也可以通过blob[5]来获取。
blob.cy() #返回色块的外框的中心y坐标（int），也可以通过blob[6]来获取。
blob.rotation() #返回色块的旋转角度（单位为弧度）（float）。如果色块类似一个铅笔，那么这个值为0~180°。如果色块是一个圆，那么这个值是无用的。如果色块完全没有对称性，那么你会得到0~360°，也可以通过blob[7]来获取。
blob.code() #返回一个16bit数字，每一个bit会对应每一个阈值。
# 一个色块red-0001，blue-0010，如果是red和blue的merge得到的blob-0011
blob.count() #如果merge=True，那么就会有多个blob被合并到一个blob，这个函数返回的就是这个的数量。如果merge=False，那么返回值总是1。也可以通过blob[9]来获取
blob.area() #返回色块的外框的面积。应该等于(w * h)
blob.density() #返回色块的密度。这等于色块的像素数除以外框的区域。
#如果密度较低，那么说明目标锁定的不是很好。
#比如，识别一个红色的圆，返回的blob.pixels()是目标圆的像素点数，blob.area()是圆的外接正方形的面积。

# 分别是LAB的最小值和最大值
red = (minL, maxL, minA, maxA, minB, maxB)
# 如果是灰度图的话，只有min和max
grey = (min,max)