服务器之家

服务器之家 > 正文

OpenCV+Python3.5 简易手势识别的实现

时间:2021-08-16 00:35     来源/作者:*_Sasuke?

检测剪刀石头布三种手势,通过摄像头输入,方法如下:

  • 选用合适颜色空间及阈值提取皮肤部分
  • 使用滤波腐蚀膨胀等方法去噪
  • 边缘检测
  • 寻用合适方法分类

OpenCV用摄像头捕获视频

采用方法:调用OpenCV——cv2.VideoCapture()

  1. def video_capture():
  2. cap = cv2.VideoCapture(0)
  3. while True:
  4. # capture frame-by-frame
  5. ret, frame = cap.read()
  6.  
  7. # our operation on the frame come here
  8. # gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) 可选择灰度化
  9.  
  10. # display the resulting frame
  11. cv2.imshow('frame', frame)
  12. if cv2.waitKey(1) & 0xFF == ord('q'): # 按q键退出
  13. break
  14. # when everything done , release the capture
  15. cap.release()
  16. cv2.destroyAllWindows()

效果如下

OpenCV+Python3.5 简易手势识别的实现

肤色识别——椭圆肤色检测模型

参考下述博文

http://www.zzvips.com/article/202594.htm

代码如下

  1. def ellipse_detect(img):
  2. # 椭圆肤色检测模型
  3. skinCrCbHist = np.zeros((256, 256), dtype=np.uint8)
  4. cv2.ellipse(skinCrCbHist, (113, 155), (23, 15), 43, 0, 360, (255, 255, 255), -1)
  5.  
  6. YCRCB = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB)
  7. (y, cr, cb) = cv2.split(YCRCB)
  8. skin = np.zeros(cr.shape, dtype=np.uint8)
  9. (x, y) = cr.shape
  10. for i in range(0, x):
  11. for j in range(0, y):
  12. CR = YCRCB[i, j, 1]
  13. CB = YCRCB[i, j, 2]
  14. if skinCrCbHist[CR, CB] > 0:
  15. skin[i, j] = 255
  16. dst = cv2.bitwise_and(img, img, mask=skin)
  17. return dst

效果如下,可见与肤色相近的物体全被提取出来,包括桌子。。。
识别时需寻找一无干扰环境

OpenCV+Python3.5 简易手势识别的实现

去噪——滤波、腐蚀和膨胀

参考下述博文

http://www.zzvips.com/article/202599.htm

采用方法:高斯滤波 cv2.GaussianBlur() + 膨胀 cv2.dilate(),代码如下

  1. # 膨胀
  2. def dilate_demo(image):
  3. # 灰度化
  4. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
  5. # 二值化
  6. ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
  7. # 定义结构元素的形状和大小
  8. kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
  9. # 膨胀操作
  10. dst = cv2.dilate(binary, kernel)
  11. return dst
  12.  
  13. # 腐蚀
  14. def erode_demo(image):
  15. # 灰度化
  16. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
  17. # 二值化
  18. ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
  19. # 定义结构元素的形状和大小
  20. kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15))
  21. # 腐蚀操作
  22. dst = cv2.erode(binary, kernel)
  23. return dst
  24.  
  25. # 滤波
  26. def img_blur(image):
  27. # 腐蚀操作
  28. # img_erode = erode_demo(image)
  29. # 膨胀操作
  30. img_dilate = dilate_demo(image)
  31.  
  32. # 均值滤波
  33. # blur = cv2.blur(image, (5, 5))
  34. # 高斯滤波
  35. blur = cv2.GaussianBlur(img_dilate, (3, 3), 0)
  36. return blur

Canny边缘检测

参考OpenCV中文教程

https://www.kancloud.cn/aollo/aolloopencv/271603

代码如下

  1. # Canny边缘检测v
  2. def canny_detect(image):
  3. edges = cv2.Canny(image, 50, 200)
  4. return edges

识别——轮廓匹配

Tensorflow框架实在太难搭,搭了半天没搭出来,还一堆错误。。。所以采用轮廓匹配 cv2.matchShapes() ,方案如下:

  • 划分出了一个手势识别区域,可避免周围环境的干扰,也可简化图像处理过程
  • 寻找轮廓时采用寻找矩形框架 cv2.boundingRect()的方法找到最大轮廓,即手势的轮廓
  • 将找到的轮廓直接与标准图片进行匹配,简化识别过程

但在匹配时发现“剪刀”的手势常与“石头”、“布”的手势匹配到一起。。。所以另辟蹊径,在匹配时加上了对于矩形框架面积的判断,一般来说有如下规律,石头<剪刀<布,代码如下

  1. # 轮廓匹配
  2. value = [0, 0, 0]
  3. value[0] = cv2.matchShapes(img_contour, img1, 1, 0.0)
  4. value[1] = cv2.matchShapes(img_contour, img2, 1, 0.0)
  5. value[2] = cv2.matchShapes(img_contour, img3, 1, 0.0)
  6. min_index = np.argmin(value)
  7. if min_index == 0: # 剪刀
  8. print(text[int(min_index)], value)
  9. elif min_index == 1 and w*h < 25000: # 石头
  10. print(text[int(min_index)], value)
  11. elif min_index == 1 and w*h >= 25000: # 剪刀
  12. print(text[0], value)
  13. elif min_index == 2 and w * h > 30000: # 布
  14. print(text[int(min_index)], value)
  15. elif min_index == 2 and w * h <= 30000: # 剪刀
  16. print(text[0], value)

程序会根据匹配值和面积大小来决定识别结果,例如,下述结果,1.179515828609219, 0.9604643714904955, 0.9896353720020925分别对应剪刀、石头、布的匹配值,越小说明越吻合;结合最终识别情况来看,在三种手势中,石头的识别成功率最高,约98%;布其次,约88%;剪刀最低,约80%,而且结果易受环境亮度影响,环境过暗或过亮,有时候手势轮廓都出不来。。。看来仍有待改进,还是得用机器学习的方法

石头 [1.179515828609219, 0.9604643714904955, 0.9896353720020925]

程序效果如下,黄色矩形框为识别区域,gesture窗口为用于轮廓匹配的手势图

OpenCV+Python3.5 简易手势识别的实现

OpenCV+Python3.5 简易手势识别的实现

OpenCV+Python3.5 简易手势识别的实现

到此这篇关于OpenCV+Python3.5 简易手势识别的实现的文章就介绍到这了,更多相关OpenCV 手势识别 内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/lzhlegen/article/details/111403242

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021德云社封箱演出完整版 2021年德云社封箱演出在线看
2021德云社封箱演出完整版 2021年德云社封箱演出在线看 2021-03-15
返回顶部