字符型图片验证码识别完整过程及python实现的博主，我的大部分知识点都是从他那里学来的。
想要识别验证码，收集足够多的样本后，首先要做的就是对验证码原始图片进行处理，对验证码识别分类之前，一般包括：将彩色图片转换成灰度图、将灰度图二值化和去除噪点三个基本过程。这里仅以比较简单的验证码为例，介绍一下如何通过python的pil库对图片去噪。
首先看一下未经处理的验证码图片：
对图片处理主要使用了pil库的image类。
1.彩色图片转换成灰度图
首先使用image的open方法打开上面的图片，可以得到一个pil.image.image对象，之后就可以调用convert、filter、point和putpixel等方法来处理图片。
我们可以通过convert方法将上面的彩色图片转换成灰度图：
|
1
2
3
4
5
6
7
8
9
10
11
|
# encoding=utf8 from pil import image def main(): image = image.open('randompicture.png') imgry = image.convert('l') imgry.save('gray.png') if __name__ == '__main__': main() |
运行结果：
通过保存的图片可以看出来，已经由原来的彩图变成了灰度图，或者也可以认为是黑白图。什么叫灰度图？我们知道彩色图片是由不同的颜色的像素组合到一起的，那灰度图可以类似的认为是由不同灰度值的像素组合在一起后呈现出来的。任何颜色都有红、绿、蓝三原色组成，假如原来某点的颜色为rgb(r，g，b)，那么，我们可以通过下面几种方法，将其转换为灰度：
1.浮点算法：gray=r*0.3+g*0.59+b*0.11
2.整数方法：gray=(r*30+g*59+b*11)/100
3.移位方法：gray =(r*76+g*151+b*28)>>8;
4.平均值法：gray=（r+g+b）/3;
5.仅取绿色：gray=g；
通过上述任一种方法求得gray后，将原来的rgb(r,g,b)中的r,g,b统一用gray替换，形成新的颜色rgb(gray,gray,gray)，用它替换原来的rgb(r,g,b)就是灰度图了。
用代码实现看一下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
# encoding=utf8 from pil import image def main(): image = image.open('randompicture.png') print 'image mode: ', image.mode print image.getpixel((0, 0)) print '-' * 40 imgry = image.convert('l') print 'imgry mode: ', imgry.mode print imgry.getpixel((0, 0)) if __name__ == '__main__': main() |
运行结果：
|
1
2
3
4
5
|
image mode: rgb(21, 10, 26)----------------------------------------imgry mode: l15 |
代码说明：
通过image.mode方法可以获得当前的pil.image.image对象（也就是当前打开的图片）的mode值，而mode值表示图片的单位颜色是由rgb三个值组成的还是由灰度值组成的；
而getpixel可以获取某个像素的rgb值或者灰度值。我们知道图片是由许多像素组成的，每个像素在图片上都有一个对应的坐标x和y，而“(0, 0)”就表示该图片左上角顶点的像素。
由上面的结果我们可以知道，在将图片转换成灰度图之前，“(0, 0)”代表的像素的颜色是由rgb组成的：(21, 10, 26)；在通过concert将彩色图片转换成灰度后，“(0, 0)”代表的像素的颜色值就变成了一个值：“15”，通过打印imgry.mode我们也可以知道，此时图片已经变成了灰度图，它的每一个像素的颜色都变成了一个灰度值。
其实这时候我们也可以简单的计算一下，使用前面说的浮点算法将上面的(21, 10, 26)三个值带入计算：
|
1
2
|
>>> 21*0.3+10*0.59+26*0.1115.059999999999999 |
结果显示确实由浮点算法将rgb值变成了灰度值。
2.灰度图二值化
我们已经得到了灰度图，接下来就是将灰度图二值化。所谓二值化就是将灰度图像转换成由黑白二色组成的图像。思路就是确定一个阈值，大于阈值的像素表示为白色，小于阈值的像素表示为黑色，以此将图片的像素（灰度值）划分为两部分：0和1，例如0代表黑色，1代表白色，然后我们就可以用一串0和1组成的数字来表示一张图片。
将灰度图二值化会用到point方法，它可以接收一个灰度转二值的映射table，具体原理暂时还没弄明白，代码实现过程是这样的：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
# encoding=utf8 from pil import image def get_bin_table(threshold=115): ''' 获取灰度转二值的映射table 0表示黑色,1表示白色 ''' table = [] for i in range(256): if i < threshold: table.append(0) else: table.append(1) return table def main(): image = image.open('randompicture.png') imgry = image.convert('l') table = get_bin_table() binary = imgry.point(table, '1') binary.save('binary.png') if __name__ == '__main__': main() |
运行结果：
通过结果不难看出，我们已经将最开始的彩色图由灰度图转变成了仅由黑白二色组成的图片，实现了二值化。这里需要说明的是，threshold参数值针对当前的验证码图片合适，该值需要根据验证码类型不同进行调试来确定。
然后我们再看看(0, 0)坐标代表的像素的颜色值是什么：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
|
# encoding=utf8 from pil import image def get_bin_table(threshold=115): ''' 获取灰度转二值的映射table 0表示黑色,1表示白色 ''' table = [] for i in range(256): if i < threshold: table.append(0) else: table.append(1) return table def main(): image = image.open('randompicture.png') print 'image mode: ', image.mode print image.getpixel((0, 0)) co = image.getcolors() print co print '-' * 40 imgry = image.convert('l') print 'imgry mode: ', imgry.mode print imgry.getpixel((0, 0)) co = imgry.getcolors() print co print '-' * 40 table = get_bin_table() binary = imgry.point(table, '1') print 'binary mode: ', binary.mode print binary.getpixel((0, 0)) co = binary.getcolors() print co if __name__ == '__main__': main() |
运行结果：
|
1
2
3
4
5
6
7
8
9
10
11
|
image mode: rgb(21, 10, 26)none----------------------------------------imgry mode: l15[(1, 2), (2, 3), (1, 4), (1, 5), (4, 6), (3, 8), (3, 9), (6, 10), (4, 11), (4, 12), (7, 13), (8, 14), (3, 15), (12, 16), (7, 17), (6, 18), (5, 19), (13, 20), (9, 21), (9, 22), (4, 23), (5, 24), (7, 25), (3, 26), (6, 27), (7, 28), (3, 29), (3, 30), (3, 31), (5, 32), (1, 33), (3, 35), (2, 36), (2, 37), (2, 38), (2, 39), (1, 41), (3, 42), (1, 43), (2, 44), (7, 45), (3, 46), (5, 47), (1, 48), (3, 49), (3, 50), (3, 51), (5, 52), (4, 53), (1, 54), (7, 55), (7, 56), (10, 57), (4, 58), (5, 59), (6, 60), (5, 61), (12, 62), (7, 63), (10, 64), (12, 65), (14, 66), (15, 67), (11, 68), (9, 69), (11, 70), (7, 71), (9, 72), (5, 73), (10, 74), (5, 75), (5, 76), (5, 77), (8, 78), (7, 79), (3, 80), (5, 81), (6, 82), (5, 83), (3, 84), (3, 85), (6, 86), (2, 87), (3, 88), (2, 90), (3, 91), (1, 93), (2, 94), (3, 95), (1, 96), (3, 97), (2, 99), (3, 100), (3, 101), (1, 102), (3, 104), (4, 105), (1, 106), (3, 108), (4, 110), (4, 111), (4, 112), (3, 113), (3, 114), (5, 115), (2, 116), (3, 117), (8, 118), (8, 119), (8, 120), (7, 121), (9, 122), (9, 123), (11, 124), (11, 125), (2, 126), (10, 127), (9, 128), (7, 129), (13, 130), (11, 131), (11, 132), (9, 133), (16, 134), (11, 135), (12, 136), (8, 137), (14, 138), (12, 139), (13, 140), (20, 141), (22, 142), (19, 143), (14, 144), (23, 145), (17, 146), (10, 147), (18, 148), (13, 149), (11, 150), (26, 151), (16, 152), (14, 153), (11, 154), (17, 155), (10, 156), (12, 157), (12, 158), (20, 159), (18, 160), (16, 161), (22, 162), (20, 163), (16, 164), (13, 165), (14, 166), (13, 167), (11, 168), (17, 169), (8, 170), (16, 171), (20, 172), (12, 173), (10, 174), (10, 175), (10, 176), (11, 177), (7, 178), (8, 179), (7, 180), (5, 181), (7, 182), (4, 183), (7, 184), (4, 185), (4, 186), (5, 187), (6, 188), (2, 189), (1, 190), (4, 191), (6, 192), (12, 193), (8, 194), (10, 195), (3, 196), (13, 197), (9, 198), (19, 199), (18, 200), (20, 201), (16, 202), (18, 203), (24, 204), (33, 205), (25, 206), (33, 207), (38, 208), (31, 209), (46, 210), (39, 211), (53, 212), (54, 213), (33, 214), (42, 215), (54, 216), (60, 217), (50, 218), (36, 219), (48, 220), (32, 221), (45, 222), (28, 223), (24, 224), (21, 225), (19, 226), (21, 227), (13, 228), (12, 229), (12, 230), (13, 231), (5, 232), (8, 233), (4, 234), (5, 235), (1, 236), (1, 237), (2, 238), (1, 239), (1, 240), (1, 242), (1, 243)]----------------------------------------binary mode: 10[(503, 0), (1993, 1)] |
代码说明：
通过binary mode的值我们可以知道二值化后得到的图片的像素值由0或1表示，而且当前(0, 0)代表的像素值的为0，它代表黑色，通过上面的图片我们也可以知道，左上角顶点确实是黑色的。
上面的代码中我们还使用了getcolors方法，它用来返回像素信息，是一个含有元素的列表：[(该种像素的数量，(该种像素)),(...),...]，当该列表特别大的时候，它会返回none，这也是为什么上面彩色图片调用getcolors的时候会返回none。而[(503, 0), (1993, 1)]就表示我们得到的二值化黑白图片，由503个黑色像素点和1993个白色像素点组成。
通过binary.size我们可以得到二值化后的黑白图片的width和height值：(78, 32)，它就表示该图片由78x32个像素点组成，正好等于503+1993的和。(78, 32)也说明该图片横向上共有32行，每行有78个像素点。将由0和1表示的图片打印出来看一下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# encoding=utf8 from pil import image def get_bin_table(threshold=115): ''' 获取灰度转二值的映射table 0表示黑色,1表示白色 ''' table = [] for i in range(256): if i < threshold: table.append(0) else: table.append(1) return table def main(): image = image.open('randompicture.png') imgry = image.convert('l') table = get_bin_table() binary = imgry.point(table, '1') width, height = binary.size lis = binary.getdata() # 返回图片所有的像素值，要使用list()才能显示出具体数值 lis = list(lis) start = 0 step = width for i in range(height): for p in lis[start: start+step]: if p == 1: # 将白色的点变成空格，方便人眼看 p = ' ' print p, print start += step if __name__ == '__main__': main() |
运行结果：
通过上面的结果已经大致可以看出该图片表示的就是“959c”。
3.去除噪点
由上面的结果也不难看出，除了表示“959c”的“0”，图片中还有其他的“0”代表的“噪点”，我们要尽可能的去除它们，方便后期的识别训练。
对于去除噪点，我这里也是借鉴了字符型图片验证码识别完整过程及python实现里面的“九宫格”方法，代码实现：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
|
# encoding=utf8 from pil import image def sum_9_region_new(img, x, y): '''确定噪点 ''' cur_pixel = img.getpixel((x, y)) # 当前像素点的值 width = img.width height = img.height if cur_pixel == 1: # 如果当前点为白色区域,则不统计邻域值 return 0 # 因当前图片的四周都有黑点，所以周围的黑点可以去除 if y < 3: # 本例中，前两行的黑点都可以去除 return 1 elif y > height - 3: # 最下面两行 return 1 else: # y不在边界 if x < 3: # 前两列 return 1 elif x == width - 1: # 右边非顶点 return 1 else: # 具备9领域条件的 sum = img.getpixel((x - 1, y - 1)) \ + img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y + 1)) \ + img.getpixel((x, y - 1)) \ + cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x + 1, y - 1)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y + 1)) return 9 - sum def collect_noise_point(img): '''收集所有的噪点''' noise_point_list = [] for x in range(img.width): for y in range(img.height): res_9 = sum_9_region_new(img, x, y) if (0 < res_9 < 3) and img.getpixel((x, y)) == 0: # 找到孤立点 pos = (x, y) noise_point_list.append(pos) return noise_point_list def remove_noise_pixel(img, noise_point_list): '''根据噪点的位置信息，消除二值图片的黑点噪声''' for item in noise_point_list: img.putpixel((item[0], item[1]), 1) def get_bin_table(threshold=115): '''获取灰度转二值的映射table,0表示黑色,1表示白色''' table = [] for i in range(256): if i < threshold: table.append(0) else: table.append(1) return table def main(): image = image.open('randompicture.png') imgry = image.convert('l') table = get_bin_table() binary = imgry.point(table, '1') noise_point_list = collect_noise_point(binary) remove_noise_pixel(binary, noise_point_list) binary.save('finaly.png') if __name__ == '__main__': main() |
运行结果：
通过截图可以知道，我们已经去除了图片四周的噪点以及一些孤立的噪点。
还要再说一句的就是，除了上面的步骤，我们还可以通过pil的imageenhance,和imagefilter对图片做其他处理（例如增加对比度、亮度、锐化等），这里就不举例说明了，因为不同的图片经过这些处理后，可能效果会不同。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/u012067766/article/details/80013611
