OpenCV实现车牌字符分割(C++)
时间：2022-03-06 09:23:41 | 栏目：C代码 | 点击：次
之前的车牌定位中已经获取到了车牌的位置，并且对车牌进行了提取。我们最终的目的是进行车牌识别，在这之前需要将字符进行分割，方便对每一个字符进行识别，最后将其拼接后便是完整的车牌号码。关于车牌定位可以看这篇文章： OpenCV车牌定位(C++) ，本文使用的图片也是来自这里。
先来看一看原图：
最左边的汉字本来是 沪，截取时只获得了右边一点点的部分，这与原图和获取方法都有关，对于 川、沪… 这一类左右分开的字会经常发生这类问题，对方法进行优化后可以解决，这里暂时不进行讨论。
后面的字都是完整的，字符分割的过程不会受影响。首先来一波常规操作，为了更方便处理，将其变成灰度图片：
分割的方法不止一种，最简单的就是多加点人工成分，按照大致宽度再微调进行截取，但是这样看似最快其实成本最高，只适用于单一的图片，因此这种容错低且不够自动的方法就不考虑了。
目前我使用了两种不同的方法，一种是进行边缘检测再检测轮廓，根据字符的轮廓特点筛选出字符；另一种就是像素值判断，主要根据像素数量使用水平映射截取宽度，垂直映射因为高度基本一致就不需要了，方法于水平映射一样。
两种方法我都写在后面，根据需要自行复制。如果要使用像素值进行判断的话，就需要再将灰度图转换成二值化图片，使用阈值分割就行了。若使用第一种用轮廓分割的方法，灰度图和二值化图片都可以，结果没什么区别。
检测轮廓进行分割
边缘检测
对图像进行边缘检测，这里采用的是 Canny 边缘检测，处理后的结果如下：
可以看到每个字的边缘都被描绘出来了，接下来就将每个字的轮廓获取出来。
检测轮廓
直接使用 findContours() 将所有轮廓提取出来，再将其在原图中画出来看看效果：
可以看到不仅仅是每个字被框出来了，还有内部以及图像中表现特殊部分的轮廓也有，接下来我们就根据每个字的大致大小筛选出我们想要的结果：
这样看起来是不是就成功了，然后根据轮廓位置将每个字提取出来就行了，不过在这里每个轮廓的前后顺序不一定是图像中的位置，这里我使用每个轮廓左上角横坐标 x 的大小来排序。
完整代码：
#include <iostream>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/imgproc/types_c.h>
#include <map>
using namespace std;
using namespace cv;
int main() {
Mat img = imread("number.jpg");
Mat gray_img;
// 生成灰度图像
cvtColor(img, gray_img, CV_BGR2GRAY);
// 高斯模糊
Mat img_gau;
GaussianBlur(gray_img, img_gau, Size(3, 3), 0, 0);
// 阈值分割
Mat img_seg;
threshold(img_gau, img_seg, 0, 255, THRESH_BINARY + THRESH_OTSU);
// 边缘检测，提取轮廓
Mat img_canny;
Canny(img_seg, img_canny, 200, 100);
vector<vector<Point>> contours;
vector<Vec4i> hierarchy;
findContours(img_canny, contours, hierarchy, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE, Point());
int size = (int)(contours.size());
// 保存符号边框的序号
vector<int> num_order;
map<int, int> num_map;
for (int i = 0; i < size; i++) {
// 获取边框数据
Rect number_rect = boundingRect(contours[i]);
int width = number_rect.width;
int height = number_rect.height;
// 去除较小的干扰边框，筛选出合适的区域
if (width > img.cols/10 && height > img.rows/2) {
rectangle(img_seg, number_rect.tl(), number_rect.br(), Scalar(255, 255, 255), 1, 1, 0);
num_order.push_back(number_rect.x);
num_map[number_rect.x] = i;
}
}
// 按符号顺序提取
sort(num_order.begin(), num_order.end());
for (int i = 0; i < num_order.size(); i++) {
Rect number_rect = boundingRect(contours[num_map.find(num_order[i])->second]);
Rect choose_rect(number_rect.x, 0, number_rect.width, gray_img.rows);
Mat number_img = gray_img(choose_rect);
imshow("number" + to_string(i), number_img);
// imwrite("number" + to_string(i) + ".jpg", number_img);
}
imshow("添加方框", gray_img);
waitKey(0);
return 0;
}
像素值判断进行分割
分割方法：首先判断每一列的像素值大于 0 的像素个数超过5个时，认为此列是有数字的，记录每列像素是否大于 5，产生一个数组。
// 确认为 1 的像素
int pixrow[1000];
for (int i = 0; i < roi_col - 1; i++) {
for (int j = 0; j < roi_row - 1; j++) {
pix = img_threadhold.at<uchar>(j, i);
pixrow[i] = 0;
if (pix > 0) {
pixrow[i] = 1;
break;
}
}
}
// 对数组进行滤波，减少突变概率
for (int i = 2; i < roi_col - 1 - 2; i++) {
if ((pixrow[i - 1] + pixrow[i - 2] + pixrow[i + 1] + pixrow[i + 2]) >= 3) {
pixrow[i] = 1;
}
else if ((pixrow[i - 1] + pixrow[i - 2] + pixrow[i + 1] + pixrow[i + 2]) <= 1) {
pixrow[i] = 0;
}
}
之后记录像素为 0 和 1 所连续的长度来计算字符的宽度，最后用宽度的大小来筛选字符。
// 确认字符位置
int count = 0;
bool flage = false;
for (int i = 0; i < roi_col - 1; i++) {
pix = pixrow[i];
if (pix == 1 && !flage) {
flage = true;
position1[count] = i;
continue;
}
if (pix == 0 && flage) {
flage = false;
position2[count] = i;
count++;
}
if (i == (roi_col - 2) && flage) {
flage = false;
position2[count] = i;
count++;
}
}
分割出的结果：
完整代码：
#include <iostream>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/imgproc/types_c.h>
using namespace std;
using namespace cv;
int main() {
Mat img = imread("number.jpg");
Mat gray_img;
// 生成灰度图像
cvtColor(img, gray_img, CV_BGR2GRAY);
// 高斯模糊
Mat img_gau;
GaussianBlur(gray_img, img_gau, Size(3, 3), 0, 0);
// 阈值分割
Mat img_threadhold;
threshold(img_gau, img_threadhold, 0, 255, THRESH_BINARY + THRESH_OTSU);
// 判断字符水平位置
int roi_col = img_threadhold.cols, roi_row = img_threadhold.rows, position1[50], position2[50], roi_width[50];
uchar pix;
// 确认为 1 的像素
int pixrow[1000];
for (int i = 0; i < roi_col - 1; i++) {
for (int j = 0; j < roi_row - 1; j++) {
pix = img_threadhold.at<uchar>(j, i);
pixrow[i] = 0;
if (pix > 0) {
pixrow[i] = 1;
break;
}
}
}
// 对数组进行滤波，减少突变概率
for (int i = 2; i < roi_col - 1 - 2; i++) {
if ((pixrow[i - 1] + pixrow[i - 2] + pixrow[i + 1] + pixrow[i + 2]) >= 3) {
pixrow[i] = 1;
}
else if ((pixrow[i - 1] + pixrow[i - 2] + pixrow[i + 1] + pixrow[i + 2]) <= 1) {
pixrow[i] = 0;
}
}
// 确认字符位置
int count = 0;
bool flage = false;
for (int i = 0; i < roi_col - 1; i++) {
pix = pixrow[i];
if (pix == 1 && !flage) {
flage = true;
position1[count] = i;
continue;
}
if (pix == 0 && flage) {
flage = false;
position2[count] = i;
count++;
}
if (i == (roi_col - 2) && flage) {
flage = false;
position2[count] = i;
count++;
}
}
// 记录所有字符宽度
for (int n = 0; n < count; n++) {
roi_width[n] = position2[n] - position1[n];
}
// 减去最大值、最小值，计算平均值用字符宽度来筛选
int max = roi_width[0], max_index = 0;
int min = roi_width[0], min_index = 0;
for (int n = 1; n < count; n++) {
if (max < roi_width[n]) {
max = roi_width[n];
max_index = n;
}
if (min > roi_width[n]) {
min = roi_width[n];
min_index = n;
}
}
int index = 0;
int new_roi_width[50];
for (int i = 0; i < count; i++) {
if (i == min_index || i == max_index) {}
else {
new_roi_width[index] = roi_width[i];
index++;
}
}
// 取后面三个值的平均值
int avgre = (int)((new_roi_width[count - 3] + new_roi_width[count - 4] + new_roi_width[count - 5]) / 3.0);
// 字母位置信息确认，用宽度来筛选
int licenseX[10], licenseW[10], licenseNum = 0;
int countX = 0;
for (int i = 0; i < count; i++) {
if (roi_width[i] >(avgre - 8) && roi_width[i] < (avgre + 8)) {
licenseX[licenseNum] = position1[i];
licenseW[licenseNum] = roi_width[i];
licenseNum++;
countX++;
continue;
}
if (roi_width[i] > (avgre * 2 - 10) && roi_width[i] < (avgre * 2 + 10)) {
licenseX[licenseNum] = position1[i];
licenseW[licenseNum] = roi_width[i];
licenseNum++;
}
}
// 截取字符
Mat number_img = Mat(Scalar(0));
for (int i = 0; i < countX; i++) {
Rect choose_rect(licenseX[i], 0, licenseW[i], gray_img.rows);
number_img = gray_img(choose_rect);
imshow("number" + to_string(i), number_img);
// imwrite("number" + to_string(i) + ".jpg", number_img);
}
waitKey(0);
return 0;
}