一. 業務背景
在我們的某項業務中，需要通過自研的智能硬件“自動化”地拍攝一組組手機的照片，這些照片有時候因爲光照的因素需要考慮將背景的顏色整體替換掉，然後再呈現給 C 端用戶。這時就有背景替換的需求了。
二. 技術實現
使用 OpenCV ，通過傳統的圖像處理來實現這個需求。
方案一：
首先想到的是使用 K-means 分離出背景色。
大致的步驟如下：
- 將二維圖像數據線性化
- 使用 K-means 聚類算法分離出圖像的背景色
- 將背景與手機二值化
- 使用形態學的腐蝕，高斯模糊算法將圖像與背景交匯處高斯模糊化
- 替換背景色以及對交匯處進行融合處理
k-平均算法（英文：k-means clustering）源於信號處理中的一種向量量化方法，現在則更多地作爲一種聚類分析方法流行於數據挖掘領域。k-平均聚類的目的是：把 n 個點（可以是樣本的一次觀察或一個實例）劃分到k個聚類中，使得每個點都屬於離他最近的均值（此即聚類中心）對應的聚類，以之作爲聚類的標準。這個問題將歸結爲一個把數據空間劃分爲Voronoi cells的問題。
K-means 算法思想爲：給定n個數據點{x1,x2,…,xn},找到K個聚類中心{a1,a2,…,aK},使得每個數據點與它最近的聚類中心的距離平方和最小,並將這個距離平方和稱爲目標函數,記爲Wn,其數學表達式爲：
K-means 算法基本流程：
- 初始的 K 個聚類中心。
- 按照距離聚類中心的遠近對所有樣本進行分類。
- 重新計算聚類中心，判斷是否退出條件：
兩次聚類中心的距離足夠小視爲滿足退出條件；
不退出則重新回到步驟2。
int main() {
Mat src = imread("test.jpg");
if (src.empty()) {
printf("could not load image...\n");
return -1;
}
imshow("origin", src);
// 將二維圖像數據線性化
Mat data;
for (int i = 0; i < src.rows; i++) {//像素點線性排列
for (int j = 0; j < src.cols; j++)
{
Vec3b point = src.at<Vec3b>(i, j);
Mat tmp = (Mat_<float>(1, 3) << point[0], point[1], point[2]);
data.push_back(tmp);
}
}
// 使用K-means聚類
int numCluster = 4;
Mat labels;
TermCriteria criteria = TermCriteria(TermCriteria::EPS + TermCriteria::COUNT, 10, 0.1);
kmeans(data, numCluster, labels, criteria, 4, KMEANS_PP_CENTERS);
// 背景與手機二值化
Mat mask = Mat::zeros(src.size(), CV_8UC1);
int index = src.rows * 2 + 2; //獲取點（2，2）作爲背景色
int cindex = labels.at<int>(index);
/* 提取背景特徵 */
for (int row = 0; row < src.rows; row++) {
for (int col = 0; col < src.cols; col++) {
index = row * src.cols + col;
int label = labels.at<int>(index);
if (label == cindex) { // 背景
mask.at<uchar>(row, col) = 0;
}
else {
mask.at<uchar>(row, col) = 255;
}
}
}
imshow("mask", mask);
// 腐蝕 + 高斯模糊：圖像與背景交匯處高斯模糊化
Mat k = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
erode(mask, mask, k);
GaussianBlur(mask, mask, Size(3, 3), 0, 0);
// 更換背景色以及交匯處融合處理
RNG rng(12345);
Vec3b color; //設置的背景色
color[0] = 255;//rng.uniform(0, 255);
color[1] = 255;// rng.uniform(0, 255);
color[2] = 255;// rng.uniform(0, 255);
Mat result(src.size(), src.type());
double w = 0.0; //融合權重
int b = 0, g = 0, r = 0;
int b1 = 0, g1 = 0, r1 = 0;
int b2 = 0, g2 = 0, r2 = 0;
for (int row = 0; row < src.rows; row++) {
for (int col = 0; col < src.cols; col++) {
int m = mask.at<uchar>(row, col);
if (m == 255) {
result.at<Vec3b>(row, col) = src.at<Vec3b>(row, col); // 前景
}
else if (m == 0) {
result.at<Vec3b>(row, col) = color; // 背景
}
else {/* 融合處理部分 */
w = m / 255.0;
b1 = src.at<Vec3b>(row, col)[0];
g1 = src.at<Vec3b>(row, col)[1];
r1 = src.at<Vec3b>(row, col)[2];
b2 = color[0];
g2 = color[1];
r2 = color[2];
b = b1 * w + b2 * (1.0 - w);
g = g1 * w + g2 * (1.0 - w);
r = r1 * w + r2 * (1.0 - w);
result.at<Vec3b>(row, col)[0] = b;
result.at<Vec3b>(row, col)[1] = g;
result.at<Vec3b>(row, col)[2] = r;
}
}
}
imshow("final", result);
waitKey(0);
return 0;
}
方案二：
方案一的算法並不是對所有手機都有效，對於一些淺色的、跟背景顏色相近的手機，該算法會比較無能爲力。
於是換一個思路：
- 使用 USM 銳化算法對圖像增強
- 再用純白色的圖片作爲背景圖，和銳化之後的圖片進行圖像融合。
圖像銳化是使圖像邊緣更加清晰的一種圖像處理方法。
USM(Unsharpen Mask) 銳化的算法就是對原圖像先做一個高斯模糊，然後用原來的圖像減去一個係數乘以高斯模糊之後的圖像，然後再把值 Scale 到0～255的 RGB 素值範圍之內。基於 USM 銳化的算法可以去除一些細小的干擾細節和噪聲，比一般直接使用卷積銳化算子得到的圖像銳化結果更加真實可信。
int main() {
Mat src = imread("./test.jpg");
if (src.empty()) {
printf("could not load image...\n");
return -1;
}
namedWindow("src", WINDOW_AUTOSIZE);
imshow("origin", src);
Mat blur_img, usm;
GaussianBlur(src, blur_img, Size(0, 0), 25);
addWeighted(src, 1.5, blur_img, -0.5, 0, usm);
imshow("usm", usm);
Mat roi = Mat(Size(src.cols,src.rows), CV_8UC3, Scalar(255, 255, 255));
Mat dst;
addWeighted(usm, 1.275, roi, 0.00015, 0, dst);
imshow("final", dst);
waitKey(0);
return 0;
}
其中，addWeighted 函數是將兩張大小相同、類型相同的圖片進行融合。數學公式如下：
dst = src1*alpha + src2*beta + gamma;
三. 總結
其實，我嘗試過用 OpenCV 多種方式實現該功能，也嘗試過使用深度學習實現。目前還沒有最滿意的效果。後續，我會更偏向於使用深度學習來實現該功能。