Java OpenCV-4.0.0 圖像處理32 視頻分析和對象跟蹤 背景消除
package com.xu.opencv.objecttracking;
import java.util.ArrayList;
import java.util.List;
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.MatOfPoint;
import org.opencv.core.Point;
import org.opencv.core.Rect;
import org.opencv.core.Scalar;
import org.opencv.core.Size;
import org.opencv.highgui.HighGui;
import org.opencv.imgproc.Imgproc;
import org.opencv.video.BackgroundSubtractorKNN;
import org.opencv.video.BackgroundSubtractorMOG2;
import org.opencv.video.Video;
import org.opencv.videoio.VideoCapture;
/**
* @Title: BSM.java
* @Package com.xu.opencv.objecttracking
* @Description: OpenCV-4.1.0 背景消除
* @author: xuhyacinth
* @date: 2019年7月19日 下午22:10:14
* @version: V-1.0
* @Copyright: 2019 xuhyacinth
*/
public class BSM {
static {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
}
public static void main(String[] args) {
BSM_MOG2();
}
/**
* OpenCV-4.1.0 視頻分析和對象跟蹤 背景消除 GMM
*
* @return: void
* @date: 2019年7月19日 下午22:10:14
*/
public static void BSM_MOG2() {
// 1 創建 VideoCapture 對象
VideoCapture capture = new VideoCapture(0);
// 2 使用 VideoCapture 對象讀取本地視頻
capture.open("C:\\Users\\Administrator\\Videos\\001.avi");
// 3 獲取視頻處理時的鍵盤輸入 我這裏是爲了在 視頻處理時如果按 Esc 退出視頻對象跟蹤
int index = 0;
// 4 使用 Mat video 保存視頻中的圖像幀 針對每一幀 做處理
Mat video = new Mat();
// 5 獲取形態學結構
Mat kernel = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(3, 3), new Point(-1, -1));
// 6 GMM
BackgroundSubtractorMOG2 subtractor = Video.createBackgroundSubtractorMOG2();
Mat fgmask = new Mat();
while (capture.read(video)) {
// 7 提取模型 BSM
subtractor.apply(video, fgmask);
// 8 形態學變換
Imgproc.morphologyEx(fgmask, fgmask, Imgproc.MORPH_OPEN, kernel, new Point(-1, -1));
// 9 效果展示
List<Rect> rects = process(fgmask);
System.out.println("發現 " + rects.size() + " 對象");
for (int i = 0; i < rects.size(); i++) {
Imgproc.rectangle(video, new Point(rects.get(i).x, rects.get(i).y), new Point(rects.get(i).x + rects.get(i).width, rects.get(i).y + rects.get(i).height), new Scalar(255, 0, 0), 1, Imgproc.LINE_AA, 0);
}
HighGui.imshow("GMM 背景消除", video);
index = HighGui.waitKey(100);
if (index == 27) {
capture.release();
break;
}
}
}
/**
* OpenCV-4.1.0 視頻分析和對象跟蹤 背景消除 KNN
*
* @return: void
* @date: 2019年7月19日 下午22:10:14
*/
public static void BSM_KNN() {
// 1 創建 VideoCapture 對象
VideoCapture capture = new VideoCapture(0);
// 2 使用 VideoCapture 對象讀取本地視頻
capture.open("C:\\Users\\Administrator\\Videos\\bike.avi");
// 3 獲取視頻處理時的鍵盤輸入 我這裏是爲了在 視頻處理時如果按 Esc 退出視頻對象跟蹤
int index = 0;
// 4 使用 Mat video 保存視頻中的圖像幀 針對每一幀 做處理
Mat video = new Mat();
// 5 獲取形態學結構
Mat kernel = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(5, 5), new Point(-1, -1));
// 6 KNN
BackgroundSubtractorKNN subtractor = Video.createBackgroundSubtractorKNN();
Mat fgmask = new Mat();
while (capture.read(video)) {
// 7 提取模型 BSM
subtractor.apply(video, fgmask, -1);
// 8 形態學變換
Imgproc.morphologyEx(fgmask, fgmask, Imgproc.MORPH_OPEN, kernel, new Point(-1, -1));
// 9 效果展示
List<Rect> rects = process(fgmask);
System.out.println("發現 " + rects.size() + " 對象");
for (int i = 0; i < rects.size(); i++) {
Imgproc.rectangle(video, new Point(rects.get(i).x, rects.get(i).y), new Point(rects.get(i).x + rects.get(i).width, rects.get(i).y + rects.get(i).height), new Scalar(255, 0, 0), 1, Imgproc.LINE_AA, 0);
}
HighGui.imshow("KNN 背景消除", video);
index = HighGui.waitKey(100);
if (index == 27) {
capture.release();
break;
}
}
}
/**
* OpenCV-4.0.0
* <table border="1" cellpadding="10">
* <tr><td colspan="2" align="center">Imgproc.findContours() 函數 mode 和 method 參數解釋</td></tr>
* <tr><th align="center">Mode 輸入參數</th><th align="center">參數解釋</th></tr>
* <tr><td align="left">RETR_EXTERNAL</td><td align="left">只檢測最外圍輪廓，包含在外圍輪廓內的內圍輪廓被忽略</td></tr>
* <tr><td align="left">RETR_LIST</td><td align="left">檢測所有的輪廓，包括內圍、外圍輪廓，但是檢測到的輪廓不建立等級關係，彼此之間獨立，沒有等級關係，這就意味着這個檢索模式下不存在父輪廓或內嵌輪廓，所以hierarchy向量內所有元素的第3、第4個分量都會被置爲-1</td></tr>
* <tr><td align="left">RETR_CCOMP</td><td align="left"> 檢測所有的輪廓，但所有輪廓只建立兩個等級關係，外圍爲頂層，若外圍內的內圍輪廓還包含了其他的輪廓信息，則內圍內的所有輪廓均歸屬於頂層</td></tr>
* <tr><td align="left">RETR_TREE</td><td align="left">檢測所有輪廓，所有輪廓建立一個等級樹結構。外層輪廓包含內層輪廓，內層輪廓還可以繼續包含內嵌輪廓。</td></tr>
* <tr><th align="center">Mthod 輸入參數</th><th align="center">參數解釋</th></tr>
* <tr><td align="left">CHAIN_APPROX_NONE</td><td align="left">保存物體邊界上所有連續的輪廓點到contours向量內</td></tr>
* <tr><td align="left">CHAIN_APPROX_SIMPLE</td><td align="left">僅保存輪廓的拐點信息，把所有輪廓拐點處的點保存入contours向量內，拐點與拐點之間直線段上的信息點不予保留</td></tr>
* <tr><td align="left">CHAIN_APPROX_TC89_L1</td><td align="left">使用teh-Chinl chain 近</td></tr>
* <tr><td align="left">CHAIN_APPROX_TC89_KCOS </td><td align="left">使用teh-Chinl chain 近</td></tr>
*
* @param video Mat
* @return: List<Rect>
* @date 2019年7月19日 下午22:10:14
*/
public static List<Rect> process(Mat video) {
// 1 跟蹤物體在圖像中的位置
List<MatOfPoint> contours = new ArrayList<MatOfPoint>();
// 2找出圖像中物體的位置
Imgproc.findContours(video, contours, new Mat(), Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE, new Point(7, 7));
// 3 對象結果
List<Rect> rects = new ArrayList<Rect>();
Rect rect;
if (contours.size() > 0) {// 4.1 如果發現圖像
for (int i = 0; i < contours.size(); i++) {
rect = new Rect();
double area = Imgproc.contourArea(contours.get(i));
if (area > 0.0) {
rect = Imgproc.boundingRect(contours.get(i));
} else {
rect.x = rect.y = rect.width = rect.height = 0;
}
rects.add(rect);
}
} else {// 4.2 如果沒有發現圖像
rect = new Rect();
rect.x = rect.y = rect.width = rect.height = 0;
rects.add(rect);
}
return rects;
}
/**
* OpenCV-4.0.0
* <table border="1" cellpadding="10">
* <tr><td colspan="2" align="center">Imgproc.findContours() 函數 mode 和 method 參數解釋</td></tr>
* <tr><th align="center">Mode 輸入參數</th><th align="center">參數解釋</th></tr>
* <tr><td align="left">RETR_EXTERNAL</td><td align="left">只檢測最外圍輪廓，包含在外圍輪廓內的內圍輪廓被忽略</td></tr>
* <tr><td align="left">RETR_LIST</td><td align="left">檢測所有的輪廓，包括內圍、外圍輪廓，但是檢測到的輪廓不建立等級關係，彼此之間獨立，沒有等級關係，這就意味着這個檢索模式下不存在父輪廓或內嵌輪廓，所以hierarchy向量內所有元素的第3、第4個分量都會被置爲-1</td></tr>
* <tr><td align="left">RETR_CCOMP</td><td align="left"> 檢測所有的輪廓，但所有輪廓只建立兩個等級關係，外圍爲頂層，若外圍內的內圍輪廓還包含了其他的輪廓信息，則內圍內的所有輪廓均歸屬於頂層</td></tr>
* <tr><td align="left">RETR_TREE</td><td align="left">檢測所有輪廓，所有輪廓建立一個等級樹結構。外層輪廓包含內層輪廓，內層輪廓還可以繼續包含內嵌輪廓。</td></tr>
* <tr><th align="center">Mthod 輸入參數</th><th align="center">參數解釋</th></tr>
* <tr><td align="left">CHAIN_APPROX_NONE</td><td align="left">保存物體邊界上所有連續的輪廓點到contours向量內</td></tr>
* <tr><td align="left">CHAIN_APPROX_SIMPLE</td><td align="left">僅保存輪廓的拐點信息，把所有輪廓拐點處的點保存入contours向量內，拐點與拐點之間直線段上的信息點不予保留</td></tr>
* <tr><td align="left">CHAIN_APPROX_TC89_L1</td><td align="left">使用teh-Chinl chain 近</td></tr>
* <tr><td align="left">CHAIN_APPROX_TC89_KCOS </td><td align="left">使用teh-Chinl chain 近</td></tr>
*
* @param Mat video
* @param int mode
* @param int method
* @return: List<Rect>
* @date 2019年4月14日16:42:24:
*/
public static List<Rect> process(Mat video, int mode, int method) {
// 1 圖像形態學結構
Mat kernel = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(3, 3), new Point(-1, -1));
// 2 圖像形態學變換
Imgproc.morphologyEx(video, video, Imgproc.MORPH_OPEN, kernel, new Point(-1, -1));
// 3 跟蹤物體在圖像中的位置
List<MatOfPoint> contours = new ArrayList<MatOfPoint>();
// 4 找出圖像中物體的位置
Imgproc.findContours(video, contours, new Mat(), mode, method, new Point(15, 15));
// 5 對象結果
List<Rect> rects = new ArrayList<Rect>();
Rect rect;
if (contours.size() > 0) {// 6.1 如果發現圖像
for (int i = 0; i < contours.size(); i++) {
rect = new Rect();
double area = Imgproc.contourArea(contours.get(i));
if (area > 0.0) {
rect = Imgproc.boundingRect(contours.get(i));
} else {
rect.x = rect.y = rect.width = rect.height = 0;
}
rects.add(rect);
}
} else {// 6.2 如果沒有發現圖像
rect = new Rect();
rect.x = rect.y = rect.width = rect.height = 0;
rects.add(rect);
}
return rects;
}
}
