分爲兩步：
- 從視頻中識別人臉和人的眼睛
- 從視頻中檢測人臉、眼睛、鼻子、嘴巴
1.從視頻中識別人臉和人的眼睛
關於視頻的操作，主要如下：
定義攝像頭->打開攝像頭->讀取視頻幀->轉而爲對圖片的操作（一幀就相當於一幅圖片）
VideoCapture capture; //定義攝像頭捕捉 變量
Mat frame;
capture.open(0); //打開攝像頭
while (capture.read(frame)) //讀取幀
{
//進行人臉檢測
//顯示
}
視頻人臉檢測的代碼：
//face_detect_from_video.cpp 定義控制檯應用程序的入口點。
//從視頻中識別人臉和人的眼睛
#include "stdafx.h"
#include "opencv2/objdetect.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <stdio.h>
using namespace std;
using namespace cv;
/** Function Headers */
void detectAndDisplay(Mat frame);
/** Global variables */
String face_cascade_name, eyes_cascade_name;
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;
String window_name = "Capture - Face detection";
/** @function main */
int main(int argc, const char** argv)
{
face_cascade_name = "./xml/haarcascade_frontalface_alt.xml";
eyes_cascade_name = "./xml/haarcascade_eye.xml";
VideoCapture capture;
Mat frame;
//-- 1. Load the cascades
if (!face_cascade.load(face_cascade_name)) { printf("--(!)Error loading face cascade\n"); return -1; };
if (!eyes_cascade.load(eyes_cascade_name)) { printf("--(!)Error loading eyes cascade\n"); return -1; };
//-- 2. Read the video stream
capture.open(0); //打開攝像頭
if (!capture.isOpened()) { printf("--(!)Error opening video capture\n"); return -1; }
while (capture.read(frame)) //讀取幀
{
if (frame.empty())
{
printf(" --(!) No captured frame -- Break!");
break;
}
//-- 3. Apply the classifier to the frame
detectAndDisplay(frame);
if (waitKey(10) == 'k') { break; } // escape
}
return 0;
}
/** @function detectAndDisplay */
void detectAndDisplay(Mat frame)
{
std::vector<Rect> faces;
Mat frame_gray;
cvtColor(frame, frame_gray, COLOR_BGR2GRAY); //BGR 轉化爲灰度圖
equalizeHist(frame_gray, frame_gray); //直方圖均衡化
//-- Detect faces
face_cascade.detectMultiScale(frame_gray, faces, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(60, 60));
for (size_t i = 0; i < faces.size(); i++)
{
Point center(faces[i].x + faces[i].width / 2, faces[i].y + faces[i].height / 2); // 人臉中心座標
ellipse(frame, center, Size(faces[i].width / 2, faces[i].height / 2), 0, 0, 360, Scalar(255, 0, 255), 4, 8, 0); // 橢圓
Mat faceROI = frame_gray(faces[i]);
std::vector<Rect> eyes;
//-- In each face, detect eyes
eyes_cascade.detectMultiScale(faceROI, eyes, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(30, 30));
for (size_t j = 0; j < eyes.size(); j++)
{
Point eye_center(faces[i].x + eyes[j].x + eyes[j].width / 2, faces[i].y + eyes[j].y + eyes[j].height / 2); //眼睛的中心
int radius = cvRound((eyes[j].width + eyes[j].height)*0.25); //取整
circle(frame, eye_center, radius, Scalar(255, 0, 0), 4, 8, 0);
}
}
//-- Show what you got
imshow(window_name, frame);
}
運行結果：
醜拒(#^.^#)
2. 從視頻中檢測人臉、眼睛、鼻子、嘴巴
將上述第一部分的從視頻中識別人臉和眼睛，再加上鼻子、嘴巴等的識別，可實現從視頻中檢測人臉特徵。
代碼如下：
//face_recog_from_video.cpp 定義控制檯應用程序的入口點。
#include "stdafx.h"
#include "opencv2/objdetect.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <stdio.h>
#include<iostream>
using namespace std;
using namespace cv;
/** Function Headers */
void detectAndDisplay(Mat frame);
/** Global variables */
String face_cascade_name, eyes_cascade_name, nose_cascade_name , mouth_cascade_name;
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;
CascadeClassifier nose_cascade;
CascadeClassifier mouth_cascade;
String window_name = "Capture - Face detection";
/** @function main */
int main(int argc, const char** argv)
{
face_cascade_name = "./xml/haarcascade_frontalface_alt.xml";
eyes_cascade_name = "./xml/haarcascade_eye.xml";
nose_cascade_name = "./xml/haarcascade_mcs_nose.xml";
mouth_cascade_name = "./xml/haarcascade_mcs_mouth.xml";
VideoCapture capture;
Mat frame;
//-- 1. Load the cascades
if (!face_cascade.load(face_cascade_name)) { printf("--(!)Error loading face cascade\n"); return -1; };
if (!eyes_cascade.load(eyes_cascade_name)) { printf("--(!)Error loading eyes cascade\n"); return -1; };
if (!nose_cascade.load(nose_cascade_name)) { printf("--(!)Error loading nose cascade\n"); return -1; };
if (!mouth_cascade.load(mouth_cascade_name)) { printf("--(!)Error loading mouth cascade\n"); return -1; };
//-- 2. Read the video stream
capture.open(0); //打開攝像頭
if (!capture.isOpened()) { printf("--(!)Error opening video capture\n"); return -1; }
while (capture.read(frame)) //讀取幀
{
if (frame.empty())
{
printf(" --(!) No captured frame -- Break!");
break;
}
//-- 3. Apply the classifier to the frame
detectAndDisplay(frame);
if (waitKey(10) == 'k') { break; } // escape
}
return 0;
}
/** @function detectAndDisplay */
void detectAndDisplay(Mat frame)
{
std::vector<Rect> faces;
Mat frame_gray;
cvtColor(frame, frame_gray, COLOR_BGR2GRAY); //BGR 轉化爲灰度圖
equalizeHist(frame_gray, frame_gray); //直方圖均衡化
//-- Detect faces
face_cascade.detectMultiScale(frame_gray, faces, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(60, 60));
for (size_t i = 0; i < faces.size(); i++)
{
Point center(faces[i].x + faces[i].width / 2, faces[i].y + faces[i].height / 2); // 人臉中心座標
ellipse(frame, center, Size(faces[i].width / 2, faces[i].height / 2), 0, 0, 360, Scalar(255, 0, 255), 4, 8, 0); // 橢圓
Mat faceROI = frame_gray(faces[i]);
std::vector<Rect> eyes;
std::vector<Rect> noses;
std::vector<Rect> mouths;
//-- In each face, detect eyes、nose、mouth
eyes_cascade.detectMultiScale(faceROI, eyes, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(30, 30));
nose_cascade.detectMultiScale(faceROI, noses, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(30, 30));
mouth_cascade.detectMultiScale(faceROI, mouths, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(30, 30));
// eyes
Point eye_center;
for (size_t j = 0; j < eyes.size(); j++)
{
eye_center = Point(faces[i].x + eyes[j].x + eyes[j].width / 2, faces[i].y + eyes[j].y + eyes[j].height / 2); //眼睛的中心
if (eye_center.x>faces[i].x && eye_center.y > faces[i].y) // 確保眼睛在臉上，其實前邊檢測時，已經保證了這一點
{
int radius = cvRound((eyes[j].width + eyes[j].height)*0.25); //取整
circle(frame, eye_center, radius, Scalar(255, 0, 0), 4, 8, 0);
}
}
// nose
Point nose_center;
if (noses.size() > 0)
{
nose_center = Point(faces[i].x + noses[0].x + noses[0].width / 2, faces[i].y + noses[0].y + noses[0].height / 2); //鼻子的中心
if (nose_center.y > eye_center.y) //確保鼻子在眼睛下邊
{
rectangle(frame, Point(faces[i].x + noses[0].x, faces[i].y+ noses[0].y), Point(faces[i].x + noses[0].x + noses[0].width, faces[i].y + noses[0].y + noses[0].height), Scalar(0, 255, 0), 3, 8, 0); //Point(noses[0].x, noses[0].y), Point(noses[0].x + noses[0].width, noses[0].y + noses[0].height)
//int radius = cvRound((noses[0].width + noses[0].height)*0.25); //取整
//circle(frame, nose_center, radius, Scalar(0, 255,0), 4, 8, 0);
std::cout << "nose!\n";
}
}
// mouth
if (mouths.size() > 0)
{
Point mouth_center(faces[i].x + mouths[0].x + mouths[0].width / 2, faces[i].y + mouths[0].y + mouths[0].height / 2); //嘴巴的中心
if (mouth_center.y > nose_center.y) // 確保嘴巴在鼻子下邊
{
int radius = cvRound((mouths[0].width + mouths[0].height)*0.25); //取整
circle(frame, mouth_center, radius, Scalar(0, 0, 255), 4, 8, 0);
std::cout << "mouth!\n";
}
}
}
//-- Show what you got
imshow(window_name, frame);
}
運行結果：
醜拒(#^.^#)
由結果可看出，較好的檢測出來人臉及人臉特徵，其中，粉色區域爲face、藍色爲eye、綠色爲nose、紅色爲mouth。
但多次試驗會發現，誤判的概率很高，所以模型與程序尚有較大改進空間。
注意：要對眼睛嘴巴鼻子的位置進行限定，可一定程度上減少誤判。