Android 通過opencv實現人臉識別，追蹤

title: Android 通過opencv實現人臉識別，追蹤
categories:

Android
tags:
opencv
人臉識別
人臉追蹤
date: 2020-05-29 10:11:41

前言

好了，上篇文章講了如何進行原生的人臉識別，檢測，追蹤等，相信玩過的肯定已經有了感覺，今天我們用opencv來實現，
那麼很多人會問，原生都實現了，爲什麼還要接opencv的方式來實現，那麼下面看完大家應該就會清楚

正文

導入opencv引用

首先，opencv的接入方式有幾種
1.自己編譯需要的模塊生成so庫，然後ndk接入
2.接入官網編譯好的ndk,用C/C++來寫功能
3.直接接入官網library sdk，
今天我們講第三種，後續研究下載opencv2d轉3d,目標是實現所有機型，前置攝像頭精確出人臉到屏幕的距離
opencv 認準android-sdk.zip下載就好了
下載後解壓

講該圖片中java導入項目中，作爲library
更改build

apply plugin: 'com.android.library'

android {
    compileSdkVersion 29
    buildToolsVersion "29.0.2"

    defaultConfig {
        minSdkVersion 21
        targetSdkVersion 29
    }

    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.txt'
        }
    }
}

Sdk版本與項目的保持一直即可
然後在app中引用

implementation project(path: ':CVLibrary430')

opencv初始化

我這裏是寫在onResume 裏面需要用initDebug

@Override
    public void onResume() {
        super.onResume();
        //初始化opencv資源
        if (!OpenCVLoader.initDebug()) {
            Log.d("OpenCV", "Internal OpenCV library not found. Using OpenCV Manager for initialization");
            boolean success = OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION, this, openCVLoaderCallback);
            if (!success)
                Log.e("OpenCV", "Asynchronous initialization failed!");
            else
                Log.d("OpenCV", "Asynchronous initialization succeeded!");
        } else {
            Log.d("OpenCV", "OpenCV library found inside package. Using it!");
            openCVLoaderCallback.onManagerConnected(LoaderCallbackInterface.SUCCESS);
        }
    }

然後是監聽部分的

LoaderCallbackInterface openCVLoaderCallback = new LoaderCallbackInterface() {
        @Override
        public void onManagerConnected(int status) {
            if (status == LoaderCallbackInterface.SUCCESS) {
                Log.i(TAG, "OpenCV loaded successfully");
                initOpencv();
            }
        }

        @Override
        public void onPackageInstall(int operation, InstallCallbackInterface callback) {
            Log.d("OpenCV", "onPackageInstall " + operation);
        }
    };

但是你可能會發現你初始化失敗了，此處我們還需要修改app下面的build----android{}內

externalNativeBuild {
            cmake {
//                我們配置cmake命令
//                cppFlags ""
                arguments "-DANDROID_STL=c++_shared"
            }
        }
        ndk {
            abiFilters 'armeabi-v7a', 'x86'
        }

然後這裏用cmake但是，不用c++的可能不需要配置

 externalNativeBuild {
        cmake {
            path "src/main/cpp/CMakeLists.txt"
            version "3.10.2"
        }
    }
    sourceSets {
        main {
//            jni.srcDirs = []
            jniLibs.srcDirs = ['libs']
        }
    }

dummy.cpp 是空的，暫時沒用到到這我們可以發現opencv已經初始化成功了，我們可以愉快的開始使用了

初始化分類起initOpcv

protected void initOpencv() {
        try {
            //OpenCV的人臉模型文件： haarcascade_frontalface_alt
            InputStream is = getResources().openRawResource(R.raw.haarcascade_frontalface_alt);
            File cascadeDir = getDir("cascade", Context.MODE_PRIVATE);
            File mCascadeFile = new File(cascadeDir, "haarcascade_frontalface_alt.xml");
            FileOutputStream os = new FileOutputStream(mCascadeFile);
            byte[] buffer = new byte[4096];
            int bytesRead;
            while ((bytesRead = is.read(buffer)) != -1) {
                os.write(buffer, 0, bytesRead);
            }
            is.close();
            os.close();
            // 加載 人臉分類器
            mFrontalFaceClassifier = new CascadeClassifier(mCascadeFile.getAbsolutePath());
        } catch (Exception e) {
            Log.e(TAG, e.toString());
        }
        openCvCameraView.enableView();
    }

這裏面我們看到用了一個R.raw.haarcascade_frontalface_alt，這裏我們可以去剛纔下載的opencv包裏面找到，具體位置在第一篇
文章裏面可以看到截圖，此處是爲了加載分類器，也就是我理解的所謂人臉模型數據，用來對我們的圖片做對比

代碼引用

佈局代碼需要引用

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:tools="http://schemas.android.com/tools"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    android:id="@+id/baseView"
    xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent">
    <org.opencv.android.JavaCamera2View
        android:id="@+id/openCvCameraView"
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        app:show_fps="true"
        />
    <LinearLayout
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:orientation="vertical">
        <TextView
            android:id="@+id/mFrontalFaceNumber"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:textColor="#00ff00"
            android:textSize="20sp"/>
        <TextView
            android:id="@+id/mProfileFaceNumber"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:textColor="#00ff00"
            android:textSize="20sp"/>
        <TextView
            android:id="@+id/mCurrentNumber"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:textColor="#00ff00"
            android:textSize="20sp"/>
        <TextView
            android:id="@+id/mWaitTime"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:textColor="#00ff00"
            android:textSize="20sp"/>
    </LinearLayout>

</RelativeLayout>

然後初始化佈局後，初始攝像頭，代碼如下

protected void initCamera() {
        openCvCameraView.setCameraPermissionGranted(); //該方法用於判斷權限後，自行設置，opencv430版本新改的邏輯
        openCvCameraView.setCameraIndex(CameraBridgeViewBase.CAMERA_ID_FRONT); //攝像頭索引  設置
        openCvCameraView.setCvCameraViewListener(this);//監聽
        openCvCameraView.setVisibility(SurfaceView.VISIBLE);
        openCvCameraView.setCameraDistance(1.5f); // 設置焦距
        openCvCameraView.setMaxFrameSize(640, 480);//設置幀大小
    }

監聽是CameraBridgeViewBase.CvCameraViewListener2的方法在回調中我們可以收到相機獲取到的數據，以此來做處理
首先是start

@Override
    public void onCameraViewStarted(int width, int height) {
        Log.d("camera","---onCameraViewStarted" + width);
        mRgba = new Mat();
        mGray = new Mat();

        Matlin = new Mat(width, height, CvType.CV_8UC4);
        gMatlin = new Mat(width, height, CvType.CV_8UC4);
        matWidth = width;

        absoluteFaceSize = (int)(height * 0.2);
        }

然後記得在stop的時候釋放，我們創建的mat（opencv中）對象

@Override
    public void onCameraViewStopped() {
        Log.d("camera","---onCameraViewStopped");
        mRgba.release();
        mGray.release();
        Matlin.release();
        gMatlin.release();
    }

然後是onCameraFrame return 的mat是你畫面顯示的mat此處的灰度通道十分簡單，直接個可以獲取
但需要注意的是mat的方向如果不是正向會導致檢測不到人臉，所以此處需要做一個旋轉

@Override
   public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {
       mRgba = inputFrame.rgba(); //RGBA
       mGray = inputFrame.gray(); //單通道灰度圖


       int rotation = openCvCameraView.getDisplay().getRotation();

       double area = 0;
       double width = 0;
       MatOfRect frontalFaces = new MatOfRect();
       switch (rotation){
           case Surface.ROTATION_0:
               mRgba = Matutils.rotate(mRgba,90);
               mGray = Matutils.rotate(mGray,90);
               break;
           case Surface.ROTATION_90:
               break;
           case Surface.ROTATION_180:
               mRgba = Matutils.rotate(mRgba,270);
               mGray = Matutils.rotate(mGray,270);
               break;
           case Surface.ROTATION_270:
               mRgba = Matutils.rotate(mRgba,180);
               mGray = Matutils.rotate(mGray,180);
               break;
       }
       if (mFrontalFaceClassifier != null) {
           //這裏2個 Size 是用於檢測人臉的，越小，檢測距離越遠，1.1, 5, 2, m65Size, mDefault着四個參數可以提高檢測的準確率，5表示確認五次，具體百度 detectMultiScale 這個方法
               mFrontalFaceClassifier.detectMultiScale(mGray, frontalFaces, 1.1, 2, 2, new Size(absoluteFaceSize, absoluteFaceSize), mDefault);
               mFrontalFacesArray = frontalFaces.toArray();
               if (mFrontalFacesArray.length > 0) {
                   area = mFrontalFacesArray[0].area();
                   width = mFrontalFacesArray[0].width;
                   Log.i(TAG, "1 : " + mFrontalFacesArray.length);
                   Log.i(TAG, "1 : " + mFrontalFacesArray[0].size());
                   Log.i(TAG, "1 : " + mFrontalFacesArray[0].area());
                   Log.i(TAG, "1 : " + mFrontalFacesArray[0].tl());
                   Log.i(TAG, "1 : " + mFrontalFacesArray[0].br());
               }
               mCurrentFaceSize = mFrontalFacesArray.length;
           }

       if (mCurrentFaceSize > 0){
           for (int i = 0; i < mFrontalFacesArray.length; i++) {    //用框標記
               Imgproc.rectangle(mRgba, mFrontalFacesArray[i].tl(), mFrontalFacesArray[i].br(), new Scalar(0, 255, 0, 255), 3);
           }
       }
       //顯示檢測到的人數
       double distence = (1 + 153 * openCvCameraView.getWidth() / width / 36 ) * 30 * 1.5;
       double areas = area/openCvCameraView.getScale();
       Log.i(TAG, "openCvCameraView : " + openCvCameraView.getWidth());
       Log.i(TAG, "openCvCameraView : " + openCvCameraView.getHeight());
       Log.i(TAG, "openCvCameraView : " + openCvCameraView.getScaleX());
       Log.i(TAG, "openCvCameraView : " + openCvCameraView.getScaleY());
       mHandler.postDelayed(new Runnable() {
           @SuppressLint("SetTextI18n")
           @Override
           public void run() {
               mFrontalFaceNumber.setText(areas + "mm2");
               mProfileFaceNumber.setText("CameraDistance:" + mRgba.width() + mRgba.height());
               mCurrentNumber.setText("distence:" + distence + "mm");
               mWaitTime.setText( "");
           }
       }, 0);

       return mRgba;
   }

此處也用到一個旋轉的工具類

public static Mat rotate(Mat src, double angele) {
        Mat dst = src.clone();
        Point center = new Point(src.width() / 2.0, src.height() / 2.0);
        Mat affineTrans = Imgproc.getRotationMatrix2D(center, angele, 1.0);
        Imgproc.warpAffine(src, dst, affineTrans, dst.size(), Imgproc.INTER_NEAREST);
        return dst;
    }

然後你就可以跑起來看效果了

結語

筆者做這個目的是做人臉到屏幕距離的檢測，但是這裏我們可以獲取到雙額的距離，但是對於測算公式需要用到，焦距，全畫幅
有效焦距等，由於沒有api的提供，獲取不到實際焦距，而安卓機型太多所以此處中斷了
後續會更新使用arcroe實現測距，還有opencv的2d模型轉3d來實現測算的思路

有問題的歡迎評論或者私聊筆者

Android 通過opencv實現人臉識別，追蹤

前言

正文

導入opencv引用

opencv初始化

初始化分類起initOpcv

代碼引用

結語

【簡寫Mybatis-02】註冊機的實現以及SqlSession處理

手繪二維碼

.NET藉助虛擬網卡實現一個簡單異地組網工具

Android Arcore 簡單的實現人臉增強，人臉識別，加遮照，精確單目測距計算屏幕到人的距離

Android 通過opencv實現人臉識別，追蹤

android懸浮窗口

Android原生人臉識別Camera2+FaceDetector 快速實現人臉跟蹤

程序員"小抄"集合

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結