Android Camera2 實現觸摸對焦功能(Touch to Focus)

之前在 Android Camera2 簡介這篇文章中簡單介紹了下 Camera2 中 AF/AE 對焦區域如何進行設置, 之前是通過手動計算對應關係實現的, 但這種方式需要考慮到前後攝的區別, 前攝和後攝座標映射有區別, 通用性不好, 本文講一下如何通過矩陣(Matrix)來實現這個過程.

爲什麼要進行座標映射

由於我們預覽界面通常都是豎屏, 而對於 Camera 底層的座標來說, 一般預覽豎屏方向和後攝有90度夾角, 和前攝有270度夾角, 並且預覽大小和底層圖片實際大小也不是對應的, 所以我們點擊預覽界面某個位置後, 需要進行座標轉換, 這樣才能根據點擊位置進行正確的對焦和測光操作.

另外 Camera API 1 中的底層座標區域和 Camera API 2 中的區域也有區別, 具體和預覽座標對應關係如下圖(以後攝爲例):

圖片中藍色框表示手機預覽界面, 紫色線條座標爲Android View座標系, 綠色爲 Camera 座標系, 舊的Camera底層座標範圍大小是固定的, 寬高都爲2000, 而Camera2中的大小要根據查詢出來的 SENSOR_INFO_ACTIVE_ARRAY_SIZE 來進行確定.

使用Matrix進行座標映射

Camera API 1
關於API 1的座標映射, 可以參考Android源碼中Camera代碼, 路徑:
packages/apps/Camera2/src/com/android/camera/ui/focus/CameraCoordinateTransformer.java

核心代碼如下:

private Matrix cameraToPreviewTransform(boolean mirrorX, int displayOrientation,
      RectF previewRect) {
    Matrix transform = new Matrix();

    // 縮放, (1, 1) 無改變, (-1, 1) x軸反向縮放, 即表示沿y軸鏡像翻轉
    // 如果是前置攝像頭需翻轉, 後置不需要.
    transform.setScale(mirrorX ? -1 : 1, 1);

    // 旋轉, 從上面的座標圖可以看出, 預覽和底層座標有夾角
    transform.postRotate(displayOrientation);

    // 使用矩陣進行座標映射, 將大小爲 2000 x 2000矩形映射到
   // 預覽大小, 比如 1920 x 1080  
    Matrix fill = new Matrix();
    fill.setRectToRect(CAMERA_DRIVER_RECT,
          previewRect,
          Matrix.ScaleToFit.FILL);

    // Concat the previous transform on top of the fill behavior.
    transform.setConcat(fill, transform);

    return transform;
}

上面是Android源碼裏面的代碼, 是先求的Camera Driver座標映射到Preview座標的Matrix, 然後通過 Matrix.invert() 得到 Preview座標到Camera Driver座標的映射關係.
得到有映射關係的Matrix後, 座標轉換隻需調用 mapRect(result, source);即可.

Camera API 2
上面 API 1 的代碼是不能直接用在 API 2中的, 主要原因是 Camera2 中底層的座標和Camera中的區別比較大, Matrix.setRectToRect()的調用和API 1 中邏輯稍有差別,
完整的映射關係代碼如下:
CoordinateTransformer.java

package com.smewise.camera2.utils;

import android.graphics.Matrix;
import android.graphics.Rect;
import android.graphics.RectF;
import android.hardware.camera2.CameraCharacteristics;

/**
 * Transform coordinates to and from preview coordinate space and camera driver
 * coordinate space.
 */
public class CoordinateTransformer {

    private final Matrix mPreviewToCameraTransform;
    private RectF mDriverRectF;

    /**
     * Convert rectangles to / from camera coordinate and preview coordinate space.
     * @param chr camera characteristics
     * @param previewRect the preview rectangle size and position.
     */
    public CoordinateTransformer(CameraCharacteristics chr, RectF previewRect) {
        if (!hasNonZeroArea(previewRect)) {
            throw new IllegalArgumentException("previewRect");
        }
        Rect rect = chr.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);
        Integer sensorOrientation = chr.get(CameraCharacteristics.SENSOR_ORIENTATION);
        int rotation = sensorOrientation == null ? 90 : sensorOrientation;
        mDriverRectF = new RectF(rect);
        Integer face = chr.get(CameraCharacteristics.LENS_FACING);
        boolean mirrorX = face != null && face == CameraCharacteristics.LENS_FACING_FRONT;
        mPreviewToCameraTransform = previewToCameraTransform(mirrorX, rotation, previewRect);
    }

    /**
     * Transform a rectangle in preview view space into a new rectangle in
     * camera view space.
     * @param source the rectangle in preview view space
     * @return the rectangle in camera view space.
     */
    public RectF toCameraSpace(RectF source) {
        RectF result = new RectF();
        mPreviewToCameraTransform.mapRect(result, source);
        return result;
    }

    private Matrix previewToCameraTransform(boolean mirrorX, int sensorOrientation,
          RectF previewRect) {
        Matrix transform = new Matrix();
        // Need mirror for front camera.
        transform.setScale(mirrorX ? -1 : 1, 1);
        // Because preview orientation is different  form sensor orientation,
        // rotate to same orientation, Counterclockwise.
        transform.postRotate(-sensorOrientation);
        // Map rotated matrix to preview rect
        transform.mapRect(previewRect);
        // Map  preview coordinates to driver coordinates
        Matrix fill = new Matrix();
        fill.setRectToRect(previewRect, mDriverRectF, Matrix.ScaleToFit.FILL);
        // Concat the previous transform on top of the fill behavior.
        transform.setConcat(fill, transform);
        // finally get transform matrix
        return transform;
    }

    private boolean hasNonZeroArea(RectF rect) {
        return rect.width() != 0 && rect.height() != 0;
    }
}

轉換邏輯都在 previewToCameraTransform() 函數中, 直接求Preview到Camera Driver的座標轉換, 而不是像Android源碼裏面先反向求矩陣然後反轉. 步驟爲:

判讀是否是前攝, 是否需要鏡像翻轉 transform.setScale(mirrorX ? -1 : 1, 1);
將預覽座標旋轉對應角度, 使之和Camera Driver座標長寬對應 transform.postRotate(-sensorOrientation);
將當前的Matrix操作作用於預覽對應的矩陣上,transform.mapRect(previewRect); 此時得到的 previewRect邏輯上和 mDriverRectF已經對應了
通過 fill.setRectToRect() 轉換後, 座標已經完整映射到 mDriverRectF座標系中了, 最後將之前兩種變換的Matrix結合起來, transform.setConcat(fill, transform); ,得到最終座標變換的Matrix.

得到想要的Matrix後, 擊屏幕後, 根據屏幕座標構建一個Rect, 通過調用 RectF toCameraSpace(RectF source);, 就得到了我們可以直接構造MeteringRectangle(Rect rect, int meteringWeight)的Rect

注意: 構造函數 public CoordinateTransformer(CameraCharacteristics chr, RectF previewRect)中的 CameraCharacteristics chr, 要區分不同Camera ID, 前後攝不能弄錯了.

觸發對焦操作

這個之前已經講過了, 再重新貼下代碼:

public void startControlAFRequest(MeteringRectangle rect,
                                        CameraCaptureSession.CaptureCallback captureCallback) {

    MeteringRectangle[] rectangle = new MeteringRectangle[]{rect};
    // 對焦模式必須設置爲AUTO
    mPreviewBuilder.set(CaptureRequest.CONTROL_AF_MODE,CaptureRequest.CONTROL_AF_MODE_AUTO);
    //AE
    mPreviewBuilder.set(CaptureRequest.CONTROL_AE_REGIONS,rectangle);
    //AF 此處AF和AE用的同一個rect, 實際AE矩形面積比AF稍大, 這樣測光效果更好
    mPreviewBuilder.set(CaptureRequest.CONTROL_AF_REGIONS,rectangle);
    try {
        // AE/AF區域設置通過setRepeatingRequest不斷髮請求
        mSession.setRepeatingRequest(mPreviewBuilder.build(), null, mHandler);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
    //觸發對焦
    mPreviewBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER,CaptureRequest.CONTROL_AF_TRIGGER_START);
    try {
        //觸發對焦通過capture發送請求, 因爲用戶點擊屏幕後只需觸發一次對焦
        mSession.capture(mPreviewBuilder.build(), captureCallback, mHandler);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
}

上面有一點需要注意, 當設置觸發對焦的Request:
mPreviewBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER,CaptureRequest.CONTROL_AF_TRIGGER_START);
我們是通過 mSession.capture() 觸發一次對焦操作的, 但在下次進行 mSession.setRepeatingRequest() 之前, 需要將之前的觸發對焦的Request給清除掉, 即設置:
mPreviewBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER,CaptureRequest.CONTROL_AF_TRIGGER_IDLE);
如果不設置的話, 會造成連續不斷的對焦.

完整Demo

如果想看完整的可運行的Demo App和源碼, 可以看下我寫的Camera2 Demo:
https://github.com/smewise/Camera2

Android Camera2 實現觸摸對焦功能(Touch to Focus)

爲什麼要進行座標映射

使用Matrix進行座標映射

觸發對焦操作

完整Demo

記一次 .NET某工業設計軟件崩潰分析

創建 Vue3 項目

TS + Webpack 整合 Jest

分享5款.NET開源免費的Redis客戶端組件庫

安卓手機如何登錄抖音境外版

golang開發 gorilla websocket的使用

面試官：如果不允許線程池丟棄任務，應該選擇哪個拒絕策略？

Mac卸載 Node npm，升級 Node

嵌入式汽車電子學習路線

uni.showModel內容換行

OpenCV-android-sdk 配置以及使用(NDK) 通過JNI調用

Android 添加一個系統服務的完整流程(SystemService)

Android Dialog滅屏後無法點擊( Dropping event due to no window focus)

Android Camera2 實現觸摸對焦功能(Touch to Focus)

OpenCV-android-sdk 配置以及使用(NDK)

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結