Android Camera 架構(App-Framework-HAL)

工作兩年了, 工作內容和Camera相關的居多, 所以有必要對Android Camera流程進行深入瞭解, 提高自己閱讀源碼能力以及對Android系統架構的理解. 本文主要會講Android系統中, App打開Camera這一過程中, 到Framework以及HAL層的完整流程, 以及涉及的相關代碼路徑.

注: 本文流程爲Camera API1到HAL1, 代碼以及路徑都基於高通平臺Android 7.1源碼, API2到HAL3大體流程和HAL1相近, 但API方面差異很大, 後續再補上.

總覽

先通過我自己畫的一張圖片, 來看下App從調用Camera.open()到HAL層的流程.

溫馨提示: 圖片太大, 請通過查看原圖來進行瀏覽

源碼位置以及所屬模塊

frameworks/base/core/java/android/hardware/Camera.java
Camera.java爲App直接調用的接口, 編譯爲framework.jar

frameworks/base/core/jni/android_hardware_Camera.cpp
此部分爲Java調用的JNI native部分代碼, 編譯爲動態庫 libandroid_runtime.so

frameworks/av/camera/Camera.cpp
frameworks/av/camera/CameraBase.cpp
App連接到CameraService部分的Client, 編譯爲動態庫 libcamera_client

frameworks/av/services/camera/libcameraservice/CameraService.cpp
frameworks/av/services/camera/libcameraservice/CameraService.h
這個就是CameraService的代碼了, App通過Binder來連接, 後面會詳細講一下連接過程比較難理解的地方, 編譯爲動態庫 libcameraservice.so

frameworks/av/services/camera/libcameraservice/api1/CameraClient.cpp
這部分就是CameraService端的Client, 用於調用HAL層的接口, 編譯後同樣在 libcameraservice.so 中.

frameworks/av/services/camera/libcameraservice/device1/CameraHardwareInterface.h
Google定義的HAL接口, 由芯片廠商去實現, 以上代碼是Google寫的Android系統代碼, HAL層及以下則是芯片廠商寫的代碼,

hardware/qcom/camera/QCamera2/HAL/QCamera2Factory.cpp
高通平臺特有代碼, 用於創建不同HAL版本的實例, 編譯爲動態庫 camera.xxx.so, xxx代表平臺, 比如msm8953則編譯爲 camera.msm8953.so

hardware/qcom/camera/QCamera2/HAL/QCamera2HWI.cpp
高通HAL的實現代碼, 即QCamera2HardwareInterface的縮寫, 上圖中的QCamera2HardwareInterface.cpp應該爲QCamera2HWI.cpp, 由於visio畫的圖源文件弄丟了, 所以沒法改, 但要注意, QCamera2HWI.cpp中定義的類名就是QCamera2HardwareInterface, 此部分代碼同樣是編譯到動態庫 camera.xxx.so 中.

hardware/qcom/camera/QCamera2/stack/mm-camera-interface/src/mm_camera_interface.c
高通mm-camera接口, HAL層再往下就是和驅動相關的mm-camera了

vendor/qcom/proprietary/mm-camera/mm-camera2/
高通mm-camera部分代碼, 由於我不是做驅動相關的, 對這部分不熟, 就不介紹了, mm-camera往下就是kernel部分了,就相當於到了Android最底層.

hardware/libhardware/hardware.c
此部分代碼用來加載Camera的HAL層動態庫, 加載之前首先會在幾個列出的路徑下選擇對應的so庫, 找到後通過dlopen進行調用, 得到相關的句柄.

注意點

上面流程中, 有如下幾個點需要注意:

獲取CameraModule的流程

在上圖中, CameraService.h中, makeClient()過後, 會調用 CameraClient 的initialize(CameraModule *module)函數, 其中CameraModule實例化則需要camera_module_t *rawModuel作爲參數, rawModule則是通過dlopen()方式和HAL層的動態庫關聯起來(camera.xxx.so), 因此HAL層和CameraService實際是通過dlopen()方式建立聯繫的, 注意, 上面講的實例化CameraModuel流程是在開機的時候進行的, 上面的圖片中流程中onFirstRef()就是在開機時候調用的.

Client和Service連接過程

Client和Service連接過程是我個人認爲整個流程中最難理解的部分, 之所以難, 是因爲對C++方式實現進程間通信流程不熟悉造成了, 下面就來看下連接過程:

1.首先在Camera.cpp中調用CameraBase.cpp的connect()函數

sp<Camera> Camera::connect(int cameraId, const String16& clientPackageName,
        int clientUid, int clientPid)
{
    return CameraBaseT::connect(cameraId, clientPackageName, clientUid, clientPid);
}

2.CameraBase.cpp connect()代碼

template <typename TCam, typename TCamTraits>
sp<TCam> CameraBase<TCam, TCamTraits>::connect(int cameraId,
                                               const String16& clientPackageName,
                                               int clientUid, int clientPid)
{
    ALOGV("%s: connect", __FUNCTION__);
    sp<TCam> c = new TCam(cameraId);
    sp<TCamCallbacks> cl = c;
    const sp<::android::hardware::ICameraService>& cs = getCameraService();

    binder::Status ret;
    if (cs != nullptr) {
        TCamConnectService fnConnectService = TCamTraits::fnConnectService;
        ret = (cs.get()->*fnConnectService)(cl, cameraId, clientPackageName, clientUid,
                                               clientPid, /*out*/ &c->mCamera);
    }
    if (ret.isOk() && c->mCamera != nullptr) {
        IInterface::asBinder(c->mCamera)->linkToDeath(c);
        c->mStatus = NO_ERROR;
    } else {
        ALOGW("An error occurred while connecting to camera %d: %s", cameraId,
                (cs != nullptr) ? "Service not available" : ret.toString8().string());
        c.clear();
    }
    return c;
}

此部分代碼中要注意兩點:
1). TCamTraits::fnConnectService就是ICameraService類中的connect()函數的函數指針, 因爲在Camera.cpp中, 其定義如下:

CameraTraits<Camera>::TCamConnectService CameraTraits<Camera>::fnConnectService =
        &::android::hardware::ICameraService::connect;

所以(cs.get()->*fnConnectService)(....)就是在調用CameraService的connect()函數,
這部分調用也是通過Binder進行的, 流程圖如下:

上面connect過程使用的Binder接口是ICameraService, Connect過程是爲了得到ICamera在Client端的BpCamera實例, ICamera接口定義的方法纔是具體對Camera進行操作的.

需要特別注意的是, 在Android 7.1的源碼中你是找不到ICameraService.cpp源碼的, 但在Android 4.4.4中是存在的(framework/av/camera/下面), 這是因爲Android 7.1中通過定義了ICameraService.aidl後, 編譯過程中會自動生成ICameraService.cpp文件, 生成的文件在Android編譯的out目錄下:

out/target/product/xxx/obj/SHARED_LIBRARIES/libcamera_client_intermediates/aidl-generated/src/aidl/android/hardware/ICameraService.cpp

注: xxx表示你lunch時選擇的product

2). 經過第一步連接過後, 得到了一個ICamera對象指針 mCamera(實際代表BpCamera, 即客戶端的接口), 後續我們調用Camera的其他方法, 比如startPreview(), 都是通過mCamera進行調用的.

Client和Service調用流程

connect完成後, 後續對camera的調用也是通過Binder進行, 接口定義在ICamera.h, 調用流程和第一步連接的過程一致, 就是Android IPC的基本操作簡而言之就是 Camera.cpp -> ICamera.cpp(BpCamera) -> ICamera.cpp(BnCamera) -> CameraClient.cpp

這裏需要注意的是, CameraClient.cpp是繼承自BnCamera的, 這也是爲什麼在CameraService中的connect()函數中, 可以直接將CameraClient賦值給ICamera
一些繼承關係如下:

// CameraService.h 中, Client繼承自BnCamera
 class Client : public hardware::BnCamera, public BasicClient {...};

// CameraClient.h 中, CameraClient繼承自Client
class CameraClient : public CameraService::Client {...};

Status CameraService::connect(
        const sp<ICameraClient>& cameraClient,
        int cameraId,
        const String16& clientPackageName,
        int clientUid,
        int clientPid,
        /*out*/
        sp<ICamera>* device) {
    //部分代碼省略
    sp<Client> client = nullptr;
    ret = connectHelper<ICameraClient,Client>(cameraClient, id,
            CAMERA_HAL_API_VERSION_UNSPECIFIED, clientPackageName, clientUid, clientPid, API_1,
            /*legacyMode*/ false, /*shimUpdateOnly*/ false,
            /*out*/client);
    //部分代碼省略
    /*client代表BnCamera, BpCamera中通過transact調到BnCamera,
       然後再調用Client中定義的方法  */
    *device = client;
    return ret;
}

可以看到, 整個過程中主要涉及到兩個Binder接口, ICamera和ICameraService, ICamera中的接口用於控制Camera具體操作, 比如設置參數, 打開/關閉預覽等等, 而ICameraService中的接口負責連接Camera, 查詢Camera信息(getNumberOfCameras() getCameraInfo()).

CameraService啓動

上面的流程沒有說明CameraService是怎麼啓動的, 我們都知道Android系統的服務都是通過init.rc啓動的, CameraService也不例外, 相關代碼路徑如下:
frameworks/av/camera/cameraserver/
路徑下有個cameraserver.rc, 內容如下:

service cameraserver /system/bin/cameraserver
class main
user cameraserver
group audio camera input drmrpc
ioprio rt 4
writepid /dev/cpuset/camera-daemon/tasks /dev/stune/top-app/tasks

可見啓動的是可執行文件cameraserver, 這部分代碼就在main_cameraserver.cpp

int main(int argc __unused, char** argv __unused)
{
    signal(SIGPIPE, SIG_IGN);
    sp<ProcessState> proc(ProcessState::self());
    sp<IServiceManager> sm = defaultServiceManager();
    ALOGI("ServiceManager: %p", sm.get());
    CameraService::instantiate();
    ProcessState::self()->startThreadPool();
    IPCThreadState::self()->joinThreadPool();
}

很簡單, 就是通過系統接口添加一個Service

整體架構總結

從上面分析流程可以看出, Camera的整體代碼分爲一下幾個部分:

Java API, 提供給App調用的接口
JNI, 因爲底層和硬件打交道的都是C/C++, 所以JNI必不可少
Camera Client, 此Client通過Binder連接到CameraService
CameraService, 獨立的進程, 單獨存在, 開機就會啓動
CameraService 端的Client, 此Client中通過 CameraHardwareInterface 調用到HAL層
HAL層, 芯片廠實現的部分代碼
驅動部分, 包含芯片廠的一些代碼和kernel代碼

其中流程中容易讓人產生疑問的還是Binder調用這部分, 要想加深對這部分的理解, 可以自己動手寫個C++ 實現的 Native Service, 可以參考我寫的一篇文章: C++實現Native Service並跨進程調用

Android中還有很多類似的硬件都是用的這樣的架構, 基本是 Java -> JNI -> Service -> HAL -> 驅動, 在閱讀源碼過程中, 對流程有疑問的時候, 最好的方法是在關鍵函數打印一些Log, 實際跑下流程, 看看整體架構的調用流程, 瞭解大體流程後, 根據需要再去摳一些細節, 這樣效率會高一些.

Android Camera 架構(App-Framework-HAL)

總覽

源碼位置以及所屬模塊

注意點

獲取CameraModule的流程

Client和Service連接過程

Client和Service調用流程

CameraService啓動

整體架構總結

記一次 .NET某工業設計軟件崩潰分析

創建 Vue3 項目

TS + Webpack 整合 Jest

分享5款.NET開源免費的Redis客戶端組件庫

安卓手機如何登錄抖音境外版

golang開發 gorilla websocket的使用

面試官：如果不允許線程池丟棄任務，應該選擇哪個拒絕策略？

嵌入式汽車電子學習路線

Mac卸載 Node npm，升級 Node

uni.showModel內容換行

OpenCV-android-sdk 配置以及使用(NDK) 通過JNI調用

Android 添加一個系統服務的完整流程(SystemService)

Android Dialog滅屏後無法點擊( Dropping event due to no window focus)

Android Camera2 實現觸摸對焦功能(Touch to Focus)

OpenCV-android-sdk 配置以及使用(NDK)

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結