注意它們和其它一些多媒體相關類的關係和區別:MediaExtractor用於音視頻分路,和MediaMuxer正好是反過程。MediaFormat用於描述多媒體數據的格式。MediaRecorder用於錄像+壓縮編碼,生成編碼好的文件如mp4, 3gpp,視頻主要是用於錄製Camera preview。MediaPlayer用於播放壓縮編碼後的音視頻文件。AudioRecord用於錄製PCM數據。AudioTrack用於播放PCM數據。PCM即原始音頻採樣數據,可以用如vlc播放器播放。當然了,通道採樣率之類的要自己設,因爲原始採樣數據是沒有文件頭的,如:
vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate 44100 audio.pcm
回到MediaMuxer和MediaCodec這兩個類,它們的參考文檔見http://developer.android.com/reference/android/media/MediaMuxer.html和http://developer.android.com/reference/android/media/MediaCodec.html,裏邊有使用的框架。這個組合可以實現很多功能,比如音視頻文件的編輯(結合MediaExtractor),用OpenGL繪製Surface並生成mp4文件,屏幕錄像以及類似Camera app裏的錄像功能(雖然這個用MediaRecorder更合適)等。
這裏以一個很無聊的功能爲例,就是在一個Surface上畫圖編碼生成視頻,同時用MIC錄音編碼生成音頻,然後將音視頻混合生成mp4文件。程序本身沒什麼用,但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基於兩個測試程序:一個是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它們一個是生成視頻,一個生成音頻,這裏把它們結合一下,同時生成音頻和視頻。基本框架和流程如下:
首先是錄音線程,主要參考HWEncoderExperiments。通過AudioRecord類接收來自麥克風的採樣數據,然後丟給Encoder準備編碼:
- AudioRecord audio_recorder;
- audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,
- SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);
- // ...
- audio_recorder.startRecording();
- while (is_recording) {
- byte[] this_buffer = new byte[frame_buffer_size];
- read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data
- // …
- presentationTimeStamp = System.nanoTime() / 1000;
- audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder
- }
- ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();
- int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);
- if (inputBufferIndex >= 0) {
- ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
- inputBuffer.clear();
- inputBuffer.put(this_buffer);
- ...
- mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);
- }
- try {
- // Part 1
- prepareEncoder(outputFile);
- ...
- // Part 2
- for (int i = 0; i < NUM_FRAMES; i++) {
- generateFrame(i);
- drainVideoEncoder(false);
- drainAudioEncoder(false);
- }
- // Part 3
- ...
- drainVideoEncoder(true);
- drainAudioEncoder(true);
- } catch (IOException ioe) {
- throw new RuntimeException(ioe);
- } finally {
- // Part 4
- releaseEncoder();
- }
- MediaFormat audioFormat = new MediaFormat();
- audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
- audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
- ...
- mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);
- mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
- mAudioEncoder.start();
注意這裏Muxer要等把audio track和video track都加入了再開始。MediaCodec在一開始調用dequeueOutputBuffer()時會返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我們只需在這裏獲取該MediaCodec的format,並註冊到MediaMuxer裏。接着判斷當前audio track和video track是否都已就緒,如果是的話就啓動Muxer。
總結來說,drainVideoEncoder()的主邏輯大致如下,drainAudioEncoder也是類似的,只是把video的MediaCodec換成audio的MediaCodec即可。
- while(true) {
- int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);
- if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {
- ...
- } else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
- encoderOutputBuffers = mVideoEncoder.getOutputBuffers();
- } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
- MediaFormat newFormat = mAudioEncoder.getOutputFormat();
- mAudioTrackIndex = mMuxer.addTrack(newFormat);
- mNumTracksAdded++;
- if (mNumTracksAdded == TOTAL_NUM_TRACKS) {
- mMuxer.start();
- }
- } else if (encoderStatus < 0) {
- ...
- } else {
- ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];
- ...
- if (mBufferInfo.size != 0) {
- mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);
- }
- mVideoEncoder.releaseOutputBuffer(encoderStatus, false);
- if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
- break;
- }
- }
- }
最後幾點注意:
1. 在AndroidManifest.xml里加上錄音權限,否則創建AudioRecord對象時鐵定失敗:
<uses-permission android:name="android.permission.RECORD_AUDIO"/>
2. 音視頻通過PTS同步,兩個的單位要一致。
3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的順序。如果既有音頻又有視頻,在stop前兩個都要writeSampleData()過。
Code references:
Grafika: https://github.com/google/grafika
Bigflake: http://bigflake.com/mediacodec/
HWEncoderExperiments:https://github.com/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/java/net/openwatch/hwencoderexperiments
Android test:http://androidxref.com/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/
http://androidxref.com/4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java