寫在前面
前幾篇文章大概分析到了數據的讀取,接下來就該解碼和播放了。那麼ijkplayer解碼和播放又是怎麼做的呢?
解碼線程
從上一篇文章我們可以看到,ijkplayer的音頻解碼線程的入口函數是audio_thread()
,那麼我們就跟蹤到audio_thread()/ff_ffplayer.c
函數裏面:
static int audio_thread(void *arg)
{
//...
do {
ffp_audio_statistic_l(ffp);
if ((got_frame = decoder_decode_frame(ffp, &is->auddec, frame, NULL)) < 0)
goto the_end;
//...
while ((ret = av_buffersink_get_frame_flags(is->out_audio_filter, frame, 0)) >= 0) {
//...
if (!(af = frame_queue_peek_writable(&is->sampq)))
goto the_end;
//...
av_frame_move_ref(af->frame, frame);
frame_queue_push(&is->sampq);
//...
}
} while (ret >= 0 || ret == AVERROR(EAGAIN) || ret == AVERROR_EOF);
the_end:
//...
av_frame_free(&frame);
return ret;
}
從上面代碼可以看出,一開始就進入循環,然後調用decoder_decode_frame()
進行解碼,解碼後的幀存放到frame中,然後調用frame_queue_peek_writable()
判斷是否能把剛剛解碼的frame寫入is->sampq
中,因爲is->sampq
是音頻解碼幀列表,然而播放線程直接從這裏面讀取數據,然後播放出來。最後 av_frame_move_ref(af->frame, frame);
把frame放入到sampq相應位置。由於前面af = frame_queue_peek_writable(&is->sampq)
,af就是指向這一幀frame應該放的位置的指針,所以直接把值賦值給它的結構體裏面的frame就行了。
然後frame_queue_push(&is->sampq);
裏面是一個喚醒線程的操作,如查音頻播放線程因爲sampq隊列爲空而阻塞,這裏可以喚醒它。
在decoder_decode_frame()
裏面是調用傳進去的codec的codec->decode()
方法解碼。
在frame_queue_peek_writable()
裏面會判斷sampq隊列是否滿了,如果沒位置放我們的frame的話,會調用pthread_cond_wait()
方法阻塞隊列。如果有位置放frame的話,就會返回frame應該放置的位置的地址。
解碼線程大概就結束了。
播放流程
之前在初始化的時候,有個地方還沒分析到,那就是在ijkmp_android_create()/ijkplayer_android.c
裏面:
IjkMediaPlayer *ijkmp_android_create(int(*msg_loop)(void*))
{
IjkMediaPlayer *mp = ijkmp_create(msg_loop);
mp->ffplayer->vout = SDL_VoutAndroid_CreateForAndroidSurface();
if (!mp->ffplayer->vout)
goto fail;
mp->ffplayer->pipeline = ffpipeline_create_from_android(mp->ffplayer);
ffpipeline_set_vout(mp->ffplayer->pipeline, mp->ffplayer->vout);
return mp;
}
在ffpipeline_create_from_android()
裏面有一句
pipeline->func_open_audio_output = func_open_audio_output;
接着我們看看func_open_audio_output()/ffpipeline_android.c
:
static SDL_Aout *func_open_audio_output(IJKFF_Pipeline *pipeline, FFPlayer *ffp)
{
SDL_Aout *aout = NULL;
if (ffp->opensles) {
aout = SDL_AoutAndroid_CreateForOpenSLES();
} else {
aout = SDL_AoutAndroid_CreateForAudioTrack();
}
if (aout)
SDL_AoutSetStereoVolume(aout, pipeline->opaque->left_volume, pipeline->opaque->right_volume);
return aout;
}
從上面可以看出,音頻播放也分爲:opensles,audiotrack
,然後我們就來看看audiotrack
吧:
SDL_Aout *SDL_AoutAndroid_CreateForAudioTrack()
{
SDL_Aout *aout = SDL_Aout_CreateInternal(sizeof(SDL_Aout_Opaque));
if (!aout)
return NULL;
SDL_Aout_Opaque *opaque = aout->opaque;
opaque->wakeup_cond = SDL_CreateCond();
opaque->wakeup_mutex = SDL_CreateMutex();
opaque->speed = 1.0f;
aout->opaque_class = &g_audiotrack_class;
aout->free_l = aout_free_l;
aout->open_audio = aout_open_audio;
aout->pause_audio = aout_pause_audio;
aout->flush_audio = aout_flush_audio;
aout->set_volume = aout_set_volume;
aout->close_audio = aout_close_audio;
aout->func_get_audio_session_id = aout_get_audio_session_id;
aout->func_set_playback_rate = func_set_playback_rate;
return aout;
}
我們要分析音頻播放對吧?在前面數據讀取線程我們分析到了在stream_component_open()
裏面會調用aout->open_audio(aout, pause_on);
,相信大家還記得吧?我們現在看看在初始化的時候:
aout->open_audio = aout_open_audio;
所以在前面stream_component_open()
裏面相當於直接調用了aout_open_audio()/ijksdl_aout_android_audiotrack.c
。當然要是我們在播放器裏面用的opensles
,程序流程是差不多的,大家有興趣的話可以下去看看。
上面接着會調用aout_open_audio_n()/ijksdl_aout_android_audiotrack.c
,然後:
SDL_CreateThreadEx(&opaque->_audio_tid, aout_thread, aout, "ff_aout_android");
這裏創建的線程就是播放線程。
接着我們看看入口函數aout_thread
,在這個函數內部會調用aout_thread_n()/ijksdl_aout_android_audiotrack.c
:
static int aout_thread_n(JNIEnv *env, SDL_Aout *aout)
{
SDL_Aout_Opaque *opaque = aout->opaque;
SDL_Android_AudioTrack *atrack = opaque->atrack;
SDL_AudioCallback audio_cblk = opaque->spec.callback;
void *userdata = opaque->spec.userdata;
uint8_t *buffer = opaque->buffer;
//...
if (!opaque->abort_request && !opaque->pause_on)
SDL_Android_AudioTrack_play(env, atrack);
while (!opaque->abort_request) {
SDL_LockMutex(opaque->wakeup_mutex);
if (!opaque->abort_request && opaque->pause_on) {
SDL_Android_AudioTrack_pause(env, atrack);
while (!opaque->abort_request && opaque->pause_on) {
SDL_CondWaitTimeout(opaque->wakeup_cond, opaque->wakeup_mutex, 1000);
}
if (!opaque->abort_request && !opaque->pause_on)
SDL_Android_AudioTrack_play(env, atrack);
}
if (opaque->need_flush) {
opaque->need_flush = 0;
SDL_Android_AudioTrack_flush(env, atrack);
}
if (opaque->need_set_volume) {
opaque->need_set_volume = 0;
SDL_Android_AudioTrack_set_volume(env, atrack, opaque->left_volume, opaque->right_volume);
}
if (opaque->speed_changed) {
opaque->speed_changed = 0;
if (J4A_GetSystemAndroidApiLevel(env) >= 23) {
SDL_Android_AudioTrack_setSpeed(env, atrack, opaque->speed);
}
}
SDL_UnlockMutex(opaque->wakeup_mutex);
audio_cblk(userdata, buffer, copy_size);
if (opaque->need_flush) {
SDL_Android_AudioTrack_flush(env, atrack);
opaque->need_flush = false;
}
if (opaque->need_flush) {
opaque->need_flush = 0;
SDL_Android_AudioTrack_flush(env, atrack);
} else {
int written = SDL_Android_AudioTrack_write(env, atrack, buffer, copy_size);
if (written != copy_size) {
ALOGW("AudioTrack: not all data copied %d/%d", (int)written, (int)copy_size);
}
}
// TODO: 1 if callback return -1 or 0
}
這個函數的開始有很多SDL_Android_AudioTrack_set_xxx(),主要是設置播放器相關的配置,比如播放速度,聲音大小等。
接着就是audio_cblk()
,不知道大家還記得在上一節我說過在stream_component_open()
的裏面調用的audio_open()
,會有這麼一句代碼:
wanted_spec.callback = sdl_audio_callback;
現在這裏排上用場了。
在上面aout_thread_n()
裏調用的audio_cblk()
,實際上就是調用的opaque->spec.callback
,其實就是調用到sdl_audio_callback()
這個函數來了。
然後繼續分析:
static void sdl_audio_callback(void *opaque, Uint8 *stream, int len)
{
//...
while (len > 0) {
if (is->audio_buf_index >= is->audio_buf_size) {
audio_size = audio_decode_frame(is);
if (audio_size < 0) {
/* 發生錯誤,就輸出silence */
//...
} else {
if (is->show_mode != SHOW_MODE_VIDEO)
update_sample_display(is, (int16_t *)is->audio_buf, audio_size);
is->audio_buf_size = audio_size;
}
is->audio_buf_index = 0;
}
len1 = is->audio_buf_size - is->audio_buf_index;
if (len1 > len)
len1 = len;
if (!is->muted && is->audio_buf && is->audio_volume == SDL_MIX_MAXVOLUME)
memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1);
else {
//...
}
len -= len1;
stream += len1;
is->audio_buf_index += len1;
}
is->audio_write_buf_size = is->audio_buf_size - is->audio_buf_index;
/* Let's assume the audio driver that is used by SDL has two periods. */
//...
}
保留了部分相對重要代碼,其中重要代碼有:
audio_size = audio_decode_frame(ffp);
memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1);
我們繼續看audio_decode_frame()
,還好作者有註釋,根據註釋提取重要代碼:
/**
* Decode one audio frame and return its uncompressed size.
*
* The processed audio frame is decoded, converted if required, and
* stored in is->audio_buf, with size in bytes given by the return
* value.
*/
static int audio_decode_frame(FFPlayer *ffp){
af = frame_queue_peek_readable(&is->sampq)
is->audio_buf = af->frame->data[0];
}
從上面代碼看,這裏主要是判斷解碼後的is->sampq
是否爲空,其中和解碼的時候一樣,如果爲空(解碼時放入is->sampq
判斷是否滿),如果爲空,就阻塞(還記得解碼的時候,每向is->sampq
放入一frame,就喚醒線程麼?),否則返回隊列的第一個frame。然後賦值給ffp->is->audio_buf
。
接着返回到上面sdl_audio_callback()
中,接着再把剛剛賦值的ffp->is->audio_buf
copy到stream中,stream從命名來看是一個流,流的另外一頭在哪裏呢?
再返回到aout_thread_n()
中:
SDL_Android_AudioTrack_write(env, atrack, buffer, copy_size);
這裏的buffer就是剛剛的stream,該函數繼續調用:
(*env)->SetByteArrayRegion(env, atrack->byte_buffer, 0, (int)size_in_byte, (jbyte*) data);
J4AC_AudioTrack__write(env, atrack->thiz, atrack->byte_buffer, 0, (int)size_in_byte);
這裏先是把data拷貝到數組中,爲什麼呢?因爲後面會把這個數組,也就是音頻幀傳遞給java,而SetByteArrayRegion()
就是這裏的一次轉換。
J4AC_AudioTrack__write()
中繼續跟蹤會發現:
jint J4AC_android_media_AudioTrack__write(JNIEnv *env, jobject thiz, jbyteArray audioData, jint offsetInBytes, jint sizeInBytes)
{
return (*env)->CallIntMethod(env, thiz, class_J4AC_android_media_AudioTrack.method_write, audioData, offsetInBytes, sizeInBytes);
}
這就尷尬了,又調用到java裏面去了,這裏調用了java層的AudioTrack.java
中的write()函數。
其實這裏又用到了bilibili另外一個開源項目:jni4android。這個項目可以直接在c裏面生成一個java的裝飾類。這裏用到的java就是AudioTrack.java
,生成的文件就是AudioTrack.h
和AudioTrack.c
。後面基本就不用分析了吧。在java裏面基本都會用androidTrack吧?網上教程也很多。
到了這裏基本就結束了。音頻播放完成了,接下來會分析視頻播放流程,其實視頻播放流程和音頻潦差不多,不過比音頻麻煩點。
** 如果大家還想了解ijkplayer的工作流程的話,可以關注下android下的ijkplayer。**