總是把這三個弄混...
今天算是明白這三個不是一個概念...
標黑的是每個特徵的特性。
*************************************************
BN特徵是屬於深度特徵，這一點無可非議。不過deep feature應該除了bottle neck之外還可以包括d-vector等等，這個概念在Google的2014年ICASSP《DEEP NEURAL NETWORKS FOR SMALL FOOTPRINT TEXT-DEPENDENT SPEAKER VERIFICATION》上有提到。
這些深度特徵也都可以適用在語音識別、說話人識別。這樣認爲BN等同deep feature也算是可以的。而DNN訓練確實是pre-training加一個fine-tune，而這個過程可以視爲DBN的過程，當在最後一層隱含層後再加一層softmax輸出，就會成爲DBN-DNN。這個過程在Hinton 的論文裏有詳細的分析《Deep Neural Networks for Acoustic Modeling in Speech Recognition》。而BN通常都是在倒數第二層提取。
bottleneck應該最早源於1994年的《CONNECTIONIST SPEECH RECOGNITION A Hybrid Approach》，裏面首先提出到BN層應該要同時比inputoutput結點數都要少的概念，而把多種特徵拼接起來Tandem的概念可以在2000的ICASSP《TANDEM CONNECTIONIST FEATURE EXTRACTION FOR CONVENTIONAL HMM SYSTEMS》裏找到。