多媒體理論

媒體

媒體的含義

1. 儲存信息的實際載體
   
2. 表示信息的邏輯載體
   

媒體的種類

1. 感覺媒體（接觸信息的感覺形式）
   
2. 表示媒體（處理感覺媒體人爲構造的一種媒體）
   
3. 顯示媒體（表現和獲取信息的物理設備）

• 輸入顯示媒體
  
• 輸出顯示媒體
  

4. 存儲媒體（用來存放表示媒體）
   
5. 傳輸媒體（傳輸數據的物理載體）
   

多媒體

多媒體的定義

• 多媒體是融合兩種或兩種以上表示媒體的一種人機交互式信息交流和傳播的媒體。

多媒體數據處理過程

多媒體技術

多媒體技術的定義

• 將多媒體信息通過計算機進行數字化採集、編碼、存儲、傳播、處理和再現等，使多媒體信息簡歷邏輯連接，並集成一個具有交互性的系統。
• 綜合處理—>圖、文、聲、像

多媒體技術的特徵

1. 多樣性（綜合處理多媒體信息，將計算機處理的信息空間擴大）
2. 集成性（多種媒體信息的集成，以及與這些媒體相關的設備集成）
3. 交互性（能爲用戶提供有效的控制和使用信息的手段）
4. 實時性（能對靜態媒體，尤其是動態媒體進行實時處理能力）

多媒體技術的發展歷程

多媒體技術的標準進展

1. 靜態圖像壓縮標準
   • JPEG
   • JPEG 2000
2. 動態圖像壓縮標準
   • MPEG-1（視頻存儲和回放VCD/MP3）
   • MPEG-2（數字電視DVD/HDTV）
   • MPEG-4（基於媒體對象的存儲）
   • MPEG-7（多媒體的內容描述標準）
   • MPEG-21（多媒體框架標準）

多媒體系統結構

多媒體系統的定義

• 能對文本、音頻、圖形、圖像、動畫和視頻等多媒體信息進行邏輯互連、獲取、編輯、存儲和播放的一種具有交互性的計算機系統。

多媒體系統的層次結構

多媒體系統的基本組成

多媒體硬件系統

*由計算機主機以及可以接收和播放多媒體信息的各種多媒體外部設備及其接口板卡組成

1. 計算機
   
2. 多媒體板卡
   
3. 多媒體外部設備
   

多媒體軟件系統

多媒體系統軟件

多媒體開發工具

1. 多媒體素材製作工具
   • 文字特效製作軟件
     
   • 音頻處理軟件
     
   • 圖形圖像軟件
     
   • 動畫製作軟件
     
   • 視頻編輯軟件
     
2. 多媒體著作工具
   
3. 多媒體編程語言
   

多媒體存儲技術

1. 主流存儲技術
   磁記錄（硬盤、光盤、閃存等）
   
2. 光存儲技術原理
   • 光存儲技術又稱爲激光存儲技術，它是繼磁記錄之後的又一種重要的信息存儲技術，它包括信息寫入和讀出兩個過程
   • 光盤上激光刻出的小坑代表二進制“1”，光滑代表二進制“0”
     
3. 光存儲技術的發展方向

• 要提高光盤的存儲密度和容量，首先考慮的是縮小光盤上的信息點的寬度，使一定面積的盤面能容納更多的信息點
  
• 新方向：三維光存儲技術、超分辨率存儲技術

多媒體技術的應用領域

1. 教育與培訓
2. 出版與圖書
3. 商業與諮詢
4. 通信與網絡
5. 軍事與娛樂

數字音頻技術

聲音的基本概念

聲音的定義

• 聲音是通過一定介質傳播的連續波
• 聲波：
  

聲音的重要指標

1. 振幅： 音量的大小
2. 週期：重複出現的時間間隔
3. 頻率：信號每秒變化次數（f=1/T）

聲音按頻率分類

• 語音信號頻率範圍：300Hz~3kHz
  

聲音質量的頻率範圍

• 頻帶
  

聲音的聽覺特性

• 響度：人耳對聲波強弱程度的主觀感覺，它主要取決於聲強，也與頻率有關係
• 音調：人耳對聲音調子高低的主觀感覺，它主要取決於聲音的頻率，頻率高則聲音尖銳，頻率低則聲音低沉
• 音色：人在主觀感覺上區別相同響度和音調的兩種聲音不同的特性

聲音的元素

• 語音：分成對白、旁白、獨白、羣白
• 音樂：音的高低、強弱、長短等變化
• 音響：分爲動作、自然、機械、軍事、動物、交通等

聲音的數字化

聲音信號的類型

1. 模型信號——自然界、物理
   
2. 數字信號——
   

聲音數字化過程

數字音頻質量三要素

採樣頻率	量化位數	聲道數
每秒鐘抽取聲波幅度樣本的次數	每個採樣點用多少二進制位表示數據範圍	使用聲音通道的個數
採樣頻率越高，聲音質量越好，數據量也越大	量化位數越多，音質越好，數據量也越大	立體聲比單聲道的表現力豐富，但數據量翻倍
11.025kHz，22.05kHz，44.1kHz	8位 = 256，16位=65536	單聲道，立體聲

聲音數字化的數據量

• 音頻數據量=採樣頻率量化位數聲道數/8（B/s）
  

音頻的文件格式

1. WAV文件（聲音層次豐富，還原音質好）
   WAV是Microsoft/IBM共同開發的PC波形文件，因未壓縮，文件數量量很大。
2. MP3文件（高壓縮比11:1，優美的音質）
   MP3（MPEG Audio Layer3）是一種按MPEG標準的音頻壓縮技術製作的音頻文件。
3. WMA文件（壓縮到MP3一半而音質不變）
   WMA（Windows Media Audia）是Windows Media格式中的一個子集（音頻格式）
4. MIDI文件（數據量很小，缺乏重現自然音）
   MIDI（樂器數字接口）是一組聲音或樂器符號的集合

音頻信號壓縮編碼的分類

1. 無損壓縮（熵壓縮）
   霍夫曼編碼、算術編碼、行程編碼
2. 有損壓縮
   波形編碼——PCM、DPCM、ADPCM、子帶編碼
   參數編碼——LPC、通道聲碼器
   混合編碼——MPLPC、CELP

音頻壓縮技術標準

數字圖像技術

圖像的基本概念

光與顏色

1. 光的本質
   光是一種電磁波
   
2. 顏色內涵
   1. 色調（光的顏色）
   2. 飽和度（顏色的深淺，指彩色中白光含量多少）
   3. 亮度（顏色的明暗程度）
3. 顏色模型
   1. RGB模型（紅色、綠色、藍色）
      
   2. CMYK模型（青色、洋紅、黃色、黑色）
      因爲字母B表示爲藍色，所以此處黑色（black）用K表示
      

圖形與圖像

1. 圖像（位圖圖像、點陣圖像）
2. 圖形（矢量圖形、幾何圖形）
3. 圖像與圖形的比較

-	圖像	圖形
文件大小	與圖像的尺寸和顏色有關，較大	與圖形的複雜程度有關，較小
文件內容	圖像點陣數據	圖形指令
縮放特點	有失真	無失真
處理技術	獲取、複製和技巧性	繪製、創造和藝術性
適合範圍	表現自然和細節景物層次、色彩較豐富	表現變化的曲線簡單圖案、運算結果

圖像的數字化

1. 圖像的主要參數
   1. 分辨率（顯示分辨率、圖像分辨率、像素分辨率）
   2. 顏色深度
      

圖像的文件格式

1. BMP格式
   • Windows標準圖像文件
   • 只有4位或8位才能進行壓縮
   • 每個文件只能存放一幅圖像
   • 多種顏色存儲格式
2. GIF格式
   • 網絡傳輸和BBS用戶使用的圖像格式
   • 世界通用的圖像格式
   • 採用改進的LZW壓縮算法處理數據
   • 最多存儲256色，不支持24bit
   • 一個文件可存放多幅圖像
3. JPG格式
   • 一種高效率的壓縮格式
   • 表達自然景觀的圖片，JPEG編碼方式具有非常好的處理效果
   • 計算機繪製的具有明顯邊界的圖形，JPEG編碼方式的處理效果不佳
4. PNG格式
   • 一種流式網絡圖形格式
   • 支持24位顏色深度圖形
   • 存儲灰度圖像時，圖像深度達16位
   • 存儲彩色圖像時，圖像深度達48位
5. TIFF格式
   • 通用的位映射圖像文件格式
   • 可移植性好
6. PSD格式
   • Photoshop的專用文件格式，它包含圖層、通道、蒙版等製作效果
   • 保存各種信息，佔用空間較大
   • 壓縮比與JPEG差不多，且不失真
   • 支持RGB、CMYK等色彩模式
   • PSD存取速度比其他格式快

圖像壓縮方法概述

1. 圖像壓縮依據
   1. 圖像數據的冗餘性（空間冗餘、結構冗餘、知識冗餘、視覺冗餘）
   2. 圖像數據的相關性（前後幀的相似度）
2. 圖像壓縮技術
   1. 無失真編碼
   2. 有失真編碼

JPEG圖像壓縮標準

1. JPEG標準（ISO和ITU-T共同組建的聯合圖像專家組）
   國際標準：連續色調的靜態圖像編碼
   
2. JPEG壓縮步驟
   
3. JPEG 2000標準（JPEG升級標準）
   
4. JPEG 2000應用與說明
   
5. JPEG與JPEG 2000的比較