JMF 基於時間的媒體核心概念：流媒體、格式與處理管線

「基於時間的媒體」是 JMF 的理論基石。本文系統闡述時間媒體特徵、流媒體分類、主流編碼格式對比、播放/處理/捕獲管線架構，為多媒體應用開發奠定概念基礎。

時間媒體本質特徵

定義：數據內容隨時間變化的媒體類型。核心特徵：

• 時間依賴性：播放位置 = f(時間)，不可隨意跳轉 (除非編碼支援)
• 實時性要求：接收/顯示必須嚴格遵循時間軸
• 同步需求：多軌道 (音視頻/字幕) 需時間對齊播放

典型形式：音頻剪輯、MIDI 序列、視頻剪輯、動畫、電話語音流。

流媒體與內容類型

流媒體 = 基於時間的媒體 + 實時傳輸特性。核心概念：

• Content Type：封裝格式 (QuickTime、MPEG、WAV、AVI、RTP)
• Media Stream：來自文件/網絡/設備的原始數據流
• Track (軌道)：流內獨立數據通道 (如 1 視頻 + 1 音頻)
• Multiplexed Stream：多軌道交織封裝的復合流
• Demultiplexing：從復合流提取單一軌道

傳輸協議分類

類型	發起方	典型協議	JMF 介面
Pull	客戶端	HTTP、FILE	PullDataSource / PullBufferDataSource
Push	服務端	RTP、RTSP、MediaBase	PushDataSource / PushBufferDataSource

主流音視頻格式深度對比

選型需三維權衡：畫質/音質、CPU 解碼開銷、頻寬需求。

視頻格式對比表

格式	封裝	畫質	CPU	頻寬	適用場景
MPEG-1	MPEG	高	高	高	VCD、本地存儲
H.261	AVI/RTP	低	中	中	早期視訊會議
H.263	QuickTime/AVI/RTP	中	中	低	3GPP、視訊會議
JPEG	QuickTime/AVI/RTP	高	高	高	醫療影像、編輯
Indeo	QuickTime/AVI	中	中	中	舊版 Windows 平台
Cinepak	AVI/QuickTime	中	低	高	早期跨平台

音頻格式對比表

格式	封裝	音質	CPU	頻寬	備註
PCM	WAV/AIFF	高	低	高	無損、CD 品質
μ-Law	WAV/RTP	低	低	高	電話級、北美標準
ADPCM	WAV/RTP	中	中	中	IMA4/DVI 變體
MPEG Layer 3 (MP3)	MPEG	高	高	中	網絡音樂標準
GSM	WAV/RTP	低	低	低	歐洲移動通信
G.723.1	WAV/RTP	中	中	低	VoIP、ITU-T 標準

媒體處理管線架構

播放管線

Multiplexed Stream → Demultiplexer → [Track 1] → Decoder → [Renderer] → Speaker
                                    → [Track 2] → Decoder → [Renderer] → Monitor

關鍵階段：分離 → 解碼 → (格式轉換) → 渲染 → 輸出

捕獲存儲管線

Microphone/Camera → [Track 1/2] → Renderer (預處理) → Encoder → Multiplexer → File/DataSink

關鍵差異：編碼在渲染後、多路複用在編碼後、最終輸出至 DataSink 而非設備。

核心處理組件

1. Demultiplexer/Multiplexer：流分離與聚合 (如 MPEG-TS、MP4、RTP 封裝解析)
2. Codec：壓縮/解壓縮，每種對應特定輸入輸出格式
3. Effect/Render Filter：特效 (模糊、回聲、色彩校正)，原則作用於未壓縮原始數據
4. Renderer：宏觀播放設備抽象 (聲卡→喇叭、顯卡→顯示器)

媒體捕獲模型

捕獲設備 (麥克風、攝像頭) 可產出多軌道流，支援：

• 獨立捕獲處理 (音頻/視頻分離管線)
• 硬體級多路複用 (單一復合流，如 DV、USB Video Class)

JMF 透過 CaptureDeviceManager 統一管理設備發現、格式協商與 DataSource 創建。

緩衝延遲與同步策略

網絡播放關鍵指標：Start Latency (啟動延遲)。多流同步原則：

• 以最長延遲流為基準
• TimeBase 統一時間參考
• Rate 同步控制播放速率
• 預緩衝策略平衡啟動速度與抗抖動能力

理解時間媒體本質、格式權衡與處理管線，是設計高效多媒體系統的前提。JMF 雖屬上一代技術，其管線架構思想在 FFmpeg、GStreamer、MediaCodec 等現代框架中仍清晰可見。