Kinect for Windows SDK 開發入門(十二)：語音辨識基石——麥克風陣列、音訊處理與錄製實作

前言：被低估的聲音超能力

Kinect 首發時，骨骼追蹤光芒掩蓋了麥克風陣列的價值。但事實上，語音指令結合姿勢 是解決 Kinect 「選取操作困難」的關鍵：傳統 GUI 的「點選」在 Kinect 中極不自然，複合互動 (保持姿勢 + 說出指令) 才是未來趨勢。本文深入解析 Kinect 音訊架構、核心類別 KinectAudioSource 與錄製實作。

一、麥克風陣列與音訊處理管線

Kinect 底部 4 支水平排列麥克風組成陣列，硬體層完成：

• 波束成形：模擬定向麥克風，聚焦特定方向聲音。
• 聲學迴音消除 (AEC)：移除喇叭播放聲音被麥克風收回的迴音。
• 雜訊抑制 (NS)：濾除背景噪音 (風扇、空調)。
• 自動增益控制 (AGC)：動態調整音量，遠近聲音音量一致。

這些處理在硬體與 SDK 之間完成，開發者只需透過 KinectAudioSource 設定功能屬性即可。

核心術語速查表

二、KinectAudioSource：音訊存取的唯一入口

KinectAudioSource 封裝了 DMO (DirectX Media Object) 底層複雜設定，提供高層 功能屬性：

關鍵屬性對照表

最佳實務：語音辨識場景建議 BeamAngleMode = Adaptive、NoiseSuppression = true；若需播放音樂同時辨識，必須啟用 AEC 並設正確 EchoCancellationSpeakerIndex。

三、SpeechRecognitionEngine：指令辨識核心

Kinect 專用 Microsoft.Speech (Server 版)，非桌面版 System.Speech。核心流程：

1. 掃描 InstalledRecognizers() 找含 AdditionalInfo["Kinect"] == "True" 且 Culture 為 en-US 的引擎。
2. 建立 SpeechRecognitionEngine(ri.Id)。
3. 載入 Grammar (關鍵字規則)。
4. SetInputToAudioStream(source.Start(), SpeechAudioFormatInfo...) 接管 Kinect 音訊流。
5. RecognizeAsync(RecognizeMode.Multiple) 開始非同步持續辨識。

音訊格式參數 (SetInputToAudioStream 第 2 參數)

new SpeechAudioFormatInfo(
    EncodingFormat.Pcm,  // 編碼
    16000,               // 採樣率 16kHz
    16,                  // 位元深度 16-bit
    1,                   // 聲道數 Mono
    32000,               // 平均位元率 32kbps
    2,                   // 區塊對齊
    null)

四、實作範例：Kinect 錄音機

利用 KinectAudioSource.Start() 回傳 Stream 直接寫入 WAV 檔。

關鍵輔助類：RecorderHelper

public static void WriteWavFile(KinectAudioSource source, FileStream fs) {
    int dataSize = 0;
    WriteWavHeader(fs, 0); // 先寫假頭
    using (var audioStream = source.Start()) {
        byte[] buffer = new byte[4096];
        int read;
        while ((read = audioStream.Read(buffer, 0, buffer.Length)) > 0 && IsRecording) {
            fs.Write(buffer, 0, read);
            dataSize += read;
        }
    }
    // 回寫真實頭部資訊
    long pos = fs.Position;
    fs.Seek(0, SeekOrigin.Begin);
    WriteWavHeader(fs, dataSize);
    fs.Seek(pos, SeekOrigin.Begin);
}

WAVEFORMATEX 結構需對應上述 16kHz/16-bit/Mono 格式。

UI 控制邏輯 (MVVM 模式)

• Record 按鈕：啟動高優先序執行緒呼叫 WriteWavFile，檔名含時間戳記。
• Play 按鈕：MediaPlayer 播放剛錄製的檔案。
• Stop 按鈕：呼叫 AudioSource.Stop() 中斷錄音串流。
• CheckBox 綁定：NoiseSuppression、AutomaticGainControlEnabled、EchoCancellationMode 即時切換體驗差異。

測試建議

1. 在房間走動說話，觀察 自適應波束 是否追蹤人聲。
2. 開啟/關閉 Noise Suppression 對比背景風扇聲殘留。
3. 播放音樂並開啟 AEC，驗證迴音消除效果 (需正確設定 SpeakerIndex)。

五、結語

本文建立了 Kinect 語音開發的完整知識地圖：從硬體陣列原理、DMO 封裝層 KinectAudioSource、辨識引擎 SpeechRecognitionEngine 到錄製實作。掌握這些基石，下一篇即可輕鬆實作波束追蹤視覺化與自然語音指令控制。敬請期待！