Kinect for Windows SDK 開發入門(十)：手勢識別核心觀念——從定義到演算法實作

前言：手勢是 NUI 的靈魂

正如點擊之於 GUI、輕點之於觸控，**手勢是 Kinect 應用的核心互動單元**。但手勢非單純動作，而是「包含資訊的身體運動」(Eric Hulteen & Gord Kurtenbach, 1990)。敲鍵盤非手勢，因按鍵動作本身無意義；揮手道別是手勢，因傳達「再見」訊息。理解此區別，是設計優質自然使用者介面 (NUI) 的起點。

一、手勢的四大特徵

1. 表達簡單命令：非敘述事實，而是觸發動作 (如「開啟」、「選取」)。
2. 任意性：除指向與聳肩，無普世手勢。意義需雙方約定 (應用設計者與使用者)。
3. 慣例性：基於技術慣例而非文化。滑動解鎖源自滑鼠拖曳習慣轉化而來。
4. 易誤解：無預設操作慣例時，使用者易誤判。設計需提供強可供性與回饋。

註：直接操作 — 如拖曳、縮放 — 非手勢，屬連續控制。

二、自然使用者介面 (NUI) 的三重境界

Kinect 獨有第三種模態：**姿勢** — 身體部位靜態關係 (如左臂 45° 暫停)。

三、八大通用 Kinect 手勢來源

來源多元：微軟定義、遊戲廠商創新、PC 開發者實驗。缺乏統一標準，面臨三大阻礙：

• 商業利益阻礙標準化 (瀏覽器大戰經驗)。
• 情境手勢專利 (如「滑動解鎖」)。
• 設計難度：手勢需極簡單才能普及 (長尾效應)。

良好手勢準則：**可供性** (操作前提示功能) + **回饋** (操作中/後確認結果)。

四、手勢識別三大方法論比較

**建議**：專案初期以演算法法為主，複雜度提升再引入混合模式。

五、實作經典範例：揮手識別演算法完整解析

動作定義：以肘為樞紐，前臂在水平面左右擺動，中間姿勢前臂垂直地面。
觀察規律：
1. 手腕恆在肘部上方 (Y 軸)。
2. 手腕 X 座標相對肘部左右穿越中性區 (閾值 ±0.1m) 來回 ≥ 4 次。
3. 在 5 秒內完成。

狀態機設計

enum WavePosition { None, Left, Right, Neutral }
enum WaveGestureState { None, Success, Failure, InProgress }
struct WaveGestureTracker {
    public int IterationCount; // 穿越次數
    public WaveGestureState State;
    public long Timestamp;     // 幀時間戳
    public WavePosition StartPosition, CurrentPosition;
    public void Reset() { ... }
    public void UpdatePosition(WavePosition pos, long ts) {
        if (CurrentPosition != pos) {
            if (pos == WavePosition.Left || pos == WavePosition.Right) {
                if (State != WaveGestureState.InProgress) { State = WaveGestureState.InProgress; IterationCount = 0; StartPosition = pos; }
                IterationCount++;
            }
            CurrentPosition = pos; Timestamp = ts;
        }
    }
}

核心追蹤邏輯 (每幀呼叫)

public void Update(Skeleton[] skeletons, long frameTimestamp) {
    foreach (var s in skeletons.Where(s => s.TrackingState != SkeletonTrackingState.NotTracked)) {
        TrackWave(s, true,  ref trackers[i, LEFT_HAND],  frameTimestamp);
        TrackWave(s, false, ref trackers[i, RIGHT_HAND], frameTimestamp);
    }
}
private void TrackWave(Skeleton s, bool isLeft, ref WaveGestureTracker t, long ts) {
    var hand = s.Joints[isLeft ? JointType.HandLeft : JointType.HandRight];
    var elbow = s.Joints[isLeft ? JointType.ElbowLeft : JointType.ElbowRight];
    if (hand.TrackingState == JointTrackingState.NotTracked || elbow.TrackingState == JointTrackingState.NotTracked) { t.Reset(); return; }

    // 超時失敗
    if (t.State == WaveGestureState.InProgress && t.Timestamp + 5000 < ts) { t.UpdateState(WaveGestureState.Failure, ts); return; }

    // 手在肘上方?
    if (hand.Position.Y > elbow.Position.Y) {
        // 判斷左右位置
        if (hand.Position.X <= elbow.Position.X - 0.1f) t.UpdatePosition(WavePosition.Left, ts);
        else if (hand.Position.X >= elbow.Position.X + 0.1f) t.UpdatePosition(WavePosition.Right, ts);
        else t.UpdatePosition(WavePosition.Neutral, ts);

        // 成功判定
        if (t.State != WaveGestureState.Success && t.IterationCount >= 4) {
            t.UpdateState(WaveGestureState.Success, ts);
            GestureDetected?.Invoke(this, EventArgs.Empty);
        }
    } else {
        // 手落在肘下
        if (t.State == WaveGestureState.InProgress) t.UpdateState(WaveGestureState.Failure, ts);
        else t.Reset();
    }
}

六、結語與系列規劃

本文建立手勢識別的理論基石與演算法實作入門。下一篇將：

1. 建立可重用 手部追蹤類別庫 (游標管理、事件路由、視覺回饋)。
2. 實作除揮手外的 七大經典手勢 (懸浮/下壓/磁性按鈕、劃動、磁性幻燈片、垂直捲動、通用暫停)。
3. 提供整合測試專案原始碼。

敬請期待《手勢識別 下：基本手勢識別》！