OpenCV 讀取深度圖數據與多模態配準方法綜述

深度圖讀取

OpenCV 可通過 cv::imread(path, cv::IMREAD_UNCHANGED) 讀取 16 位/32 位深度圖（如 PNG、TIFF、EXR 格式）。返回 Mat 單通道，像素值代表毫米或米級深度。

深度與彩色圖分辨率不一致時的配準流程

1. 內參標定：分別標定 RGB 相機與深度相機內參（焦距、主點、畸變系數）。
2. 外參標定：使用棋盤格同時拍攝，求解兩相機座標系間的旋轉平移矩陣 [R|t]。
3. 深度對齊到彩色：

   // 深度像素 (u_d, v_d) -> 3D 點 -> 投影到 RGB 像素 (u_rgb, v_rgb)
   cv::Mat depth = imread("depth.png", IMREAD_UNCHANGED);
   cv::Mat alignedDepth(rgbSize, CV_16U);
   for (int v = 0; v < depth.rows; ++v) {
       for (int u = 0; u < depth.cols; ++u) {
           float z = depth.at(v, u) * depthScale;
           if (z == 0) continue;
           float x = (u - cx_d) * z / fx_d;
           float y = (v - cy_d) * z / fy_d;
           // 轉換到 RGB 相機座標系
           cv::Mat p3d = (cv::Mat_(3,1) << x, y, z);
           cv::Mat p3d_rgb = R * p3d + t;
           float u_rgb = fx_rgb * p3d_rgb.at(0) / p3d_rgb.at(2) + cx_rgb;
           float v_rgb = fy_rgb * p3d_rgb.at(1) / p3d_rgb.at(2) + cy_rgb;
           // 雙線性插值填充
           if (inRange(u_rgb, v_rgb)) alignedDepth.at(v_rgb, u_rgb) = depth.at(v, u);
       }
   }

4. 加速優化：使用 OpenCV rgbd::registerDepth 或 CUDA 並行化。