章节大纲

    • > **课程**:AI Engineering from Scratch · Phase 04 Computer Vision · Lesson 22
      > (`phases/04-computer-vision/22-3D-Gaussian-Splatting-from-Scratch`)
      > **本专题**: —— 3D-Gaussian-Splatting-from-Scratch
      当前学习到build it和exercise1,2,3的部分。

      3D Vision — Point Clouds & NeRFs - AI Engineering from Scratch;网课定位

      https://learnopencv.com/3d-gaussian-splatting

      https://www.cs.umd.edu/~zwicker/publications/EWAVolumeSplatting-VIS01.pdf

    • 关于22-3D-3d-gaussian-splatting的课程理解和代码讲解

    • 1.讲解build it的简化版3D高斯泼溅代码

      2.对应论文原文公式

      3.源代码是怎么写的

    • 学习过程中,可能遇到的问题以及回答

    • 论文:https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
      代码:https://github.com/graphdeco-inria/gaussian-splatting

    • __main__               train.py:xxx 主函数
      └─train                train.py:xxx 训练主循环
          ├─config_parser    train.py:xxx 参数配置解析
          ├─load_colmap_data scene/dataset_readers.py:xxx 加载Colmap相机&稀疏点云
          ├─create_gaussian  gaussian_model.py:xxx 构建高斯模型
          │   ├─create_from_pcd   gaussian_model.py:xxx 从点云初始化高斯
          │   └─training_setup    gaussian_model.py:xxx 初始化优化器,分参数设置学习率
          ├─get_camera       utils/camera_utils.py:xxx 加载相机内外参,构造Camera对象
          └─render           gaussian_renderer/__init__.py:xxx 光栅渲染上层入口
              ├─compute_sh   utils/graphics_utils.py:xxx SH球谐求值,计算每个高斯RGB颜色
              └─rasterize_gaussians  submodules/diff-gaussian-rasterizer/rasterize_gaussians.cu:xxx CUDA光栅内核
                  ├─视锥剔除、EWA投影、Tile划分、基数排序
                  └─前向Alpha混合渲染,返回image、radii
              ├─loss_calc    utils/loss_utils.py:xxx 计算L1 + λ*(1-SSIM)损失
              ├─loss.backward()  反向传播,CUDA反向内核回传梯度
              ├─optimizer.step() 更新全部高斯参数
              └─densify      gaussian_model.py:xxx 密度控制(迭代到指定步数才执行)
                  ├─densify_and_clone 高斯克隆
                  ├─densify_and_split 高斯分裂
                  └─prune 剪枝透明/视域外无效高斯