Connectivity-Stable 3D Voxel Diffusion via Sampling-Time Guidance

In this work, topology primarily refers to connectivity and skeleton continuity.

image.png

cast_comparison.gif

目錄

問題定義

問題

現有 voxel 3D diffusion 在生成細長且具拓樸結構的物體 (例如傢俱、建築) 時,常出現結構碎裂,包含斷裂、孤島、消失 voxel。這類錯誤通常不是增加訓練步數或模型容量就能完全消除,而是因為 diffusion 的 denoising 更新主要是局部修補 (local refinement),缺乏顯式的全局連通性 (global connectivity) 與幾何慣性約束。本次實驗以 Minecraft 樹木為資料,驗證 diffusion 生成 3D 結構的拓樸結構問題與解決方案效果驗證。

以下為投影三視圖,有木頭則顯示綠色,沒有木頭有樹葉則顯示黃色,兩者都沒有顯示深藍色代表空氣。Diffusion 模型生成的 3D 樣本非常容易出現結構斷裂現象,baseline diffusion 的樹幹結構都容易有不完整 (綠色方塊沒有連貫,計算方式是 26-neighbor):

simple_sample_017.png

simple_sample_010.png

ground truth 的完整樹木樣本則如下 (綠色方塊形成的樹幹沒有斷裂):

beech_2257_1764306233368.png

beech_2281_1764306233706.png

研究目標

在固定 baseline voxel diffusion backbone 而不修改的前提下,研究幾何慣性與骨架連續性這類幾何約束,如何在 sampling 特定時間段的 denoising 過程影響結構形成,並設計一個可落地的 connectivity-guided sampling 機制,降低 trunk breakage。不花時間去把樹做得更逼真,而是「證明能控制拓樸結構」以及「視覺化控制過程」。

核心假設