：從PointNet到ShapeNet)
簡介這份資源面向計算機視覺與深度學(xué)習(xí)方向的學(xué)習(xí)者和研究者聚焦用自動編碼器實現(xiàn)3D點云的壓縮、重建與生成。內(nèi)容基于latent_3d_points項目涵蓋自編碼器、變分自編碼器與生成對抗網(wǎng)絡(luò)等模型涉及點云預(yù)處理、潛空間特征提取、損失函數(shù)設(shè)計與評估指標計算適合具備Python與TensorFlow基礎(chǔ)、希望深入點云生成的中高級讀者。壓縮包共44個文件約2.1MB以24個py源碼和4個ipynb交互式筆記為核心輔以sh數(shù)據(jù)下載腳本、cpp與cu底層實現(xiàn)、md說明文檔及少量配置與圖片文件結(jié)構(gòu)清晰便于按模塊研讀。已有107人學(xué)習(xí)下載。通過源碼與筆記讀者可掌握編碼器-解碼器架構(gòu)搭建、潛變量操作、GAN與VAE訓(xùn)練流程并借助評估腳本驗證生成點云質(zhì)量是理解點云內(nèi)在結(jié)構(gòu)、降低計算復(fù)雜度并復(fù)現(xiàn)生成實驗的實用參考。1. 從一份能跑通的 3D 點云自編碼工程說起如果你正在找一份能直接跑起來的 3D 點云生成代碼而不是又一篇只講公式的論文復(fù)現(xiàn)筆記那這份latent_3d_points-master值得花一個下午拆一遍。它用 Python 和 Jupyter Notebook 把「點云自編碼 潛空間 GAN 生成」這條鏈路完整串了起來point_net_ae.py負責(zé)把無序點云壓進低維潛向量latent_gan.py在潛空間里做對抗生成train_single_class_ae.ipynb和train_latent_gan.ipynb則是可以直接點開就執(zhí)行的訓(xùn)練入口。整套代碼基于 TensorFlow 1.x 的靜態(tài)圖風(fēng)格寫成配合download_data.sh拉取 ShapeNet 子集覆蓋了從數(shù)據(jù)預(yù)處理、模型搭建、訓(xùn)練到compute_evaluation_metrics.ipynb評估的完整閉環(huán)。適合已經(jīng)寫過基礎(chǔ) Python、想切入 3D 深度學(xué)習(xí)但被點云無序性和生成模型調(diào)參卡住的人。下面我按「它是什么 → 怎么跑 → 坑在哪 → 怎么改」的順序把這份資源拆開講。2. 點云自編碼器的結(jié)構(gòu)拆解從 PointNet 編碼器到潛空間約束2.1 為什么點云不能直接塞進普通自編碼器3D 點云本質(zhì)上是一個 (N \times 3) 的矩陣N 個點每個點三個坐標。問題在于這個矩陣的行順序是任意的——你把同一朵點云的點打亂它表示的還是同一個物體。普通全連接自編碼器把輸入當(dāng)成固定維度的向量一旦點序變化重構(gòu)目標就變了學(xué)出來的編碼器對旋轉(zhuǎn)、平移、點序都不魯棒。這份工程的做法是引入 PointNet 風(fēng)格的編碼器。核心思路是用共享權(quán)重的多層感知機MLP逐點提特征再用一個對稱函數(shù)max pooling把 N 個點的特征聚合成一個全局向量。對稱函數(shù)保證了輸出與輸入點序無關(guān)這是點云編碼器能成立的前提。encoders_decoders.py里的Encoder和Decoder類就是干這個的編碼器輸出一個bottleneck_size維的潛向量解碼器再從潛向量回歸出 N 個點的坐標。我一般會把bottleneck_size設(shè)成 128 或 256。太小比如 32會丟失細節(jié)重構(gòu)出來的椅子缺腿太大比如 1024潛空間冗余后面做 GAN 時判別器很難區(qū)分真假訓(xùn)練容易崩。這個參數(shù)在ae_templates.py里以配置字典的形式給出改起來不用動模型代碼。2.2 編碼器與解碼器的關(guān)鍵實現(xiàn)先看編碼器的骨架這是理解整份代碼的入口# encoders_decoders.py 中 Encoder 的核心邏輯簡化示意 def encoder_mlp(point_cloud, is_training, bn_decay, scope, bnTrue): # point_cloud: [B, N, 3] net tf_util.conv2d(point_cloud, 128, [1, 3], paddingVALID, stride[1, 1], bnbn, is_trainingis_training, scopeconv1, bn_decaybn_decay) net tf_util.conv2d(net, 256, [1, 1], ...) # 逐點提特征 net tf_util.conv2d(net, 512, [1, 1], ...) net tf.reduce_max(net, axis1, keep_dimsTrue) # 對稱聚合消除點序影響 return net邏輯說明conv2d的卷積核是[1, 3]和[1, 1]等價于對每個點獨立做全連接權(quán)重在所有點上共享。reduce_max沿點數(shù)維度取最大值這一步是點云編碼的靈魂——無論點怎么排列max 的結(jié)果不變。參數(shù)上三層通道數(shù) 128/256/512 是 PointNet 原文的經(jīng)典配置顯存吃緊可以整體砍半。解碼器反過來從潛向量z出發(fā)先全連接擴維再 reshape 成點特征最后回歸坐標。generators_discriminators.py里的生成器復(fù)用了同樣的解碼結(jié)構(gòu)這也是為什么潛空間 GAN 能直接接在自編碼器后面——生成器和解碼器共享同一套「潛向量到點云」的映射假設(shè)。2.3 訓(xùn)練入口與數(shù)據(jù)準備數(shù)據(jù)靠download_data.sh拉取腳本里用的是 ShapeNet 的單類子集比如 chair、car。執(zhí)行前先確認external/structural_losses和external/python_plyfile兩個子模塊已經(jīng)初始化否則in_out.py讀.ply文件時會直接報ImportError。# 初始化子模塊并下載數(shù)據(jù) git submodule update --init --recursive bash download_data.shdownload_data.sh內(nèi)部會調(diào)用wget或curl拉取壓縮包并解壓到data/目錄。如果你的網(wǎng)絡(luò)環(huán)境訪問原始地址慢可以手動下載后放到對應(yīng)路徑腳本里判斷文件是否存在的邏輯會跳過重復(fù)下載。數(shù)據(jù)就位后打開train_single_class_ae.ipynb按順序執(zhí)行單元格即可。Notebook 里把超參、路徑、訓(xùn)練輪數(shù)都寫成了變量改完直接重跑比改.py腳本再命令行啟動直觀得多。3. 潛空間 GAN 的生成鏈路從 ae 權(quán)重到新點云采樣3.1 為什么在潛空間做 GAN 而不是直接生成點云直接在點云空間做 GAN 是可行的但判別器要處理 (N \times 3) 的高維輸出訓(xùn)練極不穩(wěn)定模式坍塌幾乎是必然。這份工程選了一條更聰明的路先用自編碼器把點云壓到低維潛空間再在這個低維空間里訓(xùn)練 GAN。潛空間維度低128 或 256數(shù)據(jù)分布簡單GAN 容易收斂生成的新潛向量再喂給解碼器就能得到新點云。代價是生成質(zhì)量受限于自編碼器的重構(gòu)能力。如果自編碼器本身重構(gòu)就糊潛空間 GAN 生成的點云只會更糊。所以正確順序是先單獨把train_single_class_ae.ipynb訓(xùn)到重構(gòu)損失收斂再拿它的編碼器權(quán)重去初始化train_latent_gan.ipynb。latent_gan.py里加載 ae 權(quán)重的邏輯在main函數(shù)開頭路徑寫死在配置里換數(shù)據(jù)集時記得同步改。3.2 訓(xùn)練潛空間 GAN 的步驟# latent_gan.py 訓(xùn)練主循環(huán)的關(guān)鍵片段簡化示意 for epoch in range(num_epochs): for batch in dataset: z_real encoder(batch) # 真實點云編碼到潛空間 z_fake generator.sample(batch_size) # 生成器采樣假潛向量 d_loss discriminator_loss(z_real, z_fake) g_loss generator_loss(z_fake) train_op_d.run(d_loss) train_op_g.run(g_loss)邏輯說明encoder在這里是凍結(jié)的只用來把真實點云轉(zhuǎn)成潛向量不參與梯度更新。判別器discriminator在潛空間里區(qū)分真?zhèn)紊善鱣enerator學(xué)的是潛空間的數(shù)據(jù)分布。參數(shù)上w_gan_gp.py實現(xiàn)了 WGAN-GP 的梯度懲罰比原始 GAN 的 JS 散度穩(wěn)定得多l(xiāng)ambda_gp一般設(shè) 10。raw_gan.py和vanilla_gan.py是消融對比用的原始版本實際訓(xùn)練建議直接用w_gan_gp.py。訓(xùn)練輪數(shù)上潛空間 GAN 收斂比自編碼器快通常幾百個 epoch 就能看到像樣的生成結(jié)果。判別器和生成器的學(xué)習(xí)率不要設(shè)成一樣常見做法是判別器 1e-4、生成器 1e-4但更新頻率上判別器每步更新、生成器隔步更新能緩解判別器過強導(dǎo)致的梯度消失。3.3 評估指標怎么讀compute_evaluation_metrics.ipynb里實現(xiàn)了 Chamfer DistanceCD和 Earth Movers DistanceEMD兩個點云相似度指標。CD 計算兩組點云互相最近鄰距離的均值對點序不敏感計算快EMD 找的是最優(yōu)傳輸匹配更準但慢得多N 大時基本跑不動。evaluation_metrics.py里兩個都有實現(xiàn)日常調(diào)參看 CD 就夠了最終報告再補 EMD。讀指標時注意CD 的絕對值沒有意義只有同一數(shù)據(jù)集、同一歸一化方式下的相對比較才有意義。我見過有人拿不同尺度點云算出的 CD 直接對比結(jié)論完全反了。歸一化方式在general_utils.py的normalize_point_cloud里默認把點云縮放到單位球內(nèi)換數(shù)據(jù)集時確認這一步?jīng)]被跳過。4. 避坑與排查這份代碼在真實環(huán)境里會翻車的幾個地方4.1 現(xiàn)象Notebook 一執(zhí)行就報ModuleNotFoundError: No module named tf_util原因src/目錄沒有加入 Python 路徑。這份工程用的是相對導(dǎo)入Notebook 的工作目錄如果不是src/的父目錄導(dǎo)入鏈就斷了。解決在 Notebook 第一個單元格里顯式加路徑或者把工作目錄切到工程根目錄再啟動 Jupyter。import sys, os sys.path.append(os.path.abspath(./src)) sys.path.append(os.path.abspath(./external/structural_losses))4.2 現(xiàn)象訓(xùn)練損失一直是nan原因TensorFlow 1.x 的靜態(tài)圖里學(xué)習(xí)率設(shè)太大或者梯度沒做裁剪WGAN-GP 的梯度懲罰項容易爆。另外點云坐標沒歸一化也會導(dǎo)致輸入量級過大。解決確認normalize_point_cloud被調(diào)用把學(xué)習(xí)率降到 1e-4 以下在優(yōu)化器里加tf.clip_by_norm梯度裁剪。tf_utils.py里有現(xiàn)成的optimizer封裝檢查beta1是不是 0.5 而不是默認的 0.9GAN 訓(xùn)練用 0.5 更穩(wěn)。4.3 現(xiàn)象download_data.sh執(zhí)行完data/目錄還是空的原因腳本里的下載地址失效或者wget沒裝。腳本沒有對下載失敗做顯式報錯靜默失敗后解壓步驟也跳過。解決手動確認壓縮包是否下載成功檢查文件大小是否為 0。沒有wget就裝一個或者改用curl -O。數(shù)據(jù)解壓后的目錄結(jié)構(gòu)要和in_out.py里讀取路徑的假設(shè)一致通常是data/category/split/*.ply。4.4 現(xiàn)象生成的點云全是噪點看不出形狀原因潛空間 GAN 訓(xùn)練時判別器過強生成器梯度消失或者自編碼器本身沒訓(xùn)好解碼器輸出的點云就是散的。解決先單獨驗證自編碼器的重構(gòu)效果把train_single_class_ae.ipynb訓(xùn)到重構(gòu)點云能看出物體輪廓再往下走。潛空間 GAN 階段降低判別器更新頻率或者給生成器加更小的學(xué)習(xí)率。WGAN-GP 的lambda_gp調(diào)大到 10 以上也能壓制判別器。4.5 現(xiàn)象換自己的.ply數(shù)據(jù)后讀取報錯原因python_plyfile子模塊沒初始化或者自己的.ply文件用了非標準的屬性字段。這份代碼假設(shè)點云只有x, y, z三個屬性帶法線或顏色的文件會解析失敗。解決先git submodule update --init拉全子模塊。自己的數(shù)據(jù)先用python_plyfile讀一遍確認屬性列表只有坐標多余的字段在預(yù)處理階段刪掉。in_out.py里的read_ply函數(shù)可以加一層字段過濾。5. 進階改造把單類自編碼器擴到多類與條件生成跑通單類之后最自然的下一步是讓它支持多類點云。ae_templates.py里的配置是按類別寫死的擴多類需要改兩處數(shù)據(jù)加載部分按類別打標簽?zāi)Ｐ筒糠衷诰幋a器輸出后拼接一個類別 one-hot 向量。這樣潛空間就變成了「類別條件潛空間」生成時指定類別就能采樣出對應(yīng)形狀。# 條件編碼器示意潛向量拼接類別標簽 z encoder(point_cloud) # [B, bottleneck] z_cond tf.concat([z, one_hot_label], 1) # [B, bottleneck num_classes] # 解碼器和判別器同步接收 z_cond參數(shù)上類別數(shù)多的時候 one-hot 維度會膨脹可以換成可學(xué)習(xí)的 embedding維度設(shè) 16 或 32 就夠。判別器也要相應(yīng)改成條件判別器輸入潛向量和類別標簽判斷「這個類別的這個潛向量是否真實」。驗證改造是否成功別只看損失曲線。我習(xí)慣固定一組隨機種子每訓(xùn)練 50 個 epoch 就采樣一批潛向量解碼出來用compute_evaluation_metrics.ipynb算 CD同時肉眼看形狀。CD 下降但形狀變糊的情況我遇到過不止一次指標和肉眼必須一起看。從那以后我每次改完模型結(jié)構(gòu)都強制走一遍「固定種子采樣 CD 肉眼」三件套再決定要不要繼續(xù)訓(xùn)。希望這份拆解幫到你少走幾個我踩過的彎路。本文還有配套的精品資源點擊獲取 3D點云自編碼與潛空間GAN生成實戰(zhàn)：從PointNet到ShapeNet
簡介這份資源面向計算機視覺與深度學(xué)習(xí)方向的學(xué)習(xí)者和研究者聚焦用自動編碼器實現(xiàn)3D點云的壓縮、重建與生成。內(nèi)容基于latent_3d_points項目涵蓋自編碼器、變分自編碼器與生成對抗網(wǎng)絡(luò)等模型涉及點云預(yù)處理、潛空間特征提取、損失函數(shù)設(shè)計與評估指標計算適合具備Python與TensorFlow基礎(chǔ)、希望深入點云生成的中高級讀者。壓縮包共44個文件約2.1MB以24個py源碼和4個ipynb交互式筆記為核心輔以sh數(shù)據(jù)下載腳本、cpp與cu底層實現(xiàn)、md說明文檔及少量配置與圖片文件結(jié)構(gòu)清晰便于按模塊研讀。已有107人學(xué)習(xí)下載。通過源碼與筆記讀者可掌握編碼器-解碼器架構(gòu)搭建、潛變量操作、GAN與VAE訓(xùn)練流程并借助評估腳本驗證生成點云質(zhì)量是理解點云內(nèi)在結(jié)構(gòu)、降低計算復(fù)雜度并復(fù)現(xiàn)生成實驗的實用參考。1. 從一份能跑通的 3D 點云自編碼工程說起如果你正在找一份能直接跑起來的 3D 點云生成代碼而不是又一篇只講公式的論文復(fù)現(xiàn)筆記那這份latent_3d_points-master值得花一個下午拆一遍。它用 Python 和 Jupyter Notebook 把「點云自編碼 潛空間 GAN 生成」這條鏈路完整串了起來point_net_ae.py負責(zé)把無序點云壓進低維潛向量latent_gan.py在潛空間里做對抗生成train_single_class_ae.ipynb和train_latent_gan.ipynb則是可以直接點開就執(zhí)行的訓(xùn)練入口。整套代碼基于 TensorFlow 1.x 的靜態(tài)圖風(fēng)格寫成配合download_data.sh拉取 ShapeNet 子集覆蓋了從數(shù)據(jù)預(yù)處理、模型搭建、訓(xùn)練到compute_evaluation_metrics.ipynb評估的完整閉環(huán)。適合已經(jīng)寫過基礎(chǔ) Python、想切入 3D 深度學(xué)習(xí)但被點云無序性和生成模型調(diào)參卡住的人。下面我按「它是什么 → 怎么跑 → 坑在哪 → 怎么改」的順序把這份資源拆開講。2. 點云自編碼器的結(jié)構(gòu)拆解從 PointNet 編碼器到潛空間約束2.1 為什么點云不能直接塞進普通自編碼器3D 點云本質(zhì)上是一個 (N \times 3) 的矩陣N 個點每個點三個坐標。問題在于這個矩陣的行順序是任意的——你把同一朵點云的點打亂它表示的還是同一個物體。普通全連接自編碼器把輸入當(dāng)成固定維度的向量一旦點序變化重構(gòu)目標就變了學(xué)出來的編碼器對旋轉(zhuǎn)、平移、點序都不魯棒。這份工程的做法是引入 PointNet 風(fēng)格的編碼器。核心思路是用共享權(quán)重的多層感知機MLP逐點提特征再用一個對稱函數(shù)max pooling把 N 個點的特征聚合成一個全局向量。對稱函數(shù)保證了輸出與輸入點序無關(guān)這是點云編碼器能成立的前提。encoders_decoders.py里的Encoder和Decoder類就是干這個的編碼器輸出一個bottleneck_size維的潛向量解碼器再從潛向量回歸出 N 個點的坐標。我一般會把bottleneck_size設(shè)成 128 或 256。太小比如 32會丟失細節(jié)重構(gòu)出來的椅子缺腿太大比如 1024潛空間冗余后面做 GAN 時判別器很難區(qū)分真假訓(xùn)練容易崩。這個參數(shù)在ae_templates.py里以配置字典的形式給出改起來不用動模型代碼。2.2 編碼器與解碼器的關(guān)鍵實現(xiàn)先看編碼器的骨架這是理解整份代碼的入口# encoders_decoders.py 中 Encoder 的核心邏輯簡化示意 def encoder_mlp(point_cloud, is_training, bn_decay, scope, bnTrue): # point_cloud: [B, N, 3] net tf_util.conv2d(point_cloud, 128, [1, 3], paddingVALID, stride[1, 1], bnbn, is_trainingis_training, scopeconv1, bn_decaybn_decay) net tf_util.conv2d(net, 256, [1, 1], ...) # 逐點提特征 net tf_util.conv2d(net, 512, [1, 1], ...) net tf.reduce_max(net, axis1, keep_dimsTrue) # 對稱聚合消除點序影響 return net邏輯說明conv2d的卷積核是[1, 3]和[1, 1]等價于對每個點獨立做全連接權(quán)重在所有點上共享。reduce_max沿點數(shù)維度取最大值這一步是點云編碼的靈魂——無論點怎么排列max 的結(jié)果不變。參數(shù)上三層通道數(shù) 128/256/512 是 PointNet 原文的經(jīng)典配置顯存吃緊可以整體砍半。解碼器反過來從潛向量z出發(fā)先全連接擴維再 reshape 成點特征最后回歸坐標。generators_discriminators.py里的生成器復(fù)用了同樣的解碼結(jié)構(gòu)這也是為什么潛空間 GAN 能直接接在自編碼器后面——生成器和解碼器共享同一套「潛向量到點云」的映射假設(shè)。2.3 訓(xùn)練入口與數(shù)據(jù)準備數(shù)據(jù)靠download_data.sh拉取腳本里用的是 ShapeNet 的單類子集比如 chair、car。執(zhí)行前先確認external/structural_losses和external/python_plyfile兩個子模塊已經(jīng)初始化否則in_out.py讀.ply文件時會直接報ImportError。# 初始化子模塊并下載數(shù)據(jù) git submodule update --init --recursive bash download_data.shdownload_data.sh內(nèi)部會調(diào)用wget或curl拉取壓縮包并解壓到data/目錄。如果你的網(wǎng)絡(luò)環(huán)境訪問原始地址慢可以手動下載后放到對應(yīng)路徑腳本里判斷文件是否存在的邏輯會跳過重復(fù)下載。數(shù)據(jù)就位后打開train_single_class_ae.ipynb按順序執(zhí)行單元格即可。Notebook 里把超參、路徑、訓(xùn)練輪數(shù)都寫成了變量改完直接重跑比改.py腳本再命令行啟動直觀得多。3. 潛空間 GAN 的生成鏈路從 ae 權(quán)重到新點云采樣3.1 為什么在潛空間做 GAN 而不是直接生成點云直接在點云空間做 GAN 是可行的但判別器要處理 (N \times 3) 的高維輸出訓(xùn)練極不穩(wěn)定模式坍塌幾乎是必然。這份工程選了一條更聰明的路先用自編碼器把點云壓到低維潛空間再在這個低維空間里訓(xùn)練 GAN。潛空間維度低128 或 256數(shù)據(jù)分布簡單GAN 容易收斂生成的新潛向量再喂給解碼器就能得到新點云。代價是生成質(zhì)量受限于自編碼器的重構(gòu)能力。如果自編碼器本身重構(gòu)就糊潛空間 GAN 生成的點云只會更糊。所以正確順序是先單獨把train_single_class_ae.ipynb訓(xùn)到重構(gòu)損失收斂再拿它的編碼器權(quán)重去初始化train_latent_gan.ipynb。latent_gan.py里加載 ae 權(quán)重的邏輯在main函數(shù)開頭路徑寫死在配置里換數(shù)據(jù)集時記得同步改。3.2 訓(xùn)練潛空間 GAN 的步驟# latent_gan.py 訓(xùn)練主循環(huán)的關(guān)鍵片段簡化示意 for epoch in range(num_epochs): for batch in dataset: z_real encoder(batch) # 真實點云編碼到潛空間 z_fake generator.sample(batch_size) # 生成器采樣假潛向量 d_loss discriminator_loss(z_real, z_fake) g_loss generator_loss(z_fake) train_op_d.run(d_loss) train_op_g.run(g_loss)邏輯說明encoder在這里是凍結(jié)的只用來把真實點云轉(zhuǎn)成潛向量不參與梯度更新。判別器discriminator在潛空間里區(qū)分真?zhèn)紊善鱣enerator學(xué)的是潛空間的數(shù)據(jù)分布。參數(shù)上w_gan_gp.py實現(xiàn)了 WGAN-GP 的梯度懲罰比原始 GAN 的 JS 散度穩(wěn)定得多l(xiāng)ambda_gp一般設(shè) 10。raw_gan.py和vanilla_gan.py是消融對比用的原始版本實際訓(xùn)練建議直接用w_gan_gp.py。訓(xùn)練輪數(shù)上潛空間 GAN 收斂比自編碼器快通常幾百個 epoch 就能看到像樣的生成結(jié)果。判別器和生成器的學(xué)習(xí)率不要設(shè)成一樣常見做法是判別器 1e-4、生成器 1e-4但更新頻率上判別器每步更新、生成器隔步更新能緩解判別器過強導(dǎo)致的梯度消失。3.3 評估指標怎么讀compute_evaluation_metrics.ipynb里實現(xiàn)了 Chamfer DistanceCD和 Earth Movers DistanceEMD兩個點云相似度指標。CD 計算兩組點云互相最近鄰距離的均值對點序不敏感計算快EMD 找的是最優(yōu)傳輸匹配更準但慢得多N 大時基本跑不動。evaluation_metrics.py里兩個都有實現(xiàn)日常調(diào)參看 CD 就夠了最終報告再補 EMD。讀指標時注意CD 的絕對值沒有意義只有同一數(shù)據(jù)集、同一歸一化方式下的相對比較才有意義。我見過有人拿不同尺度點云算出的 CD 直接對比結(jié)論完全反了。歸一化方式在general_utils.py的normalize_point_cloud里默認把點云縮放到單位球內(nèi)換數(shù)據(jù)集時確認這一步?jīng)]被跳過。4. 避坑與排查這份代碼在真實環(huán)境里會翻車的幾個地方4.1 現(xiàn)象Notebook 一執(zhí)行就報ModuleNotFoundError: No module named tf_util原因src/目錄沒有加入 Python 路徑。這份工程用的是相對導(dǎo)入Notebook 的工作目錄如果不是src/的父目錄導(dǎo)入鏈就斷了。解決在 Notebook 第一個單元格里顯式加路徑或者把工作目錄切到工程根目錄再啟動 Jupyter。import sys, os sys.path.append(os.path.abspath(./src)) sys.path.append(os.path.abspath(./external/structural_losses))4.2 現(xiàn)象訓(xùn)練損失一直是nan原因TensorFlow 1.x 的靜態(tài)圖里學(xué)習(xí)率設(shè)太大或者梯度沒做裁剪WGAN-GP 的梯度懲罰項容易爆。另外點云坐標沒歸一化也會導(dǎo)致輸入量級過大。解決確認normalize_point_cloud被調(diào)用把學(xué)習(xí)率降到 1e-4 以下在優(yōu)化器里加tf.clip_by_norm梯度裁剪。tf_utils.py里有現(xiàn)成的optimizer封裝檢查beta1是不是 0.5 而不是默認的 0.9GAN 訓(xùn)練用 0.5 更穩(wěn)。4.3 現(xiàn)象download_data.sh執(zhí)行完data/目錄還是空的原因腳本里的下載地址失效或者wget沒裝。腳本沒有對下載失敗做顯式報錯靜默失敗后解壓步驟也跳過。解決手動確認壓縮包是否下載成功檢查文件大小是否為 0。沒有wget就裝一個或者改用curl -O。數(shù)據(jù)解壓后的目錄結(jié)構(gòu)要和in_out.py里讀取路徑的假設(shè)一致通常是data/category/split/*.ply。4.4 現(xiàn)象生成的點云全是噪點看不出形狀原因潛空間 GAN 訓(xùn)練時判別器過強生成器梯度消失或者自編碼器本身沒訓(xùn)好解碼器輸出的點云就是散的。解決先單獨驗證自編碼器的重構(gòu)效果把train_single_class_ae.ipynb訓(xùn)到重構(gòu)點云能看出物體輪廓再往下走。潛空間 GAN 階段降低判別器更新頻率或者給生成器加更小的學(xué)習(xí)率。WGAN-GP 的lambda_gp調(diào)大到 10 以上也能壓制判別器。4.5 現(xiàn)象換自己的.ply數(shù)據(jù)后讀取報錯原因python_plyfile子模塊沒初始化或者自己的.ply文件用了非標準的屬性字段。這份代碼假設(shè)點云只有x, y, z三個屬性帶法線或顏色的文件會解析失敗。解決先git submodule update --init拉全子模塊。自己的數(shù)據(jù)先用python_plyfile讀一遍確認屬性列表只有坐標多余的字段在預(yù)處理階段刪掉。in_out.py里的read_ply函數(shù)可以加一層字段過濾。5. 進階改造把單類自編碼器擴到多類與條件生成跑通單類之后最自然的下一步是讓它支持多類點云。ae_templates.py里的配置是按類別寫死的擴多類需要改兩處數(shù)據(jù)加載部分按類別打標簽?zāi)Ｐ筒糠衷诰幋a器輸出后拼接一個類別 one-hot 向量。這樣潛空間就變成了「類別條件潛空間」生成時指定類別就能采樣出對應(yīng)形狀。# 條件編碼器示意潛向量拼接類別標簽 z encoder(point_cloud) # [B, bottleneck] z_cond tf.concat([z, one_hot_label], 1) # [B, bottleneck num_classes] # 解碼器和判別器同步接收 z_cond參數(shù)上類別數(shù)多的時候 one-hot 維度會膨脹可以換成可學(xué)習(xí)的 embedding維度設(shè) 16 或 32 就夠。判別器也要相應(yīng)改成條件判別器輸入潛向量和類別標簽判斷「這個類別的這個潛向量是否真實」。驗證改造是否成功別只看損失曲線。我習(xí)慣固定一組隨機種子每訓(xùn)練 50 個 epoch 就采樣一批潛向量解碼出來用compute_evaluation_metrics.ipynb算 CD同時肉眼看形狀。CD 下降但形狀變糊的情況我遇到過不止一次指標和肉眼必須一起看。從那以后我每次改完模型結(jié)構(gòu)都強制走一遍「固定種子采樣 CD 肉眼」三件套再決定要不要繼續(xù)訓(xùn)。希望這份拆解幫到你少走幾個我踩過的彎路。本文還有配套的精品資源點擊獲取