人工智能媒體生成視頻多模態(tài)計算機視覺深度學習模型量化LoRA【免費下載鏈接】Hy-Nomas項目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Nomas點擊查看免費下載想給 Hy-Nomas 視頻生成模型加上運鏡嗎Hy-Nomas 的相機控制功能允許你通過一個npz 軌跡文件逐幀定義虛擬相機的位置與朝向從而精準控制生成視頻中的鏡頭運動——推鏡頭、橫移、環(huán)繞都可以做到分幀級別的把控。這篇完整指南將帶你用幾步簡單操作搞定 npz 軌跡文件的制作、參數(shù)調(diào)優(yōu)與常見問題排查。 先了解 Hy-Nomas騰訊混元開源的自由交互視頻世界生成模型支持多輪文本指令 相機控制逐段生成連續(xù)視頻蒸餾推理每片段僅 8 步去噪默認輸出720 × 1280、24 FPS。Hy-Nomas 相機控制把虛擬相機交給你的運鏡腳本Hy-Nomas 的生成條件一共有三路信號條件作用你提供的形式 文本描述世界里有什么、發(fā)生什么結(jié)構(gòu)化 JSON 提示詞相機軌跡規(guī)定鏡頭怎么動npz 軌跡文件本文主角 KV cache記住已生成的歷史片段讓世界保持連貫模型自動維護可以這樣理解npz 文件就是一段給虛擬攝影師的運鏡腳本逐幀告訴模型——這一幀相機站在哪、朝哪個方向看、用什么焦距。模型內(nèi)部把每 4 個視頻幀的歸一化相機外參矩陣展平為 64 維向量通過交叉注意力注入視頻生成過程實現(xiàn)鏡頭運動與畫面內(nèi)容的同步控制。 不傳軌跡文件也完全可以鏡頭會按模型默認行為自然運動。想要精確到每一幀的電影感運鏡才需要 npz 軌跡。npz 軌跡文件要求幀數(shù)、形狀與兩個必備字段Hy-Nomas 官方推理代碼支持npzNumPy 壓縮歸檔格式的軌跡文件由代碼倉庫內(nèi)置的相機軌跡工具hymm/models/camera/geometry/generate_npz_trajectories.py生成或按相同格式自制。文件里只需要兩個數(shù)組字段形狀含義關鍵點c2ws[N, 4, 4]每幀的camera-to-world相機到世界矩陣左上 3×3 是朝向最后一列是相機在世界中的位置方向別寫反必須是相機→世界intrinsics[N, 3, 3]每幀的相機內(nèi)參焦距像素與主點N 幀每幀一份內(nèi)參相同就復制其中N 必須與視頻總幀數(shù)嚴格相等N 視頻時長秒× 幀率。默認 24 FPS 下10 秒視頻就是240 幀若改幀率N 同步修改。內(nèi)參矩陣是標準的 3×3 形式單位像素intrinsics [[fx, 0, cx], [ 0, fy, cy], [ 0, 0, 1]]fx/fy是焦距cx/cy是畫面中心點。對默認的 720 × 1280 輸出可直接參考下面示例中intrinsics()的取值按實際輸出分辨率等比換算。三步生成鏡頭軌跡推鏡頭、橫移與環(huán)繞示例下面給出一個零依賴的純 numpy 腳本一次生成三種經(jīng)典運鏡。保存為make_camera_npz.py后執(zhí)行python make_camera_npz.py即可import numpy as np def intrinsics(N, width1280, height720): 每幀一份相機內(nèi)參 [N, 3, 3]單位像素 fx fy width * 0.6 # 焦距 ≈ 畫面寬度 × 0.6 K np.array([[fx, 0, width / 2], [0, fy, height / 2], [0, 0, 1.0]]) return np.repeat(K[None], N, axis0) def make_npz(N, path, positions, rotations): 把逐幀位置/朝向組裝成 camera-to-world 矩陣并保存 c2ws np.zeros((N, 4, 4)) c2ws[:, :3, :3] rotations c2ws[:, :3, 3] positions c2ws[:, 3, 3] 1.0 np.savez(path, c2wsc2ws, intrinsicsintrinsics(N)) N 240 # 10 秒 × 24 FPS改幀率或時長時同步調(diào)整 # ① 推鏡頭沿 z 軸勻速前推z 軸為鏡頭朝向 t np.linspace(0, 1, N) make_npz(N, push_in.npz, np.stack([np.zeros(N), np.zeros(N), 6.0 - 3.0 * t], axis-1), np.broadcast_to(np.eye(3), (N, 3, 3)).copy()) # ② 橫移鏡頭沿 x 軸橫向平移 make_npz(N, truck_right.npz, np.stack([-4.0 8.0 * t, np.zeros(N), 4.0], axis-1), np.broadcast_to(np.eye(3), (N, 3, 3)).copy()) # ③ 環(huán)繞鏡頭繞場景中心畫圓弧相機始終面向中心 ang np.linspace(0, np.pi / 2, N) R np.stack([np.stack( [[np.cos(a), 0, -np.sin(a)], [0, 1, 0], [np.sin(a), 0, np.cos(a)]] for a in ang), axis0) make_npz(N, orbit.npz, np.stack([6.0 * np.sin(ang), np.zeros(N), 6.0 * np.cos(ang)], axis-1), R)三點使用說明方向約定腳本采用常見的鏡頭朝前坐標系——x 向右、y 向下、z 為鏡頭朝向。所以推鏡頭沿 z 前進橫移沿 x 滑動。數(shù)值是世界單位沒有嚴格物理意義你只需保證相機不穿入場景中心、運動平滑即可。腳本產(chǎn)物只是起步模板方向、速度曲線把線性t換成緩動函數(shù)更自然、環(huán)繞角度都可以按你的故事板自由改。?? 多片段視頻注意示例提示詞中每個segment約 5 秒120 幀 24 FPS。軌跡要覆蓋哪段視頻N 就取哪段的幀數(shù)。在推理命令中掛載 npz 軌跡并生成視頻在標準推理命令的末尾追加一個參數(shù)即可啟用相機控制inference.camera_trajectory/path/to/camera.npz完整示例代碼倉庫根目錄執(zhí)行模型權(quán)重路徑由HY_NOMAS_MODEL_DIR指定bash scripts/inference/inference_from_config.sh configs/experiment/inference.yaml \ dit_weight$HY_NOMAS_MODEL_DIR/DiT/distilled/diffusion_pytorch_model_ema_0_995.safetensors \ model.vae.checkpoint$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT/diffusion_pytorch_model.safetensors \ inference.prompt$HY_NOMAS_MODEL_DIR/examples/prompts.json \ inference.save_path./outputs/distill \ inference.camera_trajectory/path/to/camera.npz 提示權(quán)重文件按倉庫目錄結(jié)構(gòu)存放——蒸餾 DiT 在DiT/distilled/解碼器在VAE/PixelUMM_FT/提示詞模板在 examples/prompts.json。 硬件要求標準配置默認 8 路序列并行需要 8 張 GPU顯存緊張時可改用單卡低顯存配置RTX 4090 INT8 DiT FP8 解碼器相機控制的用法完全一致。微調(diào)鏡頭運動強度3 個關鍵參數(shù)軌跡文件定義了運動形狀參數(shù)決定運動幅度與跟隨力度。官方推理預設configs/experiment/inference.yaml中與相機相關的關鍵項參數(shù)默認值作用調(diào)參直覺inference.trajectory_translation_scale1.0相機平移強度的縮放系數(shù)鏡頭走得太慢/太慢不動→ 調(diào)大inference.trajectory_rotation_scale2.5相機旋轉(zhuǎn)強度的縮放系數(shù)轉(zhuǎn)向不明顯 → 調(diào)大inference.camera_cfg_scale1.0相機條件的引導強度guidance生成結(jié)果不跟軌跡走→ 適當調(diào)大inference.video_fps24輸出幀率改動后 npz 幀數(shù) N 必須同步三條實用建議先跑默認值拿到基線視頻后再動參數(shù)每次只改一個參數(shù)、每次只微調(diào) 20%~50%避免一次調(diào)飛軌跡幅度與兩個 scale 是相乘關系——軌跡本身寫得大scale 再大容易過沖二選一放大即可。常見問題排查鏡頭不動、抖動、錯位怎么辦癥狀可能原因解決辦法鏡頭幾乎不動軌跡幅度太小或camera_cfg_scale不足調(diào)大軌跡坐標范圍或把camera_cfg_scale提到 1.2~2.0鏡頭亂晃、畫面抖動逐幀矩陣不平滑角度跳變軌跡用平滑曲線生成檢查是否誤用了 world-to-camera 矩陣運動方向反了c2ws寫成了 w2c確認是camera-to-worldw2c 記得求逆再傳入軌跡不生效N 幀數(shù)與視頻幀數(shù)不一致核對 N 時長 ×video_fps改幀率同步改 N畫面畸變奇怪內(nèi)參單位/主點與分辨率不匹配按實際輸出分辨率重算fx, fy, cx, cy生成前最后檢查清單?N 與目標時長 × 幀率嚴格相等c2ws形狀[N,4,4]、intrinsics形狀[N,3,3]且為相機→世界方向軌跡曲線平滑、相機不穿入主體內(nèi)參與實際輸出分辨率一致強度參數(shù)從默認值起步微調(diào)快速參考一張表記住 Hy-Nomas 相機控制項目結(jié)論軌跡格式npz 文件含c2ws [N,4,4]intrinsics [N,3,3]幀數(shù)對齊N 時長秒× 幀率默認 24 FPS啟用方式推理命令追加inference.camera_trajectoryxxx.npz強度三參數(shù)平移1.0/ 旋轉(zhuǎn)2.5/ 相機引導1.0參考實現(xiàn)代碼倉庫hymm/models/camera/geometry/generate_npz_trajectories.py一句話總結(jié)把軌跡按幀數(shù)對齊、格式正確、曲線平滑三條做對再用三個 scale 參數(shù)微調(diào)幅度你就能像真正的攝影師一樣指揮 Hy-Nomas 的鏡頭走位。贊分享人工智能媒體生成視頻多模態(tài)計算機視覺深度學習模型量化LoRA【免費下載鏈接】Hy-Nomas項目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Nomas點擊查看免費下載相關推薦深度解析Wan2.1 ATI軌跡控制ComfyUI視頻生成全流程指南深度解析Wan2.1 ATI軌跡控制ComfyUI視頻生成全流程指南 在AI視頻生成領域精確控制動態(tài)元素的運動軌跡一直是行業(yè)難題。字節(jié)跳動團隊最新推出的AT大模型AnimateDiff終極動畫控制指南8種相機軌跡與MotionLoRA完全解析AnimateDiff終極動畫控制指南8種相機軌跡與MotionLoRA完全解析 想要創(chuàng)建專業(yè)級的AI動畫效果嗎AnimateDiff作為官方實現(xiàn)的動畫生成人工智能大模型媒體生成深度學習計算機視覺視頻Hy-Nomas完全指南騰訊混元免費交互式視頻世界生成模型深度解析Hy Nomas完全指南騰訊混元免費交互式視頻世界生成模型深度解析 Hy Nomas 是騰訊混元開源的免費交互式視頻世界生成模型你用文本指令和相機軌跡引導人工智能媒體生成視頻多模態(tài)計算機視覺深度學習模型量化LoRA創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考