如何快速上手VideoFlexTok安裝、加載模型與編碼第一個視頻的完整教程【免費下載鏈接】videoflextok_d18_d28項目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解這個項目是什么VideoFlexTok是 EPFL洛桑聯(lián)邦理工學院VILAB 實驗室開源的一個視頻分詞器video tokenizer模型屬于 HuggingFace 鏡像倉庫EPFL-VILAB/videoflextok_d18_d28中預訓練好的 checkpoint。它的核心特點是可變長度、由粗到細coarse-to-fine的視頻 token 化一段視頻會被編碼成一串 token靠前的 token 捕獲語義和運動等抽象信息靠后的 token 再逐層補充細節(jié)。你只需要保留前 N 個 token就能在信息量—計算成本之間自由取舍。倉庫結構非常簡潔核心就 3 個文件文件作用README.md官方說明安裝、加載模型、編碼與解碼視頻config.json模型完整結構配置編碼器、解碼器、量化器參數(shù)model.safetensors預訓練權重文件safetensors 格式一、VideoFlexTok 的三大核心能力在動手之前先理解它能做什么后面跟著教程走就不會迷路視頻 → 離散 token 序列把 256×256 的視頻片段編碼成每個時間步最多 256 個離散 token嵌套截斷nested truncationtoken 序列可以嵌套式地只保留前 64 個或前 128 個實現(xiàn)從抽象語義到像素細節(jié)的靈活壓縮token → 視頻重建通過內(nèi)置的 Rectified Flow流匹配解碼器把截斷后的 token 序列重新生成回視頻。從命名也能看出模型規(guī)格d18_d28指編碼器 18 層、解碼器 28 層Transformer這可以在 config.json 中得到驗證enc_transformer.depth: 18、dec_transformer.depth: 28。二、安裝 VideoFlexTok 依賴環(huán)境這個倉庫本身只存放模型權重與配置Python 代碼包videoflextok來自論文的官方實現(xiàn)README.md 中的 Installation 一節(jié)有說明。推薦兩種方式方式 A推薦按照官方實現(xiàn)倉庫的說明pip install或源碼安裝videoflextok包需要 Python 3.9 和 PyTorch 環(huán)境建議 GPU 加速方式 B把官方實現(xiàn)代碼克隆到本地后用pip install -e .以可編輯模式安裝。安裝完成后可以用下面一行驗證是否成功import videoflextok print(OK)三、兩種方法加載 VideoFlexTok 模型方法 1直接從 Hub 一行加載最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一個模型名權重會自動下載并加載適合絕大多數(shù)用戶。方法 2手動加載本地權重文件如果你已經(jīng)下載了 model.safetensors 權重文件可以用官方提供的輔助函數(shù)加載from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 這里的config會自動從權重文件中解析出來內(nèi)容與 config.json 一致不需要你手動指定模型結構。四、編碼第一個視頻完整步驟演示 步驟 1讀取視頻為張量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4會自動完成預處理按約 8 FPS 抽幀、縮放到 256×256、數(shù)值歸一化到 [-1, 1]并保證幀數(shù)滿足T 1 K×16VideoFlexTok 分塊機制的硬性要求。步驟 2tokenize 成離散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每個元素 shape 為 [1, t, 256]每 16 幀的片段會被壓縮成4 個時間 token加上首幀共 1 個所以t 1 K×4編碼器以滑動窗口方式自動處理長視頻并把 token 在序列維度上拼接。步驟 3嵌套截斷VideoFlexTok 的靈魂操作 ??k_keep 64 # 每個時間步只保留前 64 個 token共 256 個 tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到細排列的前 64 個 ≈ 視頻的語義 運動骨架后 192 個才是紋理細節(jié)。截斷多少就由你的下游任務如視頻理解、生成、檢索按需決定。五、把 token 變回視頻detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步數(shù) guidance_scale20., # 無分類器引導強度15~30 效果較好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]數(shù)值范圍 [-1, 1]解碼器是一個基于流匹配的擴散式模型config.json 中的VideoMinRFPipeline截斷的 token 越多重建越依賴先驗補全細節(jié)guidance_scale可適當調高。六、讀懂 config.json模型內(nèi)部一覽模塊關鍵配置含義VAEVidTokVAE16 通道潛變量先把視頻壓縮進 VAE 潛空間編碼器FlexTransformerdim115218 層輸出 256 個寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限標量量化產(chǎn)生離散 token解碼器FlexTransformerdim179228 層流匹配去噪重建 VAE 潛變量分塊參數(shù)chunk_size: 17overlap: 1幀長視頻滑動窗口分塊七、常見問題速查 ?Q1視頻長度有什么要求幀數(shù)需滿足T 1 K×16K≥1read_mp4會自動處理輸入分辨率為 256×256。Q2token 序列最多多少每個時間步最多 256 個 token6 維 FSQ 量化碼本 8×8×8×5×5×5。Q3沒有 GPU 能跑嗎可以但 28 層解碼器的流匹配采樣在 CPU 上會很慢建議 30 步去噪配合 GPU。Q4許可證是什么權重以Apache License 2.0發(fā)布見 README.md可自由商用。總結VideoFlexTok 可變長度、由粗到細的視頻分詞模型一行代碼即可從 Hub 加載核心流程只需三步read_mp4讀視頻 →tokenize編碼 → 按需detokenize重建模型結構與參數(shù)全部透明可查config.json model.safetensors嵌套截斷是它最大的賣點語義與細節(jié)分離讓視頻 token 第一次變得可伸縮。照著上面的代碼走一遍你就完成了從安裝到編碼第一個視頻的完整流程可以開始自己的視頻 token 化實驗了 【免費下載鏈接】videoflextok_d18_d28項目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何快速上手VideoFlexTok：安裝、加載模型與編碼第一個視頻的完整教程
如何快速上手VideoFlexTok安裝、加載模型與編碼第一個視頻的完整教程【免費下載鏈接】videoflextok_d18_d28項目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解這個項目是什么VideoFlexTok是 EPFL洛桑聯(lián)邦理工學院VILAB 實驗室開源的一個視頻分詞器video tokenizer模型屬于 HuggingFace 鏡像倉庫EPFL-VILAB/videoflextok_d18_d28中預訓練好的 checkpoint。它的核心特點是可變長度、由粗到細coarse-to-fine的視頻 token 化一段視頻會被編碼成一串 token靠前的 token 捕獲語義和運動等抽象信息靠后的 token 再逐層補充細節(jié)。你只需要保留前 N 個 token就能在信息量—計算成本之間自由取舍。倉庫結構非常簡潔核心就 3 個文件文件作用README.md官方說明安裝、加載模型、編碼與解碼視頻config.json模型完整結構配置編碼器、解碼器、量化器參數(shù)model.safetensors預訓練權重文件safetensors 格式一、VideoFlexTok 的三大核心能力在動手之前先理解它能做什么后面跟著教程走就不會迷路視頻 → 離散 token 序列把 256×256 的視頻片段編碼成每個時間步最多 256 個離散 token嵌套截斷nested truncationtoken 序列可以嵌套式地只保留前 64 個或前 128 個實現(xiàn)從抽象語義到像素細節(jié)的靈活壓縮token → 視頻重建通過內(nèi)置的 Rectified Flow流匹配解碼器把截斷后的 token 序列重新生成回視頻。從命名也能看出模型規(guī)格d18_d28指編碼器 18 層、解碼器 28 層Transformer這可以在 config.json 中得到驗證enc_transformer.depth: 18、dec_transformer.depth: 28。二、安裝 VideoFlexTok 依賴環(huán)境這個倉庫本身只存放模型權重與配置Python 代碼包videoflextok來自論文的官方實現(xiàn)README.md 中的 Installation 一節(jié)有說明。推薦兩種方式方式 A推薦按照官方實現(xiàn)倉庫的說明pip install或源碼安裝videoflextok包需要 Python 3.9 和 PyTorch 環(huán)境建議 GPU 加速方式 B把官方實現(xiàn)代碼克隆到本地后用pip install -e .以可編輯模式安裝。安裝完成后可以用下面一行驗證是否成功import videoflextok print(OK)三、兩種方法加載 VideoFlexTok 模型方法 1直接從 Hub 一行加載最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一個模型名權重會自動下載并加載適合絕大多數(shù)用戶。方法 2手動加載本地權重文件如果你已經(jīng)下載了 model.safetensors 權重文件可以用官方提供的輔助函數(shù)加載from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 這里的config會自動從權重文件中解析出來內(nèi)容與 config.json 一致不需要你手動指定模型結構。四、編碼第一個視頻完整步驟演示 步驟 1讀取視頻為張量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4會自動完成預處理按約 8 FPS 抽幀、縮放到 256×256、數(shù)值歸一化到 [-1, 1]并保證幀數(shù)滿足T 1 K×16VideoFlexTok 分塊機制的硬性要求。步驟 2tokenize 成離散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每個元素 shape 為 [1, t, 256]每 16 幀的片段會被壓縮成4 個時間 token加上首幀共 1 個所以t 1 K×4編碼器以滑動窗口方式自動處理長視頻并把 token 在序列維度上拼接。步驟 3嵌套截斷VideoFlexTok 的靈魂操作 ??k_keep 64 # 每個時間步只保留前 64 個 token共 256 個 tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到細排列的前 64 個 ≈ 視頻的語義 運動骨架后 192 個才是紋理細節(jié)。截斷多少就由你的下游任務如視頻理解、生成、檢索按需決定。五、把 token 變回視頻detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步數(shù) guidance_scale20., # 無分類器引導強度15~30 效果較好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]數(shù)值范圍 [-1, 1]解碼器是一個基于流匹配的擴散式模型config.json 中的VideoMinRFPipeline截斷的 token 越多重建越依賴先驗補全細節(jié)guidance_scale可適當調高。六、讀懂 config.json模型內(nèi)部一覽模塊關鍵配置含義VAEVidTokVAE16 通道潛變量先把視頻壓縮進 VAE 潛空間編碼器FlexTransformerdim115218 層輸出 256 個寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限標量量化產(chǎn)生離散 token解碼器FlexTransformerdim179228 層流匹配去噪重建 VAE 潛變量分塊參數(shù)chunk_size: 17overlap: 1幀長視頻滑動窗口分塊七、常見問題速查 ?Q1視頻長度有什么要求幀數(shù)需滿足T 1 K×16K≥1read_mp4會自動處理輸入分辨率為 256×256。Q2token 序列最多多少每個時間步最多 256 個 token6 維 FSQ 量化碼本 8×8×8×5×5×5。Q3沒有 GPU 能跑嗎可以但 28 層解碼器的流匹配采樣在 CPU 上會很慢建議 30 步去噪配合 GPU。Q4許可證是什么權重以Apache License 2.0發(fā)布見 README.md可自由商用。總結VideoFlexTok 可變長度、由粗到細的視頻分詞模型一行代碼即可從 Hub 加載核心流程只需三步read_mp4讀視頻 →tokenize編碼 → 按需detokenize重建模型結構與參數(shù)全部透明可查config.json model.safetensors嵌套截斷是它最大的賣點語義與細節(jié)分離讓視頻 token 第一次變得可伸縮。照著上面的代碼走一遍你就完成了從安裝到編碼第一個視頻的完整流程可以開始自己的視頻 token 化實驗了 【免費下載鏈接】videoflextok_d18_d28項目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考