【免費下載鏈接】InternVideo2-Stage1-1B-224p-f8-k710項目地址https://ai.gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-f8-k710點擊查看免費下載InternVideo2-Stage1-1B-224p-f8-k710 是 OpenGVLab 開源視頻基礎(chǔ)模型 InternVideo2 的Stage 1預(yù)訓(xùn)練階段1B 參數(shù)規(guī)模權(quán)重包基于視頻-文本對比學(xué)習(xí)在大規(guī)模數(shù)據(jù)上訓(xùn)練而成常用于視頻-文本檢索、下游視頻理解任務(wù)的微調(diào)初始化等場景。本文帶你一文看懂這個權(quán)重包是什么、命名如何解讀、Stage 1 與 Stage 2 的核心區(qū)別以及它適合在哪些場景下使用。 倉庫內(nèi)容一覽該倉庫是一個典型的模型權(quán)重倉庫Model Repo內(nèi)容非常精簡文件作用說明1B_ft_k710_f8.pth預(yù)訓(xùn)練權(quán)重文件通過 Git LFS 存儲實際大小約1.9 GB2,042,615,661 字節(jié)README.md模型卡Model Card包含項目來源、論文信息與引用格式configuration.json框架配置{framework: pytorch, task: others, allow_remote: true} 注意本地克隆下來的1B_ft_k710_f8.pth只是一個約 135 字節(jié)的Git LFS 指針文件真正的 1.9 GB 權(quán)重需要 LFS 拉取后才會完整下載。 命名解讀1B-224p-f8-k710 到底在說什么模型名InternVideo2-Stage1-1B-224p-f8-k710中的每一段都有明確含義1B模型參數(shù)量約為 10 億1 Billion屬于輕量級檔位224p輸入視頻幀被縮放為 224×224 像素f8每個視頻采樣8 幀作為輸入f framesk710訓(xùn)練數(shù)據(jù)規(guī)模為7.1 億710M級的圖文/視頻-文本數(shù)據(jù)對Stage1處于兩階段訓(xùn)練流程的第一階段預(yù)訓(xùn)練對應(yīng)的權(quán)重文件名1B_ft_k710_f8.pth同樣體現(xiàn)了這些訓(xùn)練配置1B 模型、在 k710 數(shù)據(jù)集上訓(xùn)練、8 幀輸入。?? 核心區(qū)別Stage 1 vs Stage 2InternVideo2 采用兩階段訓(xùn)練流程這是理解本倉庫的關(guān)鍵維度Stage 1預(yù)訓(xùn)練Stage 2后訓(xùn)練/對齊訓(xùn)練目標(biāo)視頻-文本對比學(xué)習(xí)Contrastive Learning在 Stage 1 基礎(chǔ)上做多模態(tài)后訓(xùn)練與對齊訓(xùn)練數(shù)據(jù)大規(guī)模網(wǎng)絡(luò)采集數(shù)據(jù)k710 ≈ 7.1 億數(shù)據(jù)對噪聲較大經(jīng)過篩選的高質(zhì)量數(shù)據(jù)覆蓋更多多模態(tài)任務(wù)輸出能力通用的視頻-語言表示embedding面向多模態(tài)任務(wù)問答、理解與生成對齊等的增強(qiáng)表示適合用途作為初始化權(quán)重繼續(xù)微調(diào)、特征提取追求開箱即用的多模態(tài)任務(wù)表現(xiàn)一句話總結(jié)Stage 1 提供扎實的地基Stage 2 提供精裝修后的能力。如果你有自己的領(lǐng)域數(shù)據(jù)需要繼續(xù)訓(xùn)練Stage 1 往往是更合適的起點如果你只想直接調(diào)用成熟的多模態(tài)能力則應(yīng)關(guān)注 Stage 2 權(quán)重。 Stage 1 權(quán)重的四大使用場景視頻-文本對比檢索基于對比學(xué)習(xí)Stage 1 權(quán)重天然支持 Text→Video 與 Video→Text 雙向檢索是最直接的應(yīng)用場景。下游視頻任務(wù)微調(diào)初始化以該權(quán)重為 backbone在動作識別、視頻分類、視頻問答等任務(wù)上繼續(xù)訓(xùn)練比隨機(jī)初始化收斂更快、效果更穩(wěn)。特征提取 / 線性探針Linear Probing凍結(jié)主干網(wǎng)絡(luò)僅訓(xùn)練一層線性分類頭快速評估表示質(zhì)量或完成小數(shù)據(jù)場景的輕量級分類。領(lǐng)域繼續(xù)預(yù)訓(xùn)練將通用視頻表示遷移到醫(yī)療影像、工業(yè)質(zhì)檢、體育視頻等垂直領(lǐng)域用領(lǐng)域數(shù)據(jù)繼續(xù)對比學(xué)習(xí)。 如何獲取權(quán)重由于權(quán)重文件通過 Git LFS 管理建議安裝 Git LFS 后克隆git lfs install git lfs clone https://gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-f8-k710克隆完成后1B_ft_k710_f8.pth即為完整權(quán)重可直接用于模型加載。若克隆后文件仍只有幾百字節(jié)執(zhí)行g(shù)it lfs pull拉取真實文件即可。?? 使用注意事項模型代碼不在本倉庫本倉庫只包含權(quán)重與模型卡模型結(jié)構(gòu)與加載邏輯在 InternVideo2 開源代碼庫OpenGVLab 的 InternVideo 項目下的 InternVideo2 目錄中需配合使用。License 為 Apache-2.0但倉庫帶訪問門檻模型卡要求使用者同意不將該模型用于對人類受試者造成傷害的實驗首次下載需填寫 Name、Company/Organization、Country、E-Mail 等信息。版本核對可通過 LFS 指針中的 sha256 校驗值確認(rèn)權(quán)重完整性避免加載到截斷文件。框架configuration.json 標(biāo)明pytorch框架按 PyTorch 生態(tài)加載即可。? 總結(jié)InternVideo2-Stage1-1B-224p-f8-k710 是 InternVideo2 系列中 1B 檔位的預(yù)訓(xùn)練權(quán)重核心定位是為下游視頻理解任務(wù)提供高質(zhì)量的表示初始化。記住它的三個關(guān)鍵詞f88幀輸入、k7107.1億數(shù)據(jù)對訓(xùn)練、Stage1對比學(xué)習(xí)預(yù)訓(xùn)練階段——搞懂命名也就搞懂了它的適用邊界。若你的目標(biāo)是微調(diào)或檢索選它若追求開箱即用的多模態(tài)任務(wù)能力再看 Stage 2 權(quán)重。贊分享【免費下載鏈接】InternVideo2-Stage1-1B-224p-f8-k710項目地址https://ai.gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-f8-k710點擊查看免費下載相關(guān)推薦InternVideo2-Stage1-1B-224p-f8 命名全解Stage1、1B、224p、f8到底意味著什么InternVideo2 Stage1 1B 224p f8 命名全解Stage1、1B、224p、f8到底意味著什么 初學(xué)視頻基礎(chǔ)模型時是不是被 IntInternVideo2-Stage1-1B-224p-f8-SthSth訓(xùn)練原理深解Stage1大規(guī)模視頻預(yù)訓(xùn)練全流程InternVideo2 Stage1 1B 224p f8 SthSth訓(xùn)練原理深解Stage1大規(guī)模視頻預(yù)訓(xùn)練全流程 InternVideo2 StCKEditor 5 圖片替代文本alt功能全解從 ImageTextAlternative 插件到數(shù)據(jù)轉(zhuǎn)換的實現(xiàn)剖析CKEditor 5 圖片替代文本alt功能全解從 ImageTextAlternative 插件到數(shù)據(jù)轉(zhuǎn)換的實現(xiàn)剖析 圖片替代文本即 HTML 中的創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考