KD_Lib內置模型庫全解析從LeNet到ResNet152如何為蒸餾選對師生模型【免費下載鏈接】KD_LibA Pytorch Knowledge Distillation library for benchmarking and extending works in the domains of Knowledge Distillation, Pruning, and Quantization.項目地址: https://gitcode.com/gh_mirrors/kd/KD_Lib知識蒸餾Knowledge Distillation是模型壓縮領域最熱門的技巧之一而KD_Lib正是這樣一款基于PyTorch的開源模型壓縮庫它把知識蒸餾、剪枝Pruning和量化Quantization三大方向的經(jīng)典方法打包成開箱即用的API。對新手來說用KD_Lib做蒸餾實驗的第一道坎往往不是算法本身而是“師生模型怎么選”。好消息是KD_Lib內置了一套從LeNet到ResNet152的完整模型庫本文就帶你逐一認識它們并給出選型思路。上圖展示了知識蒸餾里“軟標簽Soft Target”的典型形態(tài)即便教師模型在某個樣本上預測失誤它輸出的概率分布依然攜帶類別間相似性的寶貴信息——這正是學生模型能從小網(wǎng)絡里“偷師”的核心。KD_Lib內置模型庫的代碼統(tǒng)一放在KD_Lib/models/目錄下入口文件是init.py所有模型都能通過一句from KD_Lib.models import ...直接導入。內置模型庫全家福6類網(wǎng)絡一次看全打開KD_Lib/models/__init__.py你會發(fā)現(xiàn)KD_Lib幫你準備好了6大類共9個模型覆蓋了從經(jīng)典CNN到現(xiàn)代殘差網(wǎng)絡再到循環(huán)網(wǎng)絡的完整譜系模型源文件適用場景LeNet / ModLeNetlenet.pyMNIST等小尺寸圖像分類LSTMNetlstm.py文本分類等序列任務NetworkInNetworknin.pyCIFAR等中等圖像分類Shallowshallow.py全連接淺層網(wǎng)絡做學生模型很合適ResNet18/34/50/101/152resnet.py從輕量到超深的圖像分類主力其中 LeNet 和 ModLeNet 是兩兄弟LeNet忠實還原經(jīng)典結構使用平均池化ModLeNet則把池化換成最大池化并加深了全連接層兩者默認都接受 32×32 的3通道輸入img_size32, num_classes10非常適合在 CIFAR 系列數(shù)據(jù)集上直接開跑。而Shallow是一個只有3層全連接層的“迷你學生”參數(shù)少、訓練快是驗證蒸餾收益的絕佳對照組。ResNet家族深度解析18到152該怎么選ResNet 是KD_Lib模型庫里的重頭戲在 resnet.py 中5個版本共用同一個ResNet基類只靠block和num_blocks參數(shù)區(qū)分18/34 使用BasicBlock兩層卷積50/101/152 使用Bottleneck三層瓶頸結構。更貼心的是每個版本都支持三個開關attTrue切換為ResnetWithAT前向傳播時額外返回4個層的注意力特征圖供注意力蒸餾如AT、SP方法使用meanTrue切換為MeanResnet輸出兩個分類頭的預測配合 mean_teacher 類蒸餾方法使用兩者都默認關閉即標準的ResNet前向。所有模型都可以通過一個parameters列表形如[4, 4, 8, 8, 16]自由定制每層通道數(shù)也可以指定num_channel和num_classes適配任意數(shù)據(jù)集。如果你懶得記函數(shù)名源碼里還貼心地準備了一個resnet_book字典resnet_book[50]就能直接拿到 ResNet50 的構造函數(shù)。師生模型選型實戰(zhàn)3條黃金準則在 tests/test_models.py 中可以看到官方推薦的搭配方式學生用小網(wǎng)絡、教師用大網(wǎng)絡。結合KD_Lib內置模型這里給你3條立刻能用的選型準則同族不同深教師用 ResNet152、學生用 ResNet18兩者共享殘差結構蒸餾時特征對齊更容易收斂更快跨族大代差教師用 ResNet50、學生用 Shallow 或 LeNet代差越大越能檢驗蒸餾方法是否真的在“傳遞知識”而非簡單模仿按任務分域文本分類就用 LSTMNet 當師生圖像任務才上 ResNet/NIN別讓模型和任務錯配。官方文檔對每個模型的參數(shù)說明都在 KD_Lib.models.rst 中有完整記錄動手前不妨先翻一翻。5分鐘跑通第一個蒸餾實驗選好模型后接入KD_Lib蒸餾框架只需三步官方教程 VanillaKD.rst 給出了最經(jīng)典的寫法from KD_Lib.KD import VanillaKD from KD_Lib.models import ResNet18, ResNet152 student ResNet18([4, 4, 8, 8, 16], num_channel3, num_classes10) teacher ResNet152([8, 8, 16, 16, 32], num_channel3, num_classes10) distiller VanillaKD(teacher, student, train_loader, test_loader, teacher_optimizer, student_optimizer) distiller.train_teacher(epochs5, plot_lossesTrue) distiller.train_student(epochs5, plot_lossesTrue) distiller.evaluate(teacherFalse)想深入優(yōu)化學生模型的訓練過程還可以參考KD_Lib中路由約束優(yōu)化RCO等進階方法的思路——下圖展示了這類方法如何用教師錨點迭代約束學生網(wǎng)絡幫助它在資源受限時依然逼近教師的性能總結從模型庫出發(fā)快速開啟你的蒸餾之旅KD_Lib把從 LeNet 到 ResNet152 的模型庫、蒸餾/剪枝/量化算法和完整文檔整合在一個倉庫里讓新手可以跳過繁瑣的模型搭建把精力集中在算法本身。想動手實踐推薦先安裝依賴見 requirements.txt再按本文的選型準則跑通一次 VanillaKD 實驗。當你親眼看到 ResNet152 的知識被“灌”進 ResNet18 里、精度卻損失無幾時就會真正理解知識蒸餾的魅力所在?！久赓M下載鏈接】KD_LibA Pytorch Knowledge Distillation library for benchmarking and extending works in the domains of Knowledge Distillation, Pruning, and Quantization.項目地址: https://gitcode.com/gh_mirrors/kd/KD_Lib創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 KD_Lib內置模型庫全解析：從LeNet到ResNet152，如何為蒸餾選對師生模型
KD_Lib內置模型庫全解析從LeNet到ResNet152如何為蒸餾選對師生模型【免費下載鏈接】KD_LibA Pytorch Knowledge Distillation library for benchmarking and extending works in the domains of Knowledge Distillation, Pruning, and Quantization.項目地址: https://gitcode.com/gh_mirrors/kd/KD_Lib知識蒸餾Knowledge Distillation是模型壓縮領域最熱門的技巧之一而KD_Lib正是這樣一款基于PyTorch的開源模型壓縮庫它把知識蒸餾、剪枝Pruning和量化Quantization三大方向的經(jīng)典方法打包成開箱即用的API。對新手來說用KD_Lib做蒸餾實驗的第一道坎往往不是算法本身而是“師生模型怎么選”。好消息是KD_Lib內置了一套從LeNet到ResNet152的完整模型庫本文就帶你逐一認識它們并給出選型思路。上圖展示了知識蒸餾里“軟標簽Soft Target”的典型形態(tài)即便教師模型在某個樣本上預測失誤它輸出的概率分布依然攜帶類別間相似性的寶貴信息——這正是學生模型能從小網(wǎng)絡里“偷師”的核心。KD_Lib內置模型庫的代碼統(tǒng)一放在KD_Lib/models/目錄下入口文件是init.py所有模型都能通過一句from KD_Lib.models import ...直接導入。內置模型庫全家福6類網(wǎng)絡一次看全打開KD_Lib/models/__init__.py你會發(fā)現(xiàn)KD_Lib幫你準備好了6大類共9個模型覆蓋了從經(jīng)典CNN到現(xiàn)代殘差網(wǎng)絡再到循環(huán)網(wǎng)絡的完整譜系模型源文件適用場景LeNet / ModLeNetlenet.pyMNIST等小尺寸圖像分類LSTMNetlstm.py文本分類等序列任務NetworkInNetworknin.pyCIFAR等中等圖像分類Shallowshallow.py全連接淺層網(wǎng)絡做學生模型很合適ResNet18/34/50/101/152resnet.py從輕量到超深的圖像分類主力其中 LeNet 和 ModLeNet 是兩兄弟LeNet忠實還原經(jīng)典結構使用平均池化ModLeNet則把池化換成最大池化并加深了全連接層兩者默認都接受 32×32 的3通道輸入img_size32, num_classes10非常適合在 CIFAR 系列數(shù)據(jù)集上直接開跑。而Shallow是一個只有3層全連接層的“迷你學生”參數(shù)少、訓練快是驗證蒸餾收益的絕佳對照組。ResNet家族深度解析18到152該怎么選ResNet 是KD_Lib模型庫里的重頭戲在 resnet.py 中5個版本共用同一個ResNet基類只靠block和num_blocks參數(shù)區(qū)分18/34 使用BasicBlock兩層卷積50/101/152 使用Bottleneck三層瓶頸結構。更貼心的是每個版本都支持三個開關attTrue切換為ResnetWithAT前向傳播時額外返回4個層的注意力特征圖供注意力蒸餾如AT、SP方法使用meanTrue切換為MeanResnet輸出兩個分類頭的預測配合 mean_teacher 類蒸餾方法使用兩者都默認關閉即標準的ResNet前向。所有模型都可以通過一個parameters列表形如[4, 4, 8, 8, 16]自由定制每層通道數(shù)也可以指定num_channel和num_classes適配任意數(shù)據(jù)集。如果你懶得記函數(shù)名源碼里還貼心地準備了一個resnet_book字典resnet_book[50]就能直接拿到 ResNet50 的構造函數(shù)。師生模型選型實戰(zhàn)3條黃金準則在 tests/test_models.py 中可以看到官方推薦的搭配方式學生用小網(wǎng)絡、教師用大網(wǎng)絡。結合KD_Lib內置模型這里給你3條立刻能用的選型準則同族不同深教師用 ResNet152、學生用 ResNet18兩者共享殘差結構蒸餾時特征對齊更容易收斂更快跨族大代差教師用 ResNet50、學生用 Shallow 或 LeNet代差越大越能檢驗蒸餾方法是否真的在“傳遞知識”而非簡單模仿按任務分域文本分類就用 LSTMNet 當師生圖像任務才上 ResNet/NIN別讓模型和任務錯配。官方文檔對每個模型的參數(shù)說明都在 KD_Lib.models.rst 中有完整記錄動手前不妨先翻一翻。5分鐘跑通第一個蒸餾實驗選好模型后接入KD_Lib蒸餾框架只需三步官方教程 VanillaKD.rst 給出了最經(jīng)典的寫法from KD_Lib.KD import VanillaKD from KD_Lib.models import ResNet18, ResNet152 student ResNet18([4, 4, 8, 8, 16], num_channel3, num_classes10) teacher ResNet152([8, 8, 16, 16, 32], num_channel3, num_classes10) distiller VanillaKD(teacher, student, train_loader, test_loader, teacher_optimizer, student_optimizer) distiller.train_teacher(epochs5, plot_lossesTrue) distiller.train_student(epochs5, plot_lossesTrue) distiller.evaluate(teacherFalse)想深入優(yōu)化學生模型的訓練過程還可以參考KD_Lib中路由約束優(yōu)化RCO等進階方法的思路——下圖展示了這類方法如何用教師錨點迭代約束學生網(wǎng)絡幫助它在資源受限時依然逼近教師的性能總結從模型庫出發(fā)快速開啟你的蒸餾之旅KD_Lib把從 LeNet 到 ResNet152 的模型庫、蒸餾/剪枝/量化算法和完整文檔整合在一個倉庫里讓新手可以跳過繁瑣的模型搭建把精力集中在算法本身。想動手實踐推薦先安裝依賴見 requirements.txt再按本文的選型準則跑通一次 VanillaKD 實驗。當你親眼看到 ResNet152 的知識被“灌”進 ResNet18 里、精度卻損失無幾時就會真正理解知識蒸餾的魅力所在?！久赓M下載鏈接】KD_LibA Pytorch Knowledge Distillation library for benchmarking and extending works in the domains of Knowledge Distillation, Pruning, and Quantization.項目地址: https://gitcode.com/gh_mirrors/kd/KD_Lib創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考