簡介本資源是一套基于LSTM的電影評論感情傾向分析Python實現(xiàn)方案面向計算機(jī)相關(guān)專業(yè)正在準(zhǔn)備課程設(shè)計、期末大作業(yè)或畢業(yè)設(shè)計的學(xué)生以及需要項目實戰(zhàn)練習(xí)的學(xué)習(xí)者。項目以IMDB影評數(shù)據(jù)為對象完成從文本預(yù)處理、詞向量訓(xùn)練到LSTM情感二分類建模的完整流程并附帶實踐與作業(yè)手冊可直接作為高分大作業(yè)參考。壓縮包共22個文件約30.85MB包含3個Python源碼文件、2個Markdown說明文檔、1份PDF手冊、1個訓(xùn)練好的模型文件、詞向量模型及詞表配置另有json配置、png結(jié)果圖和arrow格式數(shù)據(jù)集等覆蓋代碼、數(shù)據(jù)、模型與報告全鏈路。目前已有156人學(xué)習(xí)下載。讀者可獲得可運行的訓(xùn)練與推理腳本、模型權(quán)重、實驗圖表和報告文檔便于快速復(fù)現(xiàn)結(jié)果、理解LSTM在情感分析中的落地方式并在此基礎(chǔ)上進(jìn)行參數(shù)調(diào)整與功能擴(kuò)展。1. 電影評論情感分析一份能跑通的 LSTM 畢設(shè)源碼到底長什么樣做課程設(shè)計最怕的不是不會寫代碼而是拿到一份跑不起來的源碼。這份基于 LSTM 的電影評論感情傾向分析項目解壓后目錄結(jié)構(gòu)清晰main.py是入口SimpleNN.py定義了網(wǎng)絡(luò)結(jié)構(gòu)train.py負(fù)責(zé)訓(xùn)練流程model/下存放train_config.json、word2vec.model、word2index.json等訓(xùn)練產(chǎn)物imdb_dataset/里是 train/test 數(shù)據(jù)report.md和實踐與作業(yè)-手冊.pdf則是配套報告與說明文檔。它解決的核心問題很明確給定一段英文影評判斷情感是正面還是負(fù)面。適合正在做 Python 期末大作業(yè)、需要完整訓(xùn)練推理鏈路的學(xué)習(xí)者也適合想搞清楚 LSTM 文本分類工程落地細(xì)節(jié)的熟手。下面我按實際拆包順序把這份資源從環(huán)境配置到訓(xùn)練調(diào)參再到推理驗證的完整路徑講透。2. 環(huán)境搭建與數(shù)據(jù)管線從解壓到第一批 batch 進(jìn)模型2.1 依賴安裝與目錄結(jié)構(gòu)確認(rèn)拿到壓縮包后先別急著python main.py第一步是確認(rèn) Python 版本和依賴。這份源碼用的是經(jīng)典技術(shù)棧PyTorch 做 LSTM 實現(xiàn)gensim 訓(xùn)練 word2vec 詞向量numpy/pandas 做數(shù)據(jù)處理。我一般會先建虛擬環(huán)境再裝依賴避免和系統(tǒng) Python 沖突。# 創(chuàng)建虛擬環(huán)境Python 3.8 兼容性最好 python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate # 安裝核心依賴 pip install torch numpy gensim pandas scikit-learn裝完后檢查目錄重點確認(rèn)三個文件是否存在model/word2index.json詞到索引的映射、model/word2vec.model預(yù)訓(xùn)練詞向量、model/train_config.json訓(xùn)練超參數(shù)。如果這三個文件缺失說明壓縮包不完整需要重新獲取。imdb_dataset/下應(yīng)該有train和test兩個子目錄每個目錄里是正負(fù)樣本的文本文件。提示如果 pip 安裝 torch 速度慢可以換用國內(nèi)鏡像源但不要混用多個源否則容易出現(xiàn)版本沖突。2.2 數(shù)據(jù)加載與詞向量映射邏輯main.py里的數(shù)據(jù)加載部分是整個管線的入口。它做的事情是讀取imdb_dataset下的原始文本用word2index.json把每個詞轉(zhuǎn)成整數(shù)索引再通過word2vec.model加載預(yù)訓(xùn)練向量初始化 embedding 層。這里有個關(guān)鍵參數(shù)max_len控制每條評論截斷或填充后的統(tǒng)一長度。# main.py 中數(shù)據(jù)加載的核心邏輯簡化示意 import json import torch from torch.utils.data import DataLoader, TensorDataset # 加載詞表映射 with open(model/word2index.json, r) as f: word2index json.load(f) def text_to_indices(text, word2index, max_len200): 將評論文本轉(zhuǎn)為索引序列超長截斷不足補0 indices [word2index.get(w, word2index.get(UNK, 0)) for w in text.split()] if len(indices) max_len: return indices[:max_len] return indices [0] * (max_len - len(indices)) # 構(gòu)建 Dataset 和 DataLoader # batch_size 在 train_config.json 中配置常見值為 32 或 64這段代碼的邏輯說明word2index.get(w, word2index.get(UNK, 0))這行是處理未登錄詞的關(guān)鍵——如果某個詞不在詞表里就映射到UNK對應(yīng)的索引如果連UNK都沒有就落到 0。max_len200是經(jīng)驗值IMDB 影評平均長度在 200 詞左右設(shè)太大顯存吃不消設(shè)太小會丟失信息。batch_size從train_config.json讀取我見過不少同學(xué)直接硬編碼在代碼里結(jié)果換數(shù)據(jù)集就翻車這份源碼把它抽到配置文件里是加分項。2.3 訓(xùn)練配置文件的參數(shù)含義train_config.json是調(diào)參的主戰(zhàn)場里面通常包含這些字段參數(shù)名典型值作用embedding_dim100/128詞向量維度需與 word2vec.model 一致hidden_dim128/256LSTM 隱藏層維度越大擬合能力越強(qiáng)但易過擬合num_layers1/2LSTM 層數(shù)影評任務(wù) 1 層通常夠用dropout0.3/0.5防過擬合訓(xùn)練時隨機(jī)丟棄神經(jīng)元batch_size32/64每批樣本數(shù)受顯存限制learning_rate1e-3/1e-4學(xué)習(xí)率Adam 優(yōu)化器下 1e-3 是安全起點epochs10/20訓(xùn)練輪數(shù)配合早停策略使用改這些參數(shù)時有個血淚經(jīng)驗embedding_dim必須和word2vec.model訓(xùn)練時的維度一致否則加載預(yù)訓(xùn)練向量時會報維度不匹配。我一般會先用一個小腳本打印word2vec.model.vector_size確認(rèn)。from gensim.models import Word2Vec model Word2Vec.load(model/word2vec.model) print(f詞向量維度: {model.vector_size}) print(f詞表大小: {len(model.wv)})輸出結(jié)果直接告訴你 embedding_dim 該填多少別憑感覺猜。3. LSTM 模型結(jié)構(gòu)與訓(xùn)練流程SimpleNN.py 里到底寫了什么3.1 LSTM 層的前向傳播與維度變換SimpleNN.py定義了一個繼承自nn.Module的類核心是一個nn.LSTM加一個全連接分類頭。LSTM 處理序列數(shù)據(jù)的邏輯是每個時間步輸入一個詞向量更新細(xì)胞狀態(tài)和隱藏狀態(tài)最后一個時間步的隱藏狀態(tài)作為整條評論的表示送進(jìn)全連接層做二分類。import torch.nn as nn class SimpleNN(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers, dropout): super(SimpleNN, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim, padding_idx0) self.lstm nn.LSTM(embedding_dim, hidden_dim, num_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0) self.fc nn.Linear(hidden_dim, 2) # 二分類正面/負(fù)面 self.dropout nn.Dropout(dropout) def forward(self, x): # x shape: (batch_size, seq_len) embedded self.embedding(x) # (batch, seq_len, embedding_dim) lstm_out, (hidden, cell) self.lstm(embedded) # 取最后一個時間步的隱藏狀態(tài) last_hidden hidden[-1] # (batch, hidden_dim) out self.dropout(last_hidden) return self.fc(out) # (batch, 2)邏輯說明batch_firstTrue讓輸入維度是(batch, seq_len, embedding_dim)符合直覺。padding_idx0告訴 embedding 層索引 0 是填充位不參與梯度更新。hidden[-1]取的是最后一層 LSTM 在最后一個時間步的隱藏狀態(tài)——注意不是lstm_out[:, -1, :]兩者在單向 LSTM 下等價但多層時hidden[-1]更明確。dropout只在num_layers 1時傳給 LSTM因為 PyTorch 對單層 LSTM 加 dropout 會警告。3.2 訓(xùn)練循環(huán)與損失函數(shù)選擇train.py里的訓(xùn)練循環(huán)是標(biāo)準(zhǔn)寫法前向傳播、計算損失、反向傳播、優(yōu)化器更新。損失函數(shù)用CrossEntropyLoss優(yōu)化器用Adam。import torch import torch.nn as nn from torch.optim import Adam # 初始化模型和優(yōu)化器 model SimpleNN(vocab_sizelen(word2index), embedding_dim128, hidden_dim256, num_layers1, dropout0.3) criterion nn.CrossEntropyLoss() optimizer Adam(model.parameters(), lr1e-3) # 訓(xùn)練循環(huán) for epoch in range(epochs): model.train() total_loss 0 for batch_x, batch_y in train_loader: optimizer.zero_grad() logits model(batch_x) loss criterion(logits, batch_y) loss.backward() # 梯度裁剪防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() print(fEpoch {epoch1}, Loss: {total_loss/len(train_loader):.4f})參數(shù)說明clip_grad_norm_的max_norm5.0是 LSTM 訓(xùn)練的常見保護(hù)措施梯度超過這個閾值就被縮放避免梯度爆炸導(dǎo)致 loss 變 NaN。optimizer.zero_grad()必須在loss.backward()之前調(diào)用否則梯度會累加。我見過有同學(xué)把zero_grad寫在backward后面結(jié)果訓(xùn)練 loss 不降反升排查半天才發(fā)現(xiàn)是梯度累積問題。3.3 驗證集評估與模型保存訓(xùn)練過程中需要定期在驗證集上評估避免過擬合。評估時用model.eval()切換 dropout 和 batch norm 的行為并用torch.no_grad()關(guān)閉梯度計算節(jié)省顯存。def evaluate(model, data_loader): model.eval() correct, total 0, 0 with torch.no_grad(): for batch_x, batch_y in data_loader: logits model(batch_x) preds torch.argmax(logits, dim1) correct (preds batch_y).sum().item() total batch_y.size(0) return correct / total # 每個 epoch 后在驗證集上評估 val_acc evaluate(model, val_loader) print(fValidation Accuracy: {val_acc:.4f}) # 保存最佳模型 if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), model/best_model.pt)torch.argmax(logits, dim1)取的是兩個類別中概率較大的那個索引0 代表負(fù)面、1 代表正面具體映射要看標(biāo)簽編碼方式。保存state_dict()而不是整個模型加載時先實例化模型再load_state_dict()這樣代碼結(jié)構(gòu)更清晰。4. 推理與可視化把訓(xùn)練好的模型用起來4.1 單條評論預(yù)測的完整流程訓(xùn)練完成后用main.py里的推理接口對任意英文影評做情感判斷。流程是文本預(yù)處理 → 轉(zhuǎn)索引 → 送模型 → 取 argmax。def predict(text, model, word2index, max_len200): model.eval() indices text_to_indices(text, word2index, max_len) tensor torch.tensor([indices], dtypetorch.long) with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim1) pred torch.argmax(prob, dim1).item() label 正面 if pred 1 else 負(fù)面 confidence prob[0][pred].item() return label, confidence # 測試 text This movie is absolutely fantastic, the acting is superb. print(predict(text, model, word2index))torch.softmax把 logits 轉(zhuǎn)成概率分布prob[0][pred]取預(yù)測類別的置信度。如果置信度低于 0.6說明模型對這條評論不太確定可能是文本里有反諷或混合情感實際使用時可以加一個閾值判斷。4.2 訓(xùn)練曲線與結(jié)果圖解讀img/目錄下有img.png到img3.png以及res.png這些是訓(xùn)練過程的可視化結(jié)果。常見的是 loss 曲線和 accuracy 曲線。看 loss 曲線時關(guān)注兩點訓(xùn)練 loss 是否穩(wěn)定下降、驗證 loss 是否在某個 epoch 后開始上升。如果驗證 loss 上升而訓(xùn)練 loss 繼續(xù)下降說明過擬合了需要增大 dropout 或減少 epochs。res.png通常是混淆矩陣或分類報告的可視化?；煜仃嚹芸闯瞿Ｐ驮谡婧拓?fù)面樣本上的誤判分布——如果負(fù)面樣本被大量誤判為正面可能是訓(xùn)練集里負(fù)面樣本太少需要檢查數(shù)據(jù)平衡性。注意如果 img 目錄下的圖片打不開或顯示異常先確認(rèn)是不是用相對路徑引用的。有些源碼在 report.md 里用引用但實際目錄層級不對需要手動調(diào)整路徑。5. 避坑與常見問題排查那些讓你卡半天的細(xì)節(jié)5.1 詞向量維度不匹配導(dǎo)致加載失敗現(xiàn)象運行main.py時報RuntimeError: size mismatch for embedding.weight提示維度不一致。原因train_config.json里的embedding_dim和word2vec.model訓(xùn)練時的vector_size不一致。常見于手動改過配置但忘了同步詞向量文件。解決用前面提到的腳本打印word2vec.model.vector_size把embedding_dim改成相同值。如果詞向量文件本身損壞需要重新訓(xùn)練或從備份恢復(fù)。5.2 顯存不足導(dǎo)致訓(xùn)練中斷現(xiàn)象訓(xùn)練到一半報CUDA out of memory或者程序直接被 kill。原因batch_size或max_len設(shè)得太大或者h(yuǎn)idden_dim過高。LSTM 的顯存占用和batch_size × seq_len × hidden_dim成正比。解決先把batch_size減半試試如果還不行就降低max_len比如從 200 降到 150最后才考慮減小hidden_dim。另外檢查是不是在 CPU 上跑——CPU 訓(xùn)練大模型也會內(nèi)存不足加--device cpu或--device cuda明確指定設(shè)備。5.3 損失不下降或變?yōu)?NaN現(xiàn)象訓(xùn)練幾個 epoch 后 loss 一直是 0.693二分類的隨機(jī)水平或者突然變成 NaN。原因?qū)W習(xí)率太大導(dǎo)致梯度爆炸或者數(shù)據(jù)里有空文本導(dǎo)致除零。也有可能是標(biāo)簽編碼反了——正面標(biāo)成 0、負(fù)面標(biāo)成 1但模型輸出層沒對應(yīng)調(diào)整。解決先把學(xué)習(xí)率降到 1e-4 試試加上梯度裁剪clip_grad_norm_。檢查數(shù)據(jù)加載部分有沒有過濾掉空字符串。確認(rèn)標(biāo)簽映射打印幾條樣本的batch_y看看正負(fù)樣本的標(biāo)簽值是否和預(yù)期一致。5.4 推理時預(yù)測結(jié)果全是同一類現(xiàn)象不管輸入什么評論模型都輸出“正面”或都輸出“負(fù)面”。原因訓(xùn)練集類別極度不平衡或者模型根本沒學(xué)到東西欠擬合。也可能是推理時model.eval()忘了調(diào)用dropout 還在隨機(jī)丟棄神經(jīng)元。解決先檢查訓(xùn)練集正負(fù)樣本比例如果偏差太大需要重采樣或加類別權(quán)重。確認(rèn)推理代碼里有model.eval()。如果訓(xùn)練 loss 本身就沒降下來回到 5.3 排查訓(xùn)練問題。5.5 report.md 里的路徑引用錯誤現(xiàn)象用 Markdown 預(yù)覽器打開report.md時圖片顯示不出來或者 PDF 手冊里的代碼和實際源碼對不上。原因報告是在不同目錄結(jié)構(gòu)下寫的圖片相對路徑和當(dāng)前解壓后的路徑不一致。PDF 手冊可能是早期版本和源碼有細(xì)微差異。解決以源碼為準(zhǔn)報告作為參考。圖片路徑手動改成img/xxx.png或絕對路徑。如果 PDF 和源碼沖突優(yōu)先信源碼——畢竟代碼能跑通才是硬道理。6. 進(jìn)階技巧用預(yù)訓(xùn)練詞向量微調(diào)提升小數(shù)據(jù)集表現(xiàn)這份源碼默認(rèn)用 word2vec 靜態(tài)詞向量embedding 層在訓(xùn)練時也會更新。但在數(shù)據(jù)量不大時比如只有幾千條評論凍結(jié) embedding 層或者用更小的學(xué)習(xí)率微調(diào)往往比全量更新效果更好。我一般會這樣做先把embedding.weight.requires_grad設(shè)為False只訓(xùn)練 LSTM 和全連接層跑幾個 epoch 后再解凍做微調(diào)。# 凍結(jié) embedding 層 model.embedding.weight.requires_grad False # 只優(yōu)化 LSTM 和 FC 參數(shù) optimizer Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3) # 訓(xùn)練幾個 epoch 后解凍 for epoch in range(5): train_one_epoch(model, train_loader, optimizer, criterion) model.embedding.weight.requires_grad True optimizer Adam(model.parameters(), lr1e-4) # 微調(diào)時用更小學(xué)習(xí)率 for epoch in range(5, 10): train_one_epoch(model, train_loader, optimizer, criterion)這個策略的好處是前期凍結(jié) embedding 防止隨機(jī)初始化的分類頭把預(yù)訓(xùn)練詞向量帶偏后期小學(xué)習(xí)率微調(diào)讓詞向量適應(yīng)具體任務(wù)。實測在 IMDB 子集上能提升 2~3 個百分點的驗證準(zhǔn)確率。另一個技巧是調(diào)整max_len的截斷策略。默認(rèn)是從頭截斷取前 200 個詞但影評的關(guān)鍵情感詞往往在結(jié)尾。改成從尾部截斷或者取頭尾各 100 詞拼接有時效果更好。具體哪種策略更優(yōu)得在驗證集上試——沒有放之四海而皆準(zhǔn)的答案。驗證模型是否真的學(xué)到了東西我習(xí)慣用幾個“對抗樣本”測試把明顯正面的評論加個否定詞“not good”看模型能不能翻轉(zhuǎn)為負(fù)面。如果翻轉(zhuǎn)失敗說明模型可能只是記住了關(guān)鍵詞而不是理解語義。這時候可以考慮加注意力機(jī)制但那就是另一個話題了。從那以后我每次拿到文本分類源碼都強(qiáng)制先跑一遍小樣本過擬合測試取 100 條數(shù)據(jù)看模型能不能在 50 個 epoch 內(nèi)把訓(xùn)練準(zhǔn)確率拉到 95% 以上。如果連過擬合都做不到說明模型結(jié)構(gòu)或數(shù)據(jù)管線有問題調(diào)參也是白調(diào)。希望幫到你。本文還有配套的精品資源點擊獲取