實戰(zhàn))
各位讀者朋友大家好今天整理一篇實戰(zhàn)型的硬核內(nèi)容基于 YOLOv8 / YOLOv5 與 PySide6 構建的摔倒檢測與跌倒識別系統(tǒng)。之前在做實驗室安全監(jiān)控和養(yǎng)老院看護場景項目時摔倒檢測是個出現(xiàn)頻率特別高的需求。市面上很多方案要么是純算法研究、不接地氣要么是商業(yè)套殼、可定制性太差。自己動手用 YOLOv8 PySide6 搭一套既能跑通模型訓練閉環(huán)又能做出帶界面、帶報警、帶錄像回放的真實系統(tǒng)非常適合做畢設、課設、項目實戰(zhàn)或生產(chǎn)原型。這篇文章會從需求分析、技術選型、環(huán)境配置、數(shù)據(jù)集制作、模型訓練、界面開發(fā)、實時檢測到打包發(fā)布完整梳理一套可落地的摔倒檢測系統(tǒng)。代碼均為可復用的工程化寫法你在自己的項目里可以直接改改路徑和參數(shù)運行。1. 摔倒檢測系統(tǒng)到底在解決什么問題1.1 什么是摔倒檢測摔倒檢測也叫跌倒識別、跌倒檢測屬于計算機視覺中目標檢測與行為識別交叉的一個具體應用方向。它的核心任務很簡單從視頻幀或圖像序列中判斷“人是否發(fā)生了摔倒”并在發(fā)生摔倒時產(chǎn)生告警。人體的摔倒過程通常有比較明顯的空間特征人體姿態(tài)從直立迅速變?yōu)樗交蚪咏饺梭w輪廓的寬高比發(fā)生劇烈變化運動速度在短時間內(nèi)驟增之后長時間保持靜止。這些特征在目標檢測模型上的體現(xiàn)就是檢測框的寬高比會在很短時間內(nèi)從“高瘦”變?yōu)椤鞍帧辈⑶胰梭w檢測框的中心點會發(fā)生快速位移。1.2 為什么選用 YOLOv8 / YOLOv5 來做摔倒檢測摔倒檢測本質上是一個目標檢測 狀態(tài)分類問題。雖然也可以用姿態(tài)估計加規(guī)則判斷但對算力要求高、部署復雜。而 YOLO 系列檢測模型結構簡單、推理速度快、訓練生態(tài)成熟非常適合做單階段的摔倒狀態(tài)識別。YOLOv5 的優(yōu)勢是社區(qū)資料多、穩(wěn)定性好、部署方案豐富很多老項目和嵌入式設備都在用。YOLOv8 在 YOLOv5 的基礎上進一步改進了骨干網(wǎng)絡和檢測頭在精度與推理速度的平衡上表現(xiàn)更好而且默認支持旋轉目標檢測、實例分割、姿態(tài)估計等多種任務。兩個模型的訓練方式和代碼結構比較接近因此我們通常把訓練、驗證、導出流程統(tǒng)一封裝模型可以隨時切換。1.3 摔倒檢測的典型應用場景智慧養(yǎng)老獨居老人、養(yǎng)老院房間內(nèi)跌倒檢測發(fā)生異常時自動通知護理人員。工業(yè)安全工廠車間、建筑工地人員跌倒檢測。醫(yī)療監(jiān)護病房、康復中心患者跌倒檢測。公共場所安全地鐵站、商場、衛(wèi)生間等區(qū)域跌倒檢測。家庭安防家用攝像頭結合本地算力盒子的跌倒報警。從這些場景可以看出摔倒檢測項目除了模型訓練之外還要求系統(tǒng)做到本地化運行、界面可視化、報警聯(lián)動。這也是本文選擇 PySide6 做上位機的原因。2. 系統(tǒng)總體架構與識別流程2.1 系統(tǒng)整體架構整個摔倒檢測系統(tǒng)可以拆成四個層數(shù)據(jù)層、模型層、應用層、報警層。數(shù)據(jù)層負責視頻流接入支持本地視頻文件、攝像頭 RTSP/RTMP 流、USB 攝像頭。模型層使用 YOLOv8/YOLOv5 訓練好的摔倒檢測模型對每一幀畫面進行推理輸出檢測框和摔倒置信度。應用層是 PySide6 編寫的桌面程序負責視頻解碼、模型推理調度、界面展示、檢測結果標注。報警層在檢測到摔倒時觸發(fā)報警音、彈窗、截圖保存和錄像保存。在工程實現(xiàn)上我們把模型推理納入單獨線程避免阻塞 PySide6 的 Qt 事件循環(huán)防止界面卡死。2.2 摔倒檢測識別流程整個系統(tǒng)執(zhí)行流程如下讀取視頻幀OpenCV 的 VideoCapture 負責。對畫面做必要預處理如縮放、歸一化。送入 YOLOv8/YOLOv5 模型推理得到檢測框坐標、類別、置信度。根據(jù)類別判斷檢測框是否屬于摔倒類別。額外驗證檢測框的寬高比、停留時間、置信度降低誤報率。如果在連續(xù)多幀中均判定為摔倒觸發(fā)報警并保存證據(jù)圖片和錄像。在 PySide6 界面中繪制檢測框和狀態(tài)信息。2.3 為什么要加幀間判定與目標跟蹤簡單按單幀檢測框來做摔倒報警誤報率會很高。因為人下蹲、彎腰撿東西時人體框的寬高比也會有短時變化。更穩(wěn)的思路是加入幀間邏輯對檢測到的目標進行輕量級跟蹤例如基于 IoU 的簡單關聯(lián)或引入 ByteTrack統(tǒng)計目標在連續(xù) N 幀中的狀態(tài)。如果目標框在超過一定幀數(shù)內(nèi)保持摔倒狀態(tài)才觸發(fā)報警這樣可以過濾掉大部分瞬時姿態(tài)變化造成的誤報。3. 開發(fā)環(huán)境準備與依賴安裝3.1 環(huán)境版本說明不同版本環(huán)境可能導致模型權重不兼容、算子導出失敗所以先做一個版本說明。本文以 Python 3.8/3.9 環(huán)境為例PySide6 建議使用 6.x 版本YOLOv8 使用 ultralytics 庫YOLOv5 使用官方倉庫代碼。具體版本不寫死因為你的 CUDA 版本、顯卡驅動和 Python 版本不同安裝結果會有差異。如果你的顯卡是 GTX 1660 Ti、RTX 3060 等普通消費級顯卡建議使用 CUDA 11.8 cuDNN 8.x顯存 6G 以上可以正常訓練 YOLOv8s、YOLOv5s 等小模型。3.2 安裝依賴建議使用虛擬環(huán)境管理依賴避免污染系統(tǒng) Python。conda create -n fall_detection python3.9 conda activate fall_detection安裝 PyTorch 時根據(jù)你的顯卡選擇對應版本。這里以 CUDA 11.8 為例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118安裝 YOLOv8 官方庫pip install ultralytics安裝界面開發(fā)和視頻處理相關庫pip install pyside6 opencv-python numpy pyyaml pip install pyinstaller驗證安裝結果python -c import torch, cv2, PySide6, ultralytics; print(env ok)如果輸出env ok說明環(huán)境基本可用。3.3 YOLOv5 / YOLOv8 的安裝區(qū)別YOLOv8 通過ultralytics包直接調用不需要手動 clone 倉庫代碼集成度更高。YOLOv5 是傳統(tǒng)倉庫形式需要下載源碼git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果后續(xù)訓練腳本需要兼容兩個模型建議在工程中封裝模型加載函數(shù)分別處理兩種模型的前向推理輸出格式。4. 數(shù)據(jù)集收集與標注4.1 摔倒檢測數(shù)據(jù)集的來源方式訓練摔倒檢測模型數(shù)據(jù)是核心。數(shù)據(jù)集通常有三種來源第一是公開數(shù)據(jù)集常用的有 Le2i Fall Detection Dataset、UR Fall Detection Dataset、Multiple Cameras Fall Dataset很多論文和開源項目都在使用。使用公開數(shù)據(jù)集時建議先檢查標注格式轉換為 YOLO 格式后用于訓練。第二是自行拍攝在實驗室或實際場景中模擬摔倒動作用手機或監(jiān)控攝像頭錄制視頻然后抽幀標注。模擬場景時可以覆蓋正面摔倒、側面摔倒、從椅子上滑落等不同角度。第三是網(wǎng)絡圖片爬取但在使用時要注意版權和個人隱私不建議大規(guī)模使用。4.2 視頻抽幀生成圖片如果原始數(shù)據(jù)是視頻需要先把視頻轉成圖片。下面是一個抽幀工具腳本。# tools/extract_frames.py import cv2 import os def extract_frames(video_path, output_dir, interval10): os.makedirs(output_dir, exist_okTrue) cap cv2.VideoCapture(video_path) frame_id 0 saved_id 0 while True: ret, frame cap.read() if not ret: break if frame_id % interval 0: out_path os.path.join(output_dir, fframe_{saved_id:06d}.jpg) cv2.imwrite(out_path, frame) saved_id 1 frame_id 1 cap.release() print(ftotal frames: {frame_id}, saved images: {saved_id}) if __name__ __main__: extract_frames( video_pathdata/source_fall_video.mp4, output_dirdata/images/train, interval5, )抽幀間隔建議根據(jù)視頻幀率調整一般每秒抽 2-5 幀即可。如果抽幀太密相鄰圖片相似度太高容易造成訓練集冗余。4.3 使用 LabelImg 或 LabelStudio 標注YOLO 格式的標注文件是 txt 文件每行表示一個目標class_id center_x center_y width height其中center_x、center_y、width、height都是相對于圖片寬度和高度的歸一化值。標注時建議定義兩類目標normal正常站立/行走和fall摔倒。也可以只標注摔倒目標然后訓練一個單類別檢測器。LabelImg 是輕量級標注工具適合圖片標注。LabelStudio 支持視頻標注、多人協(xié)作適合較大的團隊項目。標注完成后一個典型的 YOLO 數(shù)據(jù)集目錄結構如下fall_dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/在images/train和labels/train下每張圖片對應一個同名 txt 文件。4.4 數(shù)據(jù)集增強摔倒檢測場景中正樣本摔倒往往比負樣本正常狀態(tài)少?？梢酝ㄟ^以下方式擴充數(shù)據(jù)對圖片做左右翻轉。調整亮度、對比度、飽和度。隨機裁剪。Mosaic 增強YOLOv5/YOLOv8 內(nèi)置支持。在訓練配置中開啟 Mosaic 可以顯著提升模型對遮擋和密集場景的魯棒性。5. YOLOv8 模型訓練與驗證5.1 構建數(shù)據(jù)配置文件在 Ultralytics YOLOv8 中訓練數(shù)據(jù)需要一個 YAML 文件來定義數(shù)據(jù)集路徑和類別。# config/fall_dataset.yaml path: E:/fall_detection_project/dataset/fall_dataset train: images/train val: images/val nc: 2 names: 0: normal 1: fall注意path字段需要改成你自己的實際路徑建議使用絕對路徑避免訓練時找不到數(shù)據(jù)。5.2 編寫統(tǒng)一訓練腳本為了讓 YOLOv5 和 YOLOv8 可以共用一套訓練入口我們簡單封裝一個訓練腳本。這里先展示 YOLOv8 的訓練方式。# tools/train_yolov8.py from ultralytics import YOLO def train_yolov8(): model YOLO(yolov8s.pt) model.train( dataconfig/fall_dataset.yaml, epochs100, imgsz640, batch16, device0, workers4, lr00.01, patience20, projectruns/train, namefall_det_yolov8s, pretrainedTrue, optimizerauto, ) if __name__ __main__: train_yolov8()訓練時的參數(shù)說明epochs訓練輪數(shù)數(shù)據(jù)集在幾百張圖片時可以設到 150-200 輪但需要配合早停機制。imgsz輸入圖片尺寸640 是默認值小顯存可以降到 512。batch批大小GTX 1660 Ti 6G 顯存建議設為 8-16。device顯卡編號CPU 訓練則填cpu。patience早停耐心值驗證集指標連續(xù)多少輪不提升就停止訓練。5.3 使用 YOLOv5 訓練摔倒檢測模型如果你希望使用 YOLOv5 倉庫訓練進入克隆好的 yolov5 目錄后執(zhí)行python train.py \ --data config/fall_dataset.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --device 0 \ --project runs/train \ --name fall_det_yolov5sYOLOv5 的 data yaml 與 YOLOv8 略有不同可以參考yolov5/data/coco128.yaml的格式修改。5.4 YOLOv8 增量訓練方法如果你已經(jīng)有一個訓練好的摔倒檢測模型希望在新增數(shù)據(jù)集上繼續(xù)訓練YOLOv8 提供了增量訓練能力。做法是加載上一個訓練任務產(chǎn)出的 best.pt 權重然后在舊數(shù)據(jù)和新數(shù)據(jù)的合并集上繼續(xù)訓練。model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) model.train( dataconfig/fall_dataset_v2.yaml, epochs50, imgsz640, batch16, resumeFalse, )增量訓練是實際項目中非常重要的能力。因為采集到更多真實場景數(shù)據(jù)后直接重新訓練會丟失已學到的知識而在舊權重基礎上繼續(xù)訓練既保留原有檢測能力又逐步適應新場景。5.5 損失函數(shù)曲線與訓練結果分析訓練完成后在runs/train/fall_det_yolov8s/目錄下會生成results.png包含了訓練過程中的損失曲線、精度、召回率、mAP 等指標。針對摔倒檢測任務重點關注兩個指標mAP0.5在 IoU 閾值為 0.5 時的平均精度均值如果數(shù)據(jù)集中摔倒目標較小需要關注該值是否達到 0.85 以上。Recall摔倒樣本的召回率如果召回率過低說明很多摔倒目標被漏檢這在實際場景中非常危險。還可以在訓練工具中增加自定義繪制腳本把每輪的損失值畫成更清晰的曲線圖。5.6 模型驗證與推理測試訓練完成后用驗證集評估模型效果from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) metrics model.val(dataconfig/fall_dataset.yaml, splitval) print(metrics.box.map50) print(metrics.box.map)然后用測試視頻做一次快速推理from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) results model.predict( sourcedata/test_fall_video.mp4, conf0.4, iou0.5, saveTrue, projectruns/detect, nametest_fall, )這里conf0.4的含義是只有置信度超過 0.4 的檢測框才會被保留。在實際項目中這個閾值需要根據(jù)誤報和漏報的接受程度進行調優(yōu)。6. PySide6 上位機界面開發(fā)6.1 PySide6 與 PySide 的區(qū)別PySide6 是 Qt for Python 的官方版本對應 Qt 6 版本。PySide 是老稱呼PySide2 對應 Qt 5PySide6 對應 Qt 6。兩者 API 接近但 PySide6 更新、對新 Python 版本支持更好所以新項目建議直接使用 PySide6。很多初學者會混淆 PySide6、PyQt5、PyQt6 這幾個庫。它們的底層都是 Qt區(qū)別在于授權協(xié)議和 API 風格。PySide6 是 LGPL 協(xié)議相對寬松適合做工具軟件。6.2 界面功能設計摔倒檢測系統(tǒng)界面需要展示實時視頻畫面、檢測結果并提供操作按鈕。我們設計的界面包含以下功能模塊視頻顯示區(qū)域展示原始畫面和檢測框繪制結果。操作按鈕打開視頻、打開攝像頭、開始檢測、停止檢測。狀態(tài)信息欄顯示當前檢測狀態(tài)、FPS、檢測目標數(shù)量。報警信息區(qū)顯示最近一次報警時間、保存的截圖路徑。統(tǒng)計信息當天報警次數(shù)、累計摔倒次數(shù)。參數(shù)配置置信度閾值、報警間隔、是否保存錄像。6.3 創(chuàng)建主窗口框架下面是一個簡潔但完整的 PySide6 主窗口示例。# ui/main_window.py import sys from PySide6.QtWidgets import QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QFileDialog, QMessageBox, QLineEdit, QSpinBox from PySide6.QtCore import Qt, QTimer from PySide6.QtGui import QImage, QPixmap class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(摔倒檢測跌倒識別系統(tǒng)) self.resize(1024, 720) self.video_label QLabel(視頻將在播放后顯示) self.video_label.setAlignment(Qt.AlignmentFlag.AlignCenter) self.video_label.setStyleSheet(background-color: #1e1e1e; color: #cccccc;) self.btn_open_video QPushButton(打開視頻) self.btn_open_camera QPushButton(打開攝像頭) self.btn_start QPushButton(開始檢測) self.btn_stop QPushButton(停止檢測) layout_control QHBoxLayout() layout_control.addWidget(self.btn_open_video) layout_control.addWidget(self.btn_open_camera) layout_control.addWidget(self.btn_start) layout_control.addWidget(self.btn_stop) self.status_label QLabel(狀態(tài)未啟動) self.fps_label QLabel(FPS0) layout_info QHBoxLayout() layout_info.addWidget(self.status_label) layout_info.addStretch() layout_info.addWidget(self.fps_label) self.msg_label QLabel(報警信息無) layout_msg QHBoxLayout() layout_msg.addWidget(self.msg_label) main_layout QVBoxLayout() main_layout.addWidget(self.video_label) main_layout.addLayout(layout_control) main_layout.addLayout(layout_info) main_layout.addLayout(layout_msg) container QWidget() container.setLayout(main_layout) self.setCentralWidget(container) self._init_components() def _init_components(self): self.video_path None self.camera_index 0 self.timer QTimer() self.timer.timeout.connect(self.update_frame) def update_frame(self): pass這是一個基礎窗口后續(xù)我們會把視頻讀取和模型推理集成進來。6.4 使用 QLineEdit 配置信度閾值和報警間隔界面需要開放參數(shù)調節(jié)功能例如置信度閾值、報警去重時間。我們可以在界面下方加入一行參數(shù)配置框。在_init_components方法中增加配置組件self.conf_label QLabel(置信度閾值:) self.conf_edit QLineEdit(0.45) self.conf_edit.setFixedWidth(80) self.interval_label QLabel(報警間隔(s):) self.interval_edit QLineEdit(5) self.interval_edit.setFixedWidth(80) layout_param QHBoxLayout() layout_param.addWidget(self.conf_label) layout_param.addWidget(self.conf_edit) layout_param.addWidget(self.interval_label) layout_param.addWidget(self.interval_edit) layout_param.addStretch()在主布局中把layout_param加入即可。這里使用QLineEdit接收用戶輸入。實際操作中我們應該對用戶輸入做校驗比如判斷輸入是否為浮點數(shù)避免程序崩潰。def get_conf_threshold(self): try: val float(self.conf_edit.text()) if 0 val 1: return val else: raise ValueError(閾值范圍必須為 (0, 1]) except ValueError as e: QMessageBox.warning(self, 參數(shù)錯誤, str(e)) return 0.45這個組件在實際項目中經(jīng)常被問到“PySide6 QLineEdit 是否輸入”的問題本質就是校驗輸入內(nèi)容是否合法。7. 攝像頭實時檢測與報警聯(lián)動7.1 視頻處理線程設計在 PySide6 中如果在主線程直接讀取攝像頭視頻流和模型推理會導致界面卡頓。正確做法是使用子線程完成視頻讀取與推理再通過信號把處理后的畫面?zhèn)鬟f回主線程。我們用QThread來寫視頻處理線程。# core/detect_thread.py import cv2 import numpy as np from PySide6.QtCore import QThread, Signal from ultralytics import YOLO class DetectThread(QThread): frame_ready Signal(np.ndarray) detec_result Signal(int, float) error_msg Signal(str) def __init__(self, model_path, conf_threshold0.45, interval5, parentNone): super().__init__(parent) self.model_path model_path self.conf_threshold conf_threshold self.interval interval self.running False self.model None self.cap None def load_model(self): self.model YOLO(self.model_path) def set_video_source(self, source): self.source source def stop(self): self.running False def run(self): self.running True self.cap cv2.VideoCapture(self.source) if not self.cap.isOpened(): self.error_msg.emit(無法打開視頻源) return while self.running: ret, frame self.cap.read() if not ret: break results self.model.predict( frame, confself.conf_threshold, imgsz640, verboseFalse, ) annotated results[0].plot() self.frame_ready.emit(annotated) fall_count 0 for r in results: boxes r.boxes if boxes is not None: for box in boxes: cls int(box.cls[0]) if self.model.names[cls] fall: fall_count 1 self.detec_result.emit(fall_count, self.conf_threshold) self.cap.release()在這個線程中frame_ready信號把繪制好的圖像傳回主界面detec_result信號把摔倒目標數(shù)量傳給主界面更新報警信息。7.2 報警邏輯實現(xiàn)實際部署時需要把“單幀檢測到摔倒”升級為“連續(xù)幀確認摔倒”。可以在DetectThread內(nèi)部維護一個計數(shù)器。self.fall_candidate_count 0 self.fall_trigger_frame 10如果當前幀檢測到摔倒目標則計數(shù)器加 1否則計數(shù)器清零或者減 1。當計數(shù)器超過閾值就觸發(fā)一次報警。這樣可以過濾掉因為彎腰、蹲下等動作產(chǎn)生的瞬時誤報。觸發(fā)報警后要控制報警頻率。假設用戶設置報警間隔為 5 秒那么與上次報警時間小于 5 秒時不再重復報警防止同一摔倒事件刷屏。import time self.last_alert_time 0 def maybe_alert(self): now time.time() if now - self.last_alert_time self.interval: self.last_alert_time now self.alert_signal.emit(檢測到摔倒行為!)7.3 報警截圖與錄像保存發(fā)生報警時除了界面提示外還應該保存現(xiàn)場圖片和錄像片段。截圖保存比較簡單保存當前幀為 JPEG 文件即可def save_snapshot(self, frame, save_diralerts): from datetime import datetime os.makedirs(save_dir, exist_okTrue) ts datetime.now().strftime(%Y%m%d_%H%M%S) path os.path.join(save_dir, ffall_{ts}.jpg) cv2.imwrite(path, frame) return path錄像保存建議使用 OpenCV 的 VideoWriter。在報警觸發(fā)后記錄接下來 10-15 秒的視頻。fourcc cv2.VideoWriter_fourcc(*mp4v) writer cv2.VideoWriter(fall_alert.mp4, fourcc, 20.0, (width, height))注意在 PySide6 中頻繁進行磁盤寫入會阻塞線程建議把保存操作放到獨立隊列或使用異步方式。7.4 主界面接入檢測線程在主窗口打開視頻時創(chuàng)建DetectThread并連接信號。# ui/main_window.py 部分代碼補充 from core.detect_thread import DetectThread def open_video(self): file_path, _ QFileDialog.getOpenFileName( self, 選擇視頻文件, , 視頻文件 (*.mp4 *.avi *.mov *.mkv) ) if file_path: self.thread DetectThread( model_pathmodels/best.pt, conf_thresholdself.get_conf_threshold(), intervalint(self.interval_edit.text()) ) self.thread.set_video_source(file_path) self.thread.load_model() self.thread.frame_ready.connect(self.show_frame) self.thread.detec_result.connect(self.update_status) self.thread.error_msg.connect(self.show_error) self.thread.start() self.status_label.setText(狀態(tài)檢測中) def show_frame(self, frame): frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch frame.shape bytes_per_line ch * w image QImage(frame.data, w, h, bytes_per_line, QImage.Format.Format_RGB888) self.video_label.setPixmap(QPixmap.fromImage(image).scaled( self.video_label.size(), Qt.AspectRatioMode.KeepAspectRatio, Qt.TransformationMode.SmoothTransformation, ))這樣點擊“打開視頻”后就能在界面中看到實時檢測結果。8. 項目啟動入口與打包發(fā)布8.1 編寫 main.py 啟動文件我們把模型加載、界面創(chuàng)建、線程管理統(tǒng)一在一個入口中。# main.py import sys from PySide6.QtWidgets import QApplication from ui.main_window import MainWindow def main(): app QApplication(sys.argv) window MainWindow() window.show() sys.exit(app.exec()) if __name__ __main__: main()為了減少每次啟動加載模型的等待時間可以在MainWindow初始化時預加載模型再在打開視頻時把模型權重傳入檢測線程。8.2 使用 PyInstaller 打包為 exePySide6 和 ultralytics 的依賴較多打包時要注意隱藏文件和資源文件。建議使用 PyInstaller 的 spec 文件配置資源pyinstaller main.spec簡單時也可以直接使用命令行pyinstaller -w main.py --name FallDetect \ --hidden-import ultralytics.nn.modules \ --add-data models/best.pt;models \ --add-data config/fall_dataset.yaml;config注意--add-data把模型權重和配置文件打包進 exe 的同級目錄。-w表示不顯示控制臺窗口也就是 GUI 模式。如果在 Windows 上打包后運行提示找不到ultralytics相關模塊需要補充 hidden-import。可以把整個ultralytics包復制到項目目錄直接用相對路徑導入減少打包問題。8.3 模型導出為 ONNX 加速推理如果部署環(huán)境沒有 PyTorch或者希望用 OpenVINO、TensorRT 加速可以將模型導出為 ONNX 格式model.export(formatonnx, imgsz640)導出完成后可以使用 OpenCV 的 DNN 模塊或 ONNX Runtime 加載模型推理速度通常比原始 PyTorch 更快適合嵌入式設備部署。import onnxruntime as ort session ort.InferenceSession(models/best.onnx, providers[CPUExecutionProvider])在 OpenVINO 環(huán)境下的 Intel CPU 推理速度提升尤其明顯。9. 常見問題與排查思路9.1 環(huán)境安裝相關問題現(xiàn)象常見原因解決思路PySide6 安裝失敗Python 版本過低或過高使用 Python 3.8-3.11 并重新安裝torch 安裝后 GPU 不可用CUDA 版本與 PyTorch 不匹配執(zhí)行torch.cuda.is_available()檢查按顯卡驅動選擇合適 CUDAultralytics 導入報錯依賴沖突重新創(chuàng)建虛擬環(huán)境并按順序安裝GTX 1660 Ti 運行 YOLOv8 很慢沒有使用 GPU 推理或顯存不足設置device0調小imgsz和batch9.2 訓練與推理相關問題問題現(xiàn)象常見原因解決思路訓練時很快停止patience設置太小或學習率設置不合理調大patience使用自動學習率優(yōu)化器檢測框置信度普遍偏低輸入圖像模糊或目標太小提高標注質量增加樣本數(shù)量摔倒類別漏檢較多正樣本數(shù)據(jù)不充足做更多翻轉、旋轉增強或收集更多摔倒樣本程序界面卡頓在 Qt 主線程執(zhí)行了推理使用 QThread 子線程處理推理模型對正常彎腰誤判為摔倒只依賴單幀檢測框增加連續(xù)幀確認邏輯和寬高比過濾9.3 PySide6 打包問題問題現(xiàn)象常見原因解決思路打包后缺少 Qt 插件hidden import 缺失使用--collect-all PySide6找不到模型文件模型權重沒有隨包復制使用--add-data攜帶模型文件打包后軟件體積過大PySide6 和 torch 體積本身就大使用 ONNX 部署模式減少 torch 依賴雙擊 exe 無反應缺 DLL 或依賴庫在 cmd 中執(zhí)行 exe 查看報錯日志9.4 攝像頭無法打開攝像頭打開失敗通常是因為權限被占用或索引不對。可以這樣排查import cv2 for i in range(5): cap cv2.VideoCapture(i) if cap.isOpened(): print(fcamera index {i} opened) cap.release()如果所有索引都打不開檢查攝像頭是否被其他軟件占用或者嘗試更換 USB 接口。10. 工程化最佳實踐與部署建議10.1 模型層面訓練摔倒檢測模型時不要只看 mAP。建議根據(jù)實際場景統(tǒng)計誤報率和漏報率?？梢圆杉欢?30 分鐘的真實監(jiān)控視頻將模型輸出結果和人工標注結果做對比找出誤報頻發(fā)的畫面區(qū)域再有針對性地增加負樣本。在模型選擇上YOLOv8n 適合低算力設備YOLOv8s 是精度與速度均衡的選擇。YOLOv5 更適合老設備或已有工程基礎的項目。如果你的設備算力特別低也可以考慮使用 MobileNet 等輕量級骨干網(wǎng)絡配合 YOLO 檢測頭。10.2 程序層面檢測線程要支持多路視頻流。批量部署時可以把視頻讀取和模型推理解耦讀取線程只管取幀推理線程從隊列中取幀這樣攝像頭資源不會被單個推理耗時阻塞。報警信息要記錄日志。無論是報警截圖、錄像還是系統(tǒng)運行日志都建議按天分目錄保存便于事后追溯。日志要記錄時間、視頻源、檢測框坐標、置信度、處理耗時。10.3 隱私與合規(guī)在真實部署場景中攝像頭監(jiān)控涉及個人隱私。系統(tǒng)應該具備本地化處理能力不上傳視頻數(shù)據(jù)到云端。增加數(shù)據(jù)脫敏功能比如在畫面中檢測到非目標區(qū)域時自動遮擋。報警截圖與錄像只保存必要時間窗口不長時間留存原始視頻。10.4 安全邊界系統(tǒng)涉及報警行為屬于安全相關場景不能只依賴單一模型判斷。建議疊加人員狀態(tài)跟蹤和異常閾值判斷盡量減少誤報和漏報。在生產(chǎn)環(huán)境部署前要進行多輪真實驗證不能因為模型在測試集上表現(xiàn)好就直接上線。對 PySide6 程序建議限制只有授權用戶才能修改界面參數(shù)防止非專業(yè)人員誤調置信度閾值造成系統(tǒng)失效。10.5 性能優(yōu)化建議推理圖片尺寸從 640 降為 512可以明顯提升 FPS。使用 FP16 半精度推理減少顯存占用。使用 ONNX Runtime 的ExecutionMode.ORT_SEQUENTIAL或者 OpenVINO 插件優(yōu)化 CPU 推理速度。在 UI 中繪制檢測框時使用 OpenCV 繪制而不使用 QPaint減少圖像轉換開銷。對于連續(xù)幀模型輸入改用 ROI 區(qū)域縮放減小輸入像素量。11. 總結與下一步學習方向摔倒檢測系統(tǒng)從技術上可以拆成數(shù)據(jù)集、模型訓練、推理加速、桌面界面、報警聯(lián)動五個子模塊。掌握了這些模塊你不僅能做出視頻摔倒檢測系統(tǒng)也能遷移到安全帽檢測、區(qū)域入侵檢測、離崗檢測等相似任務中。下一步建議按以下順序繼續(xù)深入閱讀 YOLOv8 官方源碼理解 C2f 模塊和 Detect 頭的設計思路。嘗試替換 YOLOv8 的骨干網(wǎng)絡比如引入 ConvNeXt V2對比不同主干對摔倒目標的檢測效果。學習 ByteTrack 等輕量級跟蹤算法為系統(tǒng)加入軌跡分析能力。在 PySide6 中加入更多自動化控制例如聯(lián)動門禁、光線控制。將模型導出為 TensorRT 或 OpenVINO 格式部署到 Jetson、樹莓派等邊緣設備。這里要提醒的是摔倒檢測領域最難解決的不是模型精度而是真實場景下的數(shù)據(jù)多樣性和誤報控制。所以實際落地時我傾向于先把數(shù)據(jù)采集和標注流程固定下來多積累不同光線、不同角度、不同動作的樣本再在模型優(yōu)化上投入精力。項目代碼架構建議保持模塊化訓練腳本和界面程序分開維護換數(shù)據(jù)集、換算法模型時不用動 UI 代碼這樣后續(xù)迭代會輕松很多。如果你正在做相關畢設或工程開發(fā)可以參考本文的流程先跑通最小閉環(huán)再逐步優(yōu)化。有問題可以在評論區(qū)留言交流。 基于YOLOv8與PySide6的摔倒檢測識別系統(tǒng)實戰(zhàn)
各位讀者朋友大家好今天整理一篇實戰(zhàn)型的硬核內(nèi)容基于 YOLOv8 / YOLOv5 與 PySide6 構建的摔倒檢測與跌倒識別系統(tǒng)。之前在做實驗室安全監(jiān)控和養(yǎng)老院看護場景項目時摔倒檢測是個出現(xiàn)頻率特別高的需求。市面上很多方案要么是純算法研究、不接地氣要么是商業(yè)套殼、可定制性太差。自己動手用 YOLOv8 PySide6 搭一套既能跑通模型訓練閉環(huán)又能做出帶界面、帶報警、帶錄像回放的真實系統(tǒng)非常適合做畢設、課設、項目實戰(zhàn)或生產(chǎn)原型。這篇文章會從需求分析、技術選型、環(huán)境配置、數(shù)據(jù)集制作、模型訓練、界面開發(fā)、實時檢測到打包發(fā)布完整梳理一套可落地的摔倒檢測系統(tǒng)。代碼均為可復用的工程化寫法你在自己的項目里可以直接改改路徑和參數(shù)運行。1. 摔倒檢測系統(tǒng)到底在解決什么問題1.1 什么是摔倒檢測摔倒檢測也叫跌倒識別、跌倒檢測屬于計算機視覺中目標檢測與行為識別交叉的一個具體應用方向。它的核心任務很簡單從視頻幀或圖像序列中判斷“人是否發(fā)生了摔倒”并在發(fā)生摔倒時產(chǎn)生告警。人體的摔倒過程通常有比較明顯的空間特征人體姿態(tài)從直立迅速變?yōu)樗交蚪咏饺梭w輪廓的寬高比發(fā)生劇烈變化運動速度在短時間內(nèi)驟增之后長時間保持靜止。這些特征在目標檢測模型上的體現(xiàn)就是檢測框的寬高比會在很短時間內(nèi)從“高瘦”變?yōu)椤鞍帧辈⑶胰梭w檢測框的中心點會發(fā)生快速位移。1.2 為什么選用 YOLOv8 / YOLOv5 來做摔倒檢測摔倒檢測本質上是一個目標檢測 狀態(tài)分類問題。雖然也可以用姿態(tài)估計加規(guī)則判斷但對算力要求高、部署復雜。而 YOLO 系列檢測模型結構簡單、推理速度快、訓練生態(tài)成熟非常適合做單階段的摔倒狀態(tài)識別。YOLOv5 的優(yōu)勢是社區(qū)資料多、穩(wěn)定性好、部署方案豐富很多老項目和嵌入式設備都在用。YOLOv8 在 YOLOv5 的基礎上進一步改進了骨干網(wǎng)絡和檢測頭在精度與推理速度的平衡上表現(xiàn)更好而且默認支持旋轉目標檢測、實例分割、姿態(tài)估計等多種任務。兩個模型的訓練方式和代碼結構比較接近因此我們通常把訓練、驗證、導出流程統(tǒng)一封裝模型可以隨時切換。1.3 摔倒檢測的典型應用場景智慧養(yǎng)老獨居老人、養(yǎng)老院房間內(nèi)跌倒檢測發(fā)生異常時自動通知護理人員。工業(yè)安全工廠車間、建筑工地人員跌倒檢測。醫(yī)療監(jiān)護病房、康復中心患者跌倒檢測。公共場所安全地鐵站、商場、衛(wèi)生間等區(qū)域跌倒檢測。家庭安防家用攝像頭結合本地算力盒子的跌倒報警。從這些場景可以看出摔倒檢測項目除了模型訓練之外還要求系統(tǒng)做到本地化運行、界面可視化、報警聯(lián)動。這也是本文選擇 PySide6 做上位機的原因。2. 系統(tǒng)總體架構與識別流程2.1 系統(tǒng)整體架構整個摔倒檢測系統(tǒng)可以拆成四個層數(shù)據(jù)層、模型層、應用層、報警層。數(shù)據(jù)層負責視頻流接入支持本地視頻文件、攝像頭 RTSP/RTMP 流、USB 攝像頭。模型層使用 YOLOv8/YOLOv5 訓練好的摔倒檢測模型對每一幀畫面進行推理輸出檢測框和摔倒置信度。應用層是 PySide6 編寫的桌面程序負責視頻解碼、模型推理調度、界面展示、檢測結果標注。報警層在檢測到摔倒時觸發(fā)報警音、彈窗、截圖保存和錄像保存。在工程實現(xiàn)上我們把模型推理納入單獨線程避免阻塞 PySide6 的 Qt 事件循環(huán)防止界面卡死。2.2 摔倒檢測識別流程整個系統(tǒng)執(zhí)行流程如下讀取視頻幀OpenCV 的 VideoCapture 負責。對畫面做必要預處理如縮放、歸一化。送入 YOLOv8/YOLOv5 模型推理得到檢測框坐標、類別、置信度。根據(jù)類別判斷檢測框是否屬于摔倒類別。額外驗證檢測框的寬高比、停留時間、置信度降低誤報率。如果在連續(xù)多幀中均判定為摔倒觸發(fā)報警并保存證據(jù)圖片和錄像。在 PySide6 界面中繪制檢測框和狀態(tài)信息。2.3 為什么要加幀間判定與目標跟蹤簡單按單幀檢測框來做摔倒報警誤報率會很高。因為人下蹲、彎腰撿東西時人體框的寬高比也會有短時變化。更穩(wěn)的思路是加入幀間邏輯對檢測到的目標進行輕量級跟蹤例如基于 IoU 的簡單關聯(lián)或引入 ByteTrack統(tǒng)計目標在連續(xù) N 幀中的狀態(tài)。如果目標框在超過一定幀數(shù)內(nèi)保持摔倒狀態(tài)才觸發(fā)報警這樣可以過濾掉大部分瞬時姿態(tài)變化造成的誤報。3. 開發(fā)環(huán)境準備與依賴安裝3.1 環(huán)境版本說明不同版本環(huán)境可能導致模型權重不兼容、算子導出失敗所以先做一個版本說明。本文以 Python 3.8/3.9 環(huán)境為例PySide6 建議使用 6.x 版本YOLOv8 使用 ultralytics 庫YOLOv5 使用官方倉庫代碼。具體版本不寫死因為你的 CUDA 版本、顯卡驅動和 Python 版本不同安裝結果會有差異。如果你的顯卡是 GTX 1660 Ti、RTX 3060 等普通消費級顯卡建議使用 CUDA 11.8 cuDNN 8.x顯存 6G 以上可以正常訓練 YOLOv8s、YOLOv5s 等小模型。3.2 安裝依賴建議使用虛擬環(huán)境管理依賴避免污染系統(tǒng) Python。conda create -n fall_detection python3.9 conda activate fall_detection安裝 PyTorch 時根據(jù)你的顯卡選擇對應版本。這里以 CUDA 11.8 為例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118安裝 YOLOv8 官方庫pip install ultralytics安裝界面開發(fā)和視頻處理相關庫pip install pyside6 opencv-python numpy pyyaml pip install pyinstaller驗證安裝結果python -c import torch, cv2, PySide6, ultralytics; print(env ok)如果輸出env ok說明環(huán)境基本可用。3.3 YOLOv5 / YOLOv8 的安裝區(qū)別YOLOv8 通過ultralytics包直接調用不需要手動 clone 倉庫代碼集成度更高。YOLOv5 是傳統(tǒng)倉庫形式需要下載源碼git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt如果后續(xù)訓練腳本需要兼容兩個模型建議在工程中封裝模型加載函數(shù)分別處理兩種模型的前向推理輸出格式。4. 數(shù)據(jù)集收集與標注4.1 摔倒檢測數(shù)據(jù)集的來源方式訓練摔倒檢測模型數(shù)據(jù)是核心。數(shù)據(jù)集通常有三種來源第一是公開數(shù)據(jù)集常用的有 Le2i Fall Detection Dataset、UR Fall Detection Dataset、Multiple Cameras Fall Dataset很多論文和開源項目都在使用。使用公開數(shù)據(jù)集時建議先檢查標注格式轉換為 YOLO 格式后用于訓練。第二是自行拍攝在實驗室或實際場景中模擬摔倒動作用手機或監(jiān)控攝像頭錄制視頻然后抽幀標注。模擬場景時可以覆蓋正面摔倒、側面摔倒、從椅子上滑落等不同角度。第三是網(wǎng)絡圖片爬取但在使用時要注意版權和個人隱私不建議大規(guī)模使用。4.2 視頻抽幀生成圖片如果原始數(shù)據(jù)是視頻需要先把視頻轉成圖片。下面是一個抽幀工具腳本。# tools/extract_frames.py import cv2 import os def extract_frames(video_path, output_dir, interval10): os.makedirs(output_dir, exist_okTrue) cap cv2.VideoCapture(video_path) frame_id 0 saved_id 0 while True: ret, frame cap.read() if not ret: break if frame_id % interval 0: out_path os.path.join(output_dir, fframe_{saved_id:06d}.jpg) cv2.imwrite(out_path, frame) saved_id 1 frame_id 1 cap.release() print(ftotal frames: {frame_id}, saved images: {saved_id}) if __name__ __main__: extract_frames( video_pathdata/source_fall_video.mp4, output_dirdata/images/train, interval5, )抽幀間隔建議根據(jù)視頻幀率調整一般每秒抽 2-5 幀即可。如果抽幀太密相鄰圖片相似度太高容易造成訓練集冗余。4.3 使用 LabelImg 或 LabelStudio 標注YOLO 格式的標注文件是 txt 文件每行表示一個目標class_id center_x center_y width height其中center_x、center_y、width、height都是相對于圖片寬度和高度的歸一化值。標注時建議定義兩類目標normal正常站立/行走和fall摔倒。也可以只標注摔倒目標然后訓練一個單類別檢測器。LabelImg 是輕量級標注工具適合圖片標注。LabelStudio 支持視頻標注、多人協(xié)作適合較大的團隊項目。標注完成后一個典型的 YOLO 數(shù)據(jù)集目錄結構如下fall_dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/在images/train和labels/train下每張圖片對應一個同名 txt 文件。4.4 數(shù)據(jù)集增強摔倒檢測場景中正樣本摔倒往往比負樣本正常狀態(tài)少?？梢酝ㄟ^以下方式擴充數(shù)據(jù)對圖片做左右翻轉。調整亮度、對比度、飽和度。隨機裁剪。Mosaic 增強YOLOv5/YOLOv8 內(nèi)置支持。在訓練配置中開啟 Mosaic 可以顯著提升模型對遮擋和密集場景的魯棒性。5. YOLOv8 模型訓練與驗證5.1 構建數(shù)據(jù)配置文件在 Ultralytics YOLOv8 中訓練數(shù)據(jù)需要一個 YAML 文件來定義數(shù)據(jù)集路徑和類別。# config/fall_dataset.yaml path: E:/fall_detection_project/dataset/fall_dataset train: images/train val: images/val nc: 2 names: 0: normal 1: fall注意path字段需要改成你自己的實際路徑建議使用絕對路徑避免訓練時找不到數(shù)據(jù)。5.2 編寫統(tǒng)一訓練腳本為了讓 YOLOv5 和 YOLOv8 可以共用一套訓練入口我們簡單封裝一個訓練腳本。這里先展示 YOLOv8 的訓練方式。# tools/train_yolov8.py from ultralytics import YOLO def train_yolov8(): model YOLO(yolov8s.pt) model.train( dataconfig/fall_dataset.yaml, epochs100, imgsz640, batch16, device0, workers4, lr00.01, patience20, projectruns/train, namefall_det_yolov8s, pretrainedTrue, optimizerauto, ) if __name__ __main__: train_yolov8()訓練時的參數(shù)說明epochs訓練輪數(shù)數(shù)據(jù)集在幾百張圖片時可以設到 150-200 輪但需要配合早停機制。imgsz輸入圖片尺寸640 是默認值小顯存可以降到 512。batch批大小GTX 1660 Ti 6G 顯存建議設為 8-16。device顯卡編號CPU 訓練則填cpu。patience早停耐心值驗證集指標連續(xù)多少輪不提升就停止訓練。5.3 使用 YOLOv5 訓練摔倒檢測模型如果你希望使用 YOLOv5 倉庫訓練進入克隆好的 yolov5 目錄后執(zhí)行python train.py \ --data config/fall_dataset.yaml \ --weights yolov5s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --device 0 \ --project runs/train \ --name fall_det_yolov5sYOLOv5 的 data yaml 與 YOLOv8 略有不同可以參考yolov5/data/coco128.yaml的格式修改。5.4 YOLOv8 增量訓練方法如果你已經(jīng)有一個訓練好的摔倒檢測模型希望在新增數(shù)據(jù)集上繼續(xù)訓練YOLOv8 提供了增量訓練能力。做法是加載上一個訓練任務產(chǎn)出的 best.pt 權重然后在舊數(shù)據(jù)和新數(shù)據(jù)的合并集上繼續(xù)訓練。model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) model.train( dataconfig/fall_dataset_v2.yaml, epochs50, imgsz640, batch16, resumeFalse, )增量訓練是實際項目中非常重要的能力。因為采集到更多真實場景數(shù)據(jù)后直接重新訓練會丟失已學到的知識而在舊權重基礎上繼續(xù)訓練既保留原有檢測能力又逐步適應新場景。5.5 損失函數(shù)曲線與訓練結果分析訓練完成后在runs/train/fall_det_yolov8s/目錄下會生成results.png包含了訓練過程中的損失曲線、精度、召回率、mAP 等指標。針對摔倒檢測任務重點關注兩個指標mAP0.5在 IoU 閾值為 0.5 時的平均精度均值如果數(shù)據(jù)集中摔倒目標較小需要關注該值是否達到 0.85 以上。Recall摔倒樣本的召回率如果召回率過低說明很多摔倒目標被漏檢這在實際場景中非常危險。還可以在訓練工具中增加自定義繪制腳本把每輪的損失值畫成更清晰的曲線圖。5.6 模型驗證與推理測試訓練完成后用驗證集評估模型效果from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) metrics model.val(dataconfig/fall_dataset.yaml, splitval) print(metrics.box.map50) print(metrics.box.map)然后用測試視頻做一次快速推理from ultralytics import YOLO model YOLO(runs/train/fall_det_yolov8s/weights/best.pt) results model.predict( sourcedata/test_fall_video.mp4, conf0.4, iou0.5, saveTrue, projectruns/detect, nametest_fall, )這里conf0.4的含義是只有置信度超過 0.4 的檢測框才會被保留。在實際項目中這個閾值需要根據(jù)誤報和漏報的接受程度進行調優(yōu)。6. PySide6 上位機界面開發(fā)6.1 PySide6 與 PySide 的區(qū)別PySide6 是 Qt for Python 的官方版本對應 Qt 6 版本。PySide 是老稱呼PySide2 對應 Qt 5PySide6 對應 Qt 6。兩者 API 接近但 PySide6 更新、對新 Python 版本支持更好所以新項目建議直接使用 PySide6。很多初學者會混淆 PySide6、PyQt5、PyQt6 這幾個庫。它們的底層都是 Qt區(qū)別在于授權協(xié)議和 API 風格。PySide6 是 LGPL 協(xié)議相對寬松適合做工具軟件。6.2 界面功能設計摔倒檢測系統(tǒng)界面需要展示實時視頻畫面、檢測結果并提供操作按鈕。我們設計的界面包含以下功能模塊視頻顯示區(qū)域展示原始畫面和檢測框繪制結果。操作按鈕打開視頻、打開攝像頭、開始檢測、停止檢測。狀態(tài)信息欄顯示當前檢測狀態(tài)、FPS、檢測目標數(shù)量。報警信息區(qū)顯示最近一次報警時間、保存的截圖路徑。統(tǒng)計信息當天報警次數(shù)、累計摔倒次數(shù)。參數(shù)配置置信度閾值、報警間隔、是否保存錄像。6.3 創(chuàng)建主窗口框架下面是一個簡潔但完整的 PySide6 主窗口示例。# ui/main_window.py import sys from PySide6.QtWidgets import QMainWindow, QLabel, QPushButton, QVBoxLayout, QHBoxLayout, QWidget, QFileDialog, QMessageBox, QLineEdit, QSpinBox from PySide6.QtCore import Qt, QTimer from PySide6.QtGui import QImage, QPixmap class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(摔倒檢測跌倒識別系統(tǒng)) self.resize(1024, 720) self.video_label QLabel(視頻將在播放后顯示) self.video_label.setAlignment(Qt.AlignmentFlag.AlignCenter) self.video_label.setStyleSheet(background-color: #1e1e1e; color: #cccccc;) self.btn_open_video QPushButton(打開視頻) self.btn_open_camera QPushButton(打開攝像頭) self.btn_start QPushButton(開始檢測) self.btn_stop QPushButton(停止檢測) layout_control QHBoxLayout() layout_control.addWidget(self.btn_open_video) layout_control.addWidget(self.btn_open_camera) layout_control.addWidget(self.btn_start) layout_control.addWidget(self.btn_stop) self.status_label QLabel(狀態(tài)未啟動) self.fps_label QLabel(FPS0) layout_info QHBoxLayout() layout_info.addWidget(self.status_label) layout_info.addStretch() layout_info.addWidget(self.fps_label) self.msg_label QLabel(報警信息無) layout_msg QHBoxLayout() layout_msg.addWidget(self.msg_label) main_layout QVBoxLayout() main_layout.addWidget(self.video_label) main_layout.addLayout(layout_control) main_layout.addLayout(layout_info) main_layout.addLayout(layout_msg) container QWidget() container.setLayout(main_layout) self.setCentralWidget(container) self._init_components() def _init_components(self): self.video_path None self.camera_index 0 self.timer QTimer() self.timer.timeout.connect(self.update_frame) def update_frame(self): pass這是一個基礎窗口后續(xù)我們會把視頻讀取和模型推理集成進來。6.4 使用 QLineEdit 配置信度閾值和報警間隔界面需要開放參數(shù)調節(jié)功能例如置信度閾值、報警去重時間。我們可以在界面下方加入一行參數(shù)配置框。在_init_components方法中增加配置組件self.conf_label QLabel(置信度閾值:) self.conf_edit QLineEdit(0.45) self.conf_edit.setFixedWidth(80) self.interval_label QLabel(報警間隔(s):) self.interval_edit QLineEdit(5) self.interval_edit.setFixedWidth(80) layout_param QHBoxLayout() layout_param.addWidget(self.conf_label) layout_param.addWidget(self.conf_edit) layout_param.addWidget(self.interval_label) layout_param.addWidget(self.interval_edit) layout_param.addStretch()在主布局中把layout_param加入即可。這里使用QLineEdit接收用戶輸入。實際操作中我們應該對用戶輸入做校驗比如判斷輸入是否為浮點數(shù)避免程序崩潰。def get_conf_threshold(self): try: val float(self.conf_edit.text()) if 0 val 1: return val else: raise ValueError(閾值范圍必須為 (0, 1]) except ValueError as e: QMessageBox.warning(self, 參數(shù)錯誤, str(e)) return 0.45這個組件在實際項目中經(jīng)常被問到“PySide6 QLineEdit 是否輸入”的問題本質就是校驗輸入內(nèi)容是否合法。7. 攝像頭實時檢測與報警聯(lián)動7.1 視頻處理線程設計在 PySide6 中如果在主線程直接讀取攝像頭視頻流和模型推理會導致界面卡頓。正確做法是使用子線程完成視頻讀取與推理再通過信號把處理后的畫面?zhèn)鬟f回主線程。我們用QThread來寫視頻處理線程。# core/detect_thread.py import cv2 import numpy as np from PySide6.QtCore import QThread, Signal from ultralytics import YOLO class DetectThread(QThread): frame_ready Signal(np.ndarray) detec_result Signal(int, float) error_msg Signal(str) def __init__(self, model_path, conf_threshold0.45, interval5, parentNone): super().__init__(parent) self.model_path model_path self.conf_threshold conf_threshold self.interval interval self.running False self.model None self.cap None def load_model(self): self.model YOLO(self.model_path) def set_video_source(self, source): self.source source def stop(self): self.running False def run(self): self.running True self.cap cv2.VideoCapture(self.source) if not self.cap.isOpened(): self.error_msg.emit(無法打開視頻源) return while self.running: ret, frame self.cap.read() if not ret: break results self.model.predict( frame, confself.conf_threshold, imgsz640, verboseFalse, ) annotated results[0].plot() self.frame_ready.emit(annotated) fall_count 0 for r in results: boxes r.boxes if boxes is not None: for box in boxes: cls int(box.cls[0]) if self.model.names[cls] fall: fall_count 1 self.detec_result.emit(fall_count, self.conf_threshold) self.cap.release()在這個線程中frame_ready信號把繪制好的圖像傳回主界面detec_result信號把摔倒目標數(shù)量傳給主界面更新報警信息。7.2 報警邏輯實現(xiàn)實際部署時需要把“單幀檢測到摔倒”升級為“連續(xù)幀確認摔倒”。可以在DetectThread內(nèi)部維護一個計數(shù)器。self.fall_candidate_count 0 self.fall_trigger_frame 10如果當前幀檢測到摔倒目標則計數(shù)器加 1否則計數(shù)器清零或者減 1。當計數(shù)器超過閾值就觸發(fā)一次報警。這樣可以過濾掉因為彎腰、蹲下等動作產(chǎn)生的瞬時誤報。觸發(fā)報警后要控制報警頻率。假設用戶設置報警間隔為 5 秒那么與上次報警時間小于 5 秒時不再重復報警防止同一摔倒事件刷屏。import time self.last_alert_time 0 def maybe_alert(self): now time.time() if now - self.last_alert_time self.interval: self.last_alert_time now self.alert_signal.emit(檢測到摔倒行為!)7.3 報警截圖與錄像保存發(fā)生報警時除了界面提示外還應該保存現(xiàn)場圖片和錄像片段。截圖保存比較簡單保存當前幀為 JPEG 文件即可def save_snapshot(self, frame, save_diralerts): from datetime import datetime os.makedirs(save_dir, exist_okTrue) ts datetime.now().strftime(%Y%m%d_%H%M%S) path os.path.join(save_dir, ffall_{ts}.jpg) cv2.imwrite(path, frame) return path錄像保存建議使用 OpenCV 的 VideoWriter。在報警觸發(fā)后記錄接下來 10-15 秒的視頻。fourcc cv2.VideoWriter_fourcc(*mp4v) writer cv2.VideoWriter(fall_alert.mp4, fourcc, 20.0, (width, height))注意在 PySide6 中頻繁進行磁盤寫入會阻塞線程建議把保存操作放到獨立隊列或使用異步方式。7.4 主界面接入檢測線程在主窗口打開視頻時創(chuàng)建DetectThread并連接信號。# ui/main_window.py 部分代碼補充 from core.detect_thread import DetectThread def open_video(self): file_path, _ QFileDialog.getOpenFileName( self, 選擇視頻文件, , 視頻文件 (*.mp4 *.avi *.mov *.mkv) ) if file_path: self.thread DetectThread( model_pathmodels/best.pt, conf_thresholdself.get_conf_threshold(), intervalint(self.interval_edit.text()) ) self.thread.set_video_source(file_path) self.thread.load_model() self.thread.frame_ready.connect(self.show_frame) self.thread.detec_result.connect(self.update_status) self.thread.error_msg.connect(self.show_error) self.thread.start() self.status_label.setText(狀態(tài)檢測中) def show_frame(self, frame): frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch frame.shape bytes_per_line ch * w image QImage(frame.data, w, h, bytes_per_line, QImage.Format.Format_RGB888) self.video_label.setPixmap(QPixmap.fromImage(image).scaled( self.video_label.size(), Qt.AspectRatioMode.KeepAspectRatio, Qt.TransformationMode.SmoothTransformation, ))這樣點擊“打開視頻”后就能在界面中看到實時檢測結果。8. 項目啟動入口與打包發(fā)布8.1 編寫 main.py 啟動文件我們把模型加載、界面創(chuàng)建、線程管理統(tǒng)一在一個入口中。# main.py import sys from PySide6.QtWidgets import QApplication from ui.main_window import MainWindow def main(): app QApplication(sys.argv) window MainWindow() window.show() sys.exit(app.exec()) if __name__ __main__: main()為了減少每次啟動加載模型的等待時間可以在MainWindow初始化時預加載模型再在打開視頻時把模型權重傳入檢測線程。8.2 使用 PyInstaller 打包為 exePySide6 和 ultralytics 的依賴較多打包時要注意隱藏文件和資源文件。建議使用 PyInstaller 的 spec 文件配置資源pyinstaller main.spec簡單時也可以直接使用命令行pyinstaller -w main.py --name FallDetect \ --hidden-import ultralytics.nn.modules \ --add-data models/best.pt;models \ --add-data config/fall_dataset.yaml;config注意--add-data把模型權重和配置文件打包進 exe 的同級目錄。-w表示不顯示控制臺窗口也就是 GUI 模式。如果在 Windows 上打包后運行提示找不到ultralytics相關模塊需要補充 hidden-import。可以把整個ultralytics包復制到項目目錄直接用相對路徑導入減少打包問題。8.3 模型導出為 ONNX 加速推理如果部署環(huán)境沒有 PyTorch或者希望用 OpenVINO、TensorRT 加速可以將模型導出為 ONNX 格式model.export(formatonnx, imgsz640)導出完成后可以使用 OpenCV 的 DNN 模塊或 ONNX Runtime 加載模型推理速度通常比原始 PyTorch 更快適合嵌入式設備部署。import onnxruntime as ort session ort.InferenceSession(models/best.onnx, providers[CPUExecutionProvider])在 OpenVINO 環(huán)境下的 Intel CPU 推理速度提升尤其明顯。9. 常見問題與排查思路9.1 環(huán)境安裝相關問題現(xiàn)象常見原因解決思路PySide6 安裝失敗Python 版本過低或過高使用 Python 3.8-3.11 并重新安裝torch 安裝后 GPU 不可用CUDA 版本與 PyTorch 不匹配執(zhí)行torch.cuda.is_available()檢查按顯卡驅動選擇合適 CUDAultralytics 導入報錯依賴沖突重新創(chuàng)建虛擬環(huán)境并按順序安裝GTX 1660 Ti 運行 YOLOv8 很慢沒有使用 GPU 推理或顯存不足設置device0調小imgsz和batch9.2 訓練與推理相關問題問題現(xiàn)象常見原因解決思路訓練時很快停止patience設置太小或學習率設置不合理調大patience使用自動學習率優(yōu)化器檢測框置信度普遍偏低輸入圖像模糊或目標太小提高標注質量增加樣本數(shù)量摔倒類別漏檢較多正樣本數(shù)據(jù)不充足做更多翻轉、旋轉增強或收集更多摔倒樣本程序界面卡頓在 Qt 主線程執(zhí)行了推理使用 QThread 子線程處理推理模型對正常彎腰誤判為摔倒只依賴單幀檢測框增加連續(xù)幀確認邏輯和寬高比過濾9.3 PySide6 打包問題問題現(xiàn)象常見原因解決思路打包后缺少 Qt 插件hidden import 缺失使用--collect-all PySide6找不到模型文件模型權重沒有隨包復制使用--add-data攜帶模型文件打包后軟件體積過大PySide6 和 torch 體積本身就大使用 ONNX 部署模式減少 torch 依賴雙擊 exe 無反應缺 DLL 或依賴庫在 cmd 中執(zhí)行 exe 查看報錯日志9.4 攝像頭無法打開攝像頭打開失敗通常是因為權限被占用或索引不對。可以這樣排查import cv2 for i in range(5): cap cv2.VideoCapture(i) if cap.isOpened(): print(fcamera index {i} opened) cap.release()如果所有索引都打不開檢查攝像頭是否被其他軟件占用或者嘗試更換 USB 接口。10. 工程化最佳實踐與部署建議10.1 模型層面訓練摔倒檢測模型時不要只看 mAP。建議根據(jù)實際場景統(tǒng)計誤報率和漏報率?？梢圆杉欢?30 分鐘的真實監(jiān)控視頻將模型輸出結果和人工標注結果做對比找出誤報頻發(fā)的畫面區(qū)域再有針對性地增加負樣本。在模型選擇上YOLOv8n 適合低算力設備YOLOv8s 是精度與速度均衡的選擇。YOLOv5 更適合老設備或已有工程基礎的項目。如果你的設備算力特別低也可以考慮使用 MobileNet 等輕量級骨干網(wǎng)絡配合 YOLO 檢測頭。10.2 程序層面檢測線程要支持多路視頻流。批量部署時可以把視頻讀取和模型推理解耦讀取線程只管取幀推理線程從隊列中取幀這樣攝像頭資源不會被單個推理耗時阻塞。報警信息要記錄日志。無論是報警截圖、錄像還是系統(tǒng)運行日志都建議按天分目錄保存便于事后追溯。日志要記錄時間、視頻源、檢測框坐標、置信度、處理耗時。10.3 隱私與合規(guī)在真實部署場景中攝像頭監(jiān)控涉及個人隱私。系統(tǒng)應該具備本地化處理能力不上傳視頻數(shù)據(jù)到云端。增加數(shù)據(jù)脫敏功能比如在畫面中檢測到非目標區(qū)域時自動遮擋。報警截圖與錄像只保存必要時間窗口不長時間留存原始視頻。10.4 安全邊界系統(tǒng)涉及報警行為屬于安全相關場景不能只依賴單一模型判斷。建議疊加人員狀態(tài)跟蹤和異常閾值判斷盡量減少誤報和漏報。在生產(chǎn)環(huán)境部署前要進行多輪真實驗證不能因為模型在測試集上表現(xiàn)好就直接上線。對 PySide6 程序建議限制只有授權用戶才能修改界面參數(shù)防止非專業(yè)人員誤調置信度閾值造成系統(tǒng)失效。10.5 性能優(yōu)化建議推理圖片尺寸從 640 降為 512可以明顯提升 FPS。使用 FP16 半精度推理減少顯存占用。使用 ONNX Runtime 的ExecutionMode.ORT_SEQUENTIAL或者 OpenVINO 插件優(yōu)化 CPU 推理速度。在 UI 中繪制檢測框時使用 OpenCV 繪制而不使用 QPaint減少圖像轉換開銷。對于連續(xù)幀模型輸入改用 ROI 區(qū)域縮放減小輸入像素量。11. 總結與下一步學習方向摔倒檢測系統(tǒng)從技術上可以拆成數(shù)據(jù)集、模型訓練、推理加速、桌面界面、報警聯(lián)動五個子模塊。掌握了這些模塊你不僅能做出視頻摔倒檢測系統(tǒng)也能遷移到安全帽檢測、區(qū)域入侵檢測、離崗檢測等相似任務中。下一步建議按以下順序繼續(xù)深入閱讀 YOLOv8 官方源碼理解 C2f 模塊和 Detect 頭的設計思路。嘗試替換 YOLOv8 的骨干網(wǎng)絡比如引入 ConvNeXt V2對比不同主干對摔倒目標的檢測效果。學習 ByteTrack 等輕量級跟蹤算法為系統(tǒng)加入軌跡分析能力。在 PySide6 中加入更多自動化控制例如聯(lián)動門禁、光線控制。將模型導出為 TensorRT 或 OpenVINO 格式部署到 Jetson、樹莓派等邊緣設備。這里要提醒的是摔倒檢測領域最難解決的不是模型精度而是真實場景下的數(shù)據(jù)多樣性和誤報控制。所以實際落地時我傾向于先把數(shù)據(jù)采集和標注流程固定下來多積累不同光線、不同角度、不同動作的樣本再在模型優(yōu)化上投入精力。項目代碼架構建議保持模塊化訓練腳本和界面程序分開維護換數(shù)據(jù)集、換算法模型時不用動 UI 代碼這樣后續(xù)迭代會輕松很多。如果你正在做相關畢設或工程開發(fā)可以參考本文的流程先跑通最小閉環(huán)再逐步優(yōu)化。有問題可以在評論區(qū)留言交流。