動開發(fā)：窗口、DMA、中斷與實時調(diào)優(yōu))
簡介《基于VME總線的嵌入式Linux應(yīng)用的研究》是一篇面向高能物理數(shù)據(jù)獲取DAQ讀出系統(tǒng)開發(fā)者與嵌入式方向研究生的參考文獻(xiàn)論證以開源Linux替代VxWorks等商業(yè)實時操作系統(tǒng)的可行性。文章以BESIII量能器讀出機(jī)箱和MVME5500控制器為硬件平臺結(jié)合TimeSys LinuxLink內(nèi)核2.6.9與vme_universe橋接驅(qū)動逐項講解寄存器讀寫、CBLT傳輸、中斷處理、多線程及cache一致性等關(guān)鍵技術(shù)并給出內(nèi)核與驅(qū)動修改思路及系統(tǒng)測試結(jié)果可直接用于工程選型與開發(fā)參考。資源為1個PDF文件壓縮包約282KB篇幅精煉便于快速通讀與檢索要點。目前已有120人學(xué)習(xí)下載適合需要建立VME總線與嵌入式Linux整體認(rèn)知、或為類似讀出系統(tǒng)做方案調(diào)研的讀者。1. VME 總線上的嵌入式 Linux老背板上跑新內(nèi)核到底難在哪實驗室那臺 6U 機(jī)箱背板是上世紀(jì)定下來的 VME插著采集卡、D/A 卡、反射內(nèi)存卡CPU 板已經(jīng)換到第三代。換成嵌入式 Linux 后網(wǎng)絡(luò)、文件系統(tǒng)、調(diào)試工具全都好用了但第一次上電大概率是黑屏橋接芯片的窗口沒配上、從端地址映射對不上、中斷向量號寫成 0、背板終端沒開任何一個都會讓總線周期直接超時。VME 的難點從來不在 Linux 本身而在于它是一套有明確電氣和時序語義的并行背板軟件必須先把這些語義翻譯成內(nèi)核能理解的對象。下面按地址空間與 AM 編碼、設(shè)備樹與內(nèi)核配置、窗口與 DMA 驅(qū)動、中斷與實時性、上板排錯與量化這幾步往下走每一步都給能直接抄的命令和參數(shù)。2. VME64 的地址空間、窗口與中斷語義怎么落到 Linux VME 子系統(tǒng)2.1 A16/A24/A32 與地址修飾符 AM選錯就根本訪問不到從端VMEbus 是異步、并行、多主的總線地址線 A01–A31 與數(shù)據(jù)線 D00–D31 各自獨立一次讀寫由 DS0*/DS1* 與 WRITE* 握手發(fā)起周期長度由從端通過 DTACK* 或 BERR* 決定。這套機(jī)制沒有時鐘同步問題代價是軟件不能假設(shè)訪問一定在固定周期內(nèi)返回必須為超時留出處理路徑。地址空間分三級外加 VME64x 引入的配置空間實際布線時按從卡手冊選空間地址寬度容量典型用途常用 AM 編碼hexA1616 位64 KB板卡 CSR、控制寄存器0x2D 特權(quán)數(shù)據(jù) / 0x29 非特權(quán)A2424 位16 MB大多數(shù)從端共享內(nèi)存0x3D / 0x39A3232 位4 GB反射內(nèi)存、大塊緩沖0x0D / 0x09CR/CSR——VME64x 配置空間0x2FAM 是 6 位地址修飾符跟地址一起發(fā)到背板從端用它判斷這次訪問是不是給自己的、是特權(quán)還是非特權(quán)、是取指還是數(shù)據(jù)。主端 AM 寫錯的典型現(xiàn)象是地址看著沒錯從端卻完全不響應(yīng) DTACK*主端一路等到超時日志里只剩一句籠統(tǒng)的總線錯誤。我一般先在紙上把每塊從卡的 A16 CSR 基址、A24 數(shù)據(jù)窗口基址、AM 編碼列成一張表再往代碼里填比在代碼里反復(fù)試快得多。2.2 Linux VME 子系統(tǒng)的四類對象橋、主窗口、從窗口、DMA內(nèi)核drivers/vme/下是一條獨立子系統(tǒng)和設(shè)備樹里的 platform bus 平級。橋接芯片驅(qū)動向上注冊一個struct vme_bridge內(nèi)部掛五類控制器master本板作主端訪問別人、slave本板作從端被別人訪問、dma橋內(nèi)建 DMA 引擎、location monitor地址監(jiān)聽、irq中斷控制器。設(shè)備用(bus, slot)二元組定位bus 是機(jī)箱邏輯編號slot 是槽位號1 到 21。static struct vme_driver my_vme_driver { .name my_vme_card, .match vme_match_device, /* 按 slot 過濾或直接返回 true */ .probe my_vme_probe, .remove my_vme_remove, }; module_vme_driver(my_vme_driver);match回調(diào)拿到的是struct vme_dev里面能讀出 bus 號和 slot 號只有返回真內(nèi)核才會調(diào)用 probe 并把 bridge 指針傳進(jìn)來。真正的瓶頸在窗口數(shù)量橋接芯片通常只有 8 個主窗口、8 個從窗口、1 個 DMA 引擎多塊從卡必須復(fù)用同一批窗口。所以窗口分配要集中管理常見做法是在板級初始化里先按功能把窗口切好各驅(qū)動通過約定好的索引取用而不是每個驅(qū)動各自vme_master_request一遍。2.3 IRQ1–IRQ7 與 IACK 菊花鏈中斷注冊的坐標(biāo)系VME 有 7 條中斷線 IRQ1*–IRQ7*低電平有效多個從端可以共享同一條線。主端收到中斷后必須發(fā)起一次 IACK 周期IACK 信號沿菊花鏈從槽 1 向槽 21 傳遞第一個中斷待決的從端把狀態(tài)/ID 和 8 位向量號放到數(shù)據(jù)線上。所以 VME 中斷天然帶向量號Linux 這邊可以直接用它區(qū)分來源而不必像 GPIO 中斷那樣再額外查寄存器。/* level 取 1..7slot 是發(fā)起中斷的從端槽號-1 表示不關(guān)心 */ ret vme_irq_request(bridge, slot, level, my_irq_handler, priv); if (ret) dev_err(dev, irq %d request failed: %d\n, level, ret);handler 的第一個參數(shù)是 IRQ 等級第二個是向量號返回IRQ_HANDLED表示已處理。最常見的坑是菊花鏈上的 IACKOUT* 沒有接到下一槽的 IACKIN*中斷永遠(yuǎn)進(jìn)不來但示波器上 IRQ 線明明是被拉低的——先量菊花鏈連通性再懷疑軟件。3. 用設(shè)備樹和內(nèi)核配置把 VME 橋接芯片交給 Linux3.1 橋接芯片節(jié)點的最小設(shè)備樹片段橋接芯片分兩類描述方式不同。Tsi148、Universe II 這類 PCI 器件內(nèi)核靠 PCI 枚舉就能發(fā)現(xiàn)設(shè)備樹里通常不用額外寫節(jié)點只要保證 PCI 總線可見而 SoC 內(nèi)部或 FPGA 里自己實現(xiàn)的 VME 控制器走 memory-mapped 寄存器就必須用設(shè)備樹描述否則 probe 根本不會被調(diào)用。vme_ctrl: vme43c00000 { compatible vendor,fpga-vme; reg 0x0 0x43c00000 0x0 0x10000; interrupt-parent intc; interrupts 0 61 4; /* GIC SPI 61高電平觸發(fā) */ vme-bus-num 0; vme-slot-num 1; clock-frequency 33333333; /* 橋內(nèi)部時鐘超時計數(shù)換算用 */ status okay; };reg是橋寄存器塊probe 里用devm_ioremap_resource映射interrupts是橋匯聚后上報給 SoC 的那一根線VME 側(cè)的 IRQ1–IRQ7 最終都要映射到它vme-bus-num與vme-slot-num是自定義屬性probe 里讀出來直接喂給vme_register_bridge省掉一次硬編碼clock-frequency決定超時寄存器的計數(shù)換算寫錯會導(dǎo)致所有訪問都報超時。3.2 menuconfig 里必須開的幾項與模塊加載順序make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- menuconfig # 關(guān)鍵項 # CONFIG_VME_BUSy 子系統(tǒng)核心 # CONFIG_VME_TSI148m 或 CONFIG_VME_CA91CX42m # CONFIG_VME_USERm 用戶態(tài)腳手架 # CONFIG_OFy / CONFIG_PCIy # CONFIG_PREEMPT_RTy 實時性要求高時打開 make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- -j$(nproc) Image modules dtbs加載順序必須是核心 → 橋驅(qū)動 → vme_user。用 initramfs 時把模塊名按這個順序?qū)戇M(jìn)/etc/modules-load.d/vme.conf或者直接在啟動腳本里modprobe vme_tsi148 modprobe vme_user。順序反了會看到vme_user: no VME bridge found橋隨后才注冊設(shè)備節(jié)點就永遠(yuǎn)不出現(xiàn)。3.3 用 vme_user 在用戶態(tài)跑通第一次讀寫vme_user是把橋的窗口映射成字符設(shè)備的腳手架非常適合上板第一天的連通性驗證比直接寫內(nèi)核模塊快一個數(shù)量級。# 先確認(rèn)橋被識別、槽號和地址空間讀取正常 ls /sys/bus/vme/devices/ cat /sys/class/vme_user/vme_user_a/master/aspace # 當(dāng)前地址空間類型 cat /sys/class/vme_user/vme_user_a/master/size # 窗口字節(jié)數(shù)#include fcntl.h #include unistd.h #include stdint.h int fd open(/dev/vme_user_a, O_RDWR); if (fd 0) { perror(open); return -1; } /* lseek 設(shè)置的是窗口內(nèi)偏移不是絕對 VME 地址 */ off_t off lseek(fd, 0x8000, SEEK_SET); uint32_t val 0; ssize_t n read(fd, val, sizeof(val)); /* 讀一個 D32 */ printf(off%lld n%zd val0x%08x\n, (long long)off, n, val);注意lseek改的是窗口內(nèi)偏移絕對 VME 地址由窗口基址決定兩者別混。read/write的長度要對齊數(shù)據(jù)寬度D16 窗口讀 4 字節(jié)會返回EINVAL。窗口的 aspace、基址、寬度通過VME_SET_MASTER這個 ioctl 下發(fā)結(jié)構(gòu)體字段是enable / vme_addr / size / aspace / cycle / dwidth改完一次生效直到下次下發(fā)。第一步只要能穩(wěn)定讀回從卡手冊里寫死的 ID 寄存器后面的驅(qū)動才有意義。4. 寫一個 VME 從設(shè)備驅(qū)動窗口、DMA 與中斷的落地4.1 主窗口映射與 vme_master_read/write內(nèi)核側(cè)訪問從端必須先申請窗口再設(shè)置參數(shù)兩步分開是有意設(shè)計申請時只聲明想要什么類型設(shè)置時才綁定具體地址方便在同一資源上反復(fù)切換從卡。struct vme_resource *res; /* VME_A24 地址空間D32 數(shù)據(jù)寬度SCT 特權(quán)數(shù)據(jù)訪問 */ res vme_master_request(bridge, VME_A24, VME_D32, VME_SCT); if (!res) return -ENODEV; /* enable1, vme_addr0x100000, size64KB, 空間/周期/寬度三連 */ ret vme_master_set(bridge, res, 1, 0x100000, 0x10000, VME_A24, VME_SCT, VME_D32); if (ret) return ret; vme_master_read(bridge, res, buf, sizeof(buf), 0); /* 最后一個參數(shù)是偏移 */參數(shù)里最容易錯的是cycleVME_SCT是特權(quán)數(shù)據(jù)訪問對應(yīng) AM 0x3D如果從卡期望非特權(quán)訪問必須換成VME_D32 | VME_USER那一組否則從端不響應(yīng)。vme_master_rmw用于讀-改-寫原子操作適合操作從卡的置位/清零寄存器比讀出、改、寫回少一次總線競爭窗口。4.2 DMA 傳輸vme_dma_list 的鏈表式用法大塊數(shù)據(jù)不要用vme_master_read逐字搬那是 CPU 同步訪問64KB 就能把總線占滿。橋內(nèi)建 DMA 引擎的正確用法是構(gòu)造鏈表再一次性執(zhí)行。struct vme_dma_list *list vme_new_dma_list(bridge); struct vme_dma_attr src, dst; memset(src, 0, sizeof(src)); src.type VME_DMA_VME; src.attr.vme.physical 0x100000; /* 從端 VME 地址 */ src.attr.vme.aspace VME_A24; src.attr.vme.dwidth VME_D32; memset(dst, 0, sizeof(dst)); dst.type VME_DMA_PCI; dst.attr.pci.physical dma_handle; /* 本端已 dma_map 的物理地址 */ vme_dma_list_add(list, src, dst, 0x10000); /* 64KB 一趟 */ vme_dma_list_exec(list); /* 阻塞到完成 */ vme_dma_free(list);type取VME_DMA_VME還是VME_DMA_PCI決定這一端是背板側(cè)還是本地側(cè)方向由誰當(dāng) src 誰當(dāng) dst 決定。多段不連續(xù)緩沖可以連續(xù)vme_dma_list_add引擎按鏈表順序執(zhí)行比多次單趟快很多。注意vme_dma_list_exec是阻塞調(diào)用放在中斷上下文會睡死必須交給工作隊列。4.3 中斷注冊與用戶態(tài)通知內(nèi)核驅(qū)動的中斷處理盡量短讀向量號、清從端中斷源、把事件塞進(jìn)環(huán)形緩沖剩下的交給下半部。static irqreturn_t my_irq_handler(int level, int vector, void *data) { struct my_dev *dev data; dev-irq_count; dev-last_vector vector; /* 清從端中斷源否則會一直重觸發(fā) */ vme_master_write(dev-bridge, dev-res, zero, sizeof(zero), 0x04); wake_up_interruptible(dev-wq); /* 喚醒阻塞在 read 上的用戶態(tài)進(jìn)程 */ return IRQ_HANDLED; }用戶態(tài)用read()阻塞在等待隊列上比輪詢省 CPU也比信號量語義清晰。vme_irq_request/vme_irq_free要配對模塊卸載漏掉后者會讓后續(xù)重新加載失敗并報-EBUSY。4.4 系統(tǒng)裁剪與 PREEMPT_RT 實時性調(diào)優(yōu)VME 場景往往對抖動有要求通用內(nèi)核的調(diào)度延遲是毫秒級不夠用。裁剪和實時化同時做# 實時補(bǔ)丁 去掉不需要的子系統(tǒng) ./scripts/config --enable PREEMPT_RT ./scripts/config --disable SOUND ./scripts/config --disable WIRELESS ./scripts/config --disable DRM ./scripts/config --enable HIGH_RES_TIMERS # 啟動參數(shù)隔離 CPU 給采集線程打斷核遷移 # isolcpus2,3 nohz_full2,3 rcu_nocbs2,3isolcpus把指定核從通用調(diào)度里摘出來nohz_full讓這些核在只有一個任務(wù)時不收時鐘中斷rcu_nocbs把 RCU 回調(diào)挪走。用戶態(tài)采集線程用SCHED_FIFO優(yōu)先級 80 以上綁到隔離核mlockall鎖住內(nèi)存避免缺頁。裁剪要克制把CONFIG_VME_USER也裁掉之前先確認(rèn)現(xiàn)場調(diào)試手段齊了很多團(tuán)隊是把精簡版發(fā)到現(xiàn)場結(jié)果出問題時連個ls /sys/class/vme_user/都跑不了。5. 上板排錯與吞吐、延遲的量化手法5.1 SERR/BERR、超時與終端匹配的定位順序VME 報錯信息通常很籠統(tǒng)按固定順序排查能省大量時間。第一步量背板兩端的有源終端是否在位缺終端時表現(xiàn)為短距離能跑、長機(jī)箱隨機(jī)出錯第二步確認(rèn) AM 編碼與從卡手冊一致第三步用示波器看 DTACK* 是否在規(guī)定超時內(nèi)拉低不拉低說明從端地址沒匹配上第四步才懷疑橋寄存器配置。BERR* 主動拉低一般是訪問了不存在的地址或從卡進(jìn)入錯誤狀態(tài)此時把該從卡的 CSR 讀一遍往往能看到錯誤標(biāo)志位。注意機(jī)箱上電順序會影響結(jié)果某些從卡在主端枚舉之前需要更長的自檢時間腳本里加兩三秒延時再開始掃描比改驅(qū)動參數(shù)更快定位。5.2 用 sysfs 快照做回歸比對現(xiàn)場昨天還好今天不行的問題靠快照比對最快。把關(guān)鍵狀態(tài)落到文件每次上電自動 dump 一份for f in /sys/class/vme_user/vme_user_*/master/*; do printf %s %s\n $f $(cat $f 2/dev/null) done /var/log/vme-snapshot-$(date %Y%m%d%H%M).log diff (grep master /var/log/vme-snapshot-ok.log) \ (grep master /var/log/vme-snapshot-*.log | tail -n 40)只要aspace、size、vme_addr三者有一次對不上就能直接排除軟件運行期問題轉(zhuǎn)向硬件和上電時序。5.3 吞吐與抖動的量化方法吞吐用一個固定大小的塊反復(fù)讀取穩(wěn)定段的中位數(shù)# 用戶態(tài)塊讀bs 是窗口寬度count 按實際從卡容量調(diào)整 dd if/dev/vme_user_a of/dev/null bs65536 count256 iflagdirectDMA 路徑下這個數(shù)字通常能達(dá)到 100 MB/s 量級PIO 路徑會低一個數(shù)量級兩者差多少直接決定要不要為某塊從卡單獨申請 DMA 通道。抖動用中斷時間戳統(tǒng)計在用戶態(tài)記錄連續(xù)兩次read返回的間隔算 P99 和最大值最大值超過設(shè)定閾值就說明有核被其他任務(wù)搶占回去檢查isolcpus是否真的生效、是否有非隔離核上的任務(wù)在搶總線。本文還有配套的精品資源點擊獲取 VME總線嵌入式Linux驅(qū)動開發(fā)：窗口、DMA、中斷與實時調(diào)優(yōu)
簡介《基于VME總線的嵌入式Linux應(yīng)用的研究》是一篇面向高能物理數(shù)據(jù)獲取DAQ讀出系統(tǒng)開發(fā)者與嵌入式方向研究生的參考文獻(xiàn)論證以開源Linux替代VxWorks等商業(yè)實時操作系統(tǒng)的可行性。文章以BESIII量能器讀出機(jī)箱和MVME5500控制器為硬件平臺結(jié)合TimeSys LinuxLink內(nèi)核2.6.9與vme_universe橋接驅(qū)動逐項講解寄存器讀寫、CBLT傳輸、中斷處理、多線程及cache一致性等關(guān)鍵技術(shù)并給出內(nèi)核與驅(qū)動修改思路及系統(tǒng)測試結(jié)果可直接用于工程選型與開發(fā)參考。資源為1個PDF文件壓縮包約282KB篇幅精煉便于快速通讀與檢索要點。目前已有120人學(xué)習(xí)下載適合需要建立VME總線與嵌入式Linux整體認(rèn)知、或為類似讀出系統(tǒng)做方案調(diào)研的讀者。1. VME 總線上的嵌入式 Linux老背板上跑新內(nèi)核到底難在哪實驗室那臺 6U 機(jī)箱背板是上世紀(jì)定下來的 VME插著采集卡、D/A 卡、反射內(nèi)存卡CPU 板已經(jīng)換到第三代。換成嵌入式 Linux 后網(wǎng)絡(luò)、文件系統(tǒng)、調(diào)試工具全都好用了但第一次上電大概率是黑屏橋接芯片的窗口沒配上、從端地址映射對不上、中斷向量號寫成 0、背板終端沒開任何一個都會讓總線周期直接超時。VME 的難點從來不在 Linux 本身而在于它是一套有明確電氣和時序語義的并行背板軟件必須先把這些語義翻譯成內(nèi)核能理解的對象。下面按地址空間與 AM 編碼、設(shè)備樹與內(nèi)核配置、窗口與 DMA 驅(qū)動、中斷與實時性、上板排錯與量化這幾步往下走每一步都給能直接抄的命令和參數(shù)。2. VME64 的地址空間、窗口與中斷語義怎么落到 Linux VME 子系統(tǒng)2.1 A16/A24/A32 與地址修飾符 AM選錯就根本訪問不到從端VMEbus 是異步、并行、多主的總線地址線 A01–A31 與數(shù)據(jù)線 D00–D31 各自獨立一次讀寫由 DS0*/DS1* 與 WRITE* 握手發(fā)起周期長度由從端通過 DTACK* 或 BERR* 決定。這套機(jī)制沒有時鐘同步問題代價是軟件不能假設(shè)訪問一定在固定周期內(nèi)返回必須為超時留出處理路徑。地址空間分三級外加 VME64x 引入的配置空間實際布線時按從卡手冊選空間地址寬度容量典型用途常用 AM 編碼hexA1616 位64 KB板卡 CSR、控制寄存器0x2D 特權(quán)數(shù)據(jù) / 0x29 非特權(quán)A2424 位16 MB大多數(shù)從端共享內(nèi)存0x3D / 0x39A3232 位4 GB反射內(nèi)存、大塊緩沖0x0D / 0x09CR/CSR——VME64x 配置空間0x2FAM 是 6 位地址修飾符跟地址一起發(fā)到背板從端用它判斷這次訪問是不是給自己的、是特權(quán)還是非特權(quán)、是取指還是數(shù)據(jù)。主端 AM 寫錯的典型現(xiàn)象是地址看著沒錯從端卻完全不響應(yīng) DTACK*主端一路等到超時日志里只剩一句籠統(tǒng)的總線錯誤。我一般先在紙上把每塊從卡的 A16 CSR 基址、A24 數(shù)據(jù)窗口基址、AM 編碼列成一張表再往代碼里填比在代碼里反復(fù)試快得多。2.2 Linux VME 子系統(tǒng)的四類對象橋、主窗口、從窗口、DMA內(nèi)核drivers/vme/下是一條獨立子系統(tǒng)和設(shè)備樹里的 platform bus 平級。橋接芯片驅(qū)動向上注冊一個struct vme_bridge內(nèi)部掛五類控制器master本板作主端訪問別人、slave本板作從端被別人訪問、dma橋內(nèi)建 DMA 引擎、location monitor地址監(jiān)聽、irq中斷控制器。設(shè)備用(bus, slot)二元組定位bus 是機(jī)箱邏輯編號slot 是槽位號1 到 21。static struct vme_driver my_vme_driver { .name my_vme_card, .match vme_match_device, /* 按 slot 過濾或直接返回 true */ .probe my_vme_probe, .remove my_vme_remove, }; module_vme_driver(my_vme_driver);match回調(diào)拿到的是struct vme_dev里面能讀出 bus 號和 slot 號只有返回真內(nèi)核才會調(diào)用 probe 并把 bridge 指針傳進(jìn)來。真正的瓶頸在窗口數(shù)量橋接芯片通常只有 8 個主窗口、8 個從窗口、1 個 DMA 引擎多塊從卡必須復(fù)用同一批窗口。所以窗口分配要集中管理常見做法是在板級初始化里先按功能把窗口切好各驅(qū)動通過約定好的索引取用而不是每個驅(qū)動各自vme_master_request一遍。2.3 IRQ1–IRQ7 與 IACK 菊花鏈中斷注冊的坐標(biāo)系VME 有 7 條中斷線 IRQ1*–IRQ7*低電平有效多個從端可以共享同一條線。主端收到中斷后必須發(fā)起一次 IACK 周期IACK 信號沿菊花鏈從槽 1 向槽 21 傳遞第一個中斷待決的從端把狀態(tài)/ID 和 8 位向量號放到數(shù)據(jù)線上。所以 VME 中斷天然帶向量號Linux 這邊可以直接用它區(qū)分來源而不必像 GPIO 中斷那樣再額外查寄存器。/* level 取 1..7slot 是發(fā)起中斷的從端槽號-1 表示不關(guān)心 */ ret vme_irq_request(bridge, slot, level, my_irq_handler, priv); if (ret) dev_err(dev, irq %d request failed: %d\n, level, ret);handler 的第一個參數(shù)是 IRQ 等級第二個是向量號返回IRQ_HANDLED表示已處理。最常見的坑是菊花鏈上的 IACKOUT* 沒有接到下一槽的 IACKIN*中斷永遠(yuǎn)進(jìn)不來但示波器上 IRQ 線明明是被拉低的——先量菊花鏈連通性再懷疑軟件。3. 用設(shè)備樹和內(nèi)核配置把 VME 橋接芯片交給 Linux3.1 橋接芯片節(jié)點的最小設(shè)備樹片段橋接芯片分兩類描述方式不同。Tsi148、Universe II 這類 PCI 器件內(nèi)核靠 PCI 枚舉就能發(fā)現(xiàn)設(shè)備樹里通常不用額外寫節(jié)點只要保證 PCI 總線可見而 SoC 內(nèi)部或 FPGA 里自己實現(xiàn)的 VME 控制器走 memory-mapped 寄存器就必須用設(shè)備樹描述否則 probe 根本不會被調(diào)用。vme_ctrl: vme43c00000 { compatible vendor,fpga-vme; reg 0x0 0x43c00000 0x0 0x10000; interrupt-parent intc; interrupts 0 61 4; /* GIC SPI 61高電平觸發(fā) */ vme-bus-num 0; vme-slot-num 1; clock-frequency 33333333; /* 橋內(nèi)部時鐘超時計數(shù)換算用 */ status okay; };reg是橋寄存器塊probe 里用devm_ioremap_resource映射interrupts是橋匯聚后上報給 SoC 的那一根線VME 側(cè)的 IRQ1–IRQ7 最終都要映射到它vme-bus-num與vme-slot-num是自定義屬性probe 里讀出來直接喂給vme_register_bridge省掉一次硬編碼clock-frequency決定超時寄存器的計數(shù)換算寫錯會導(dǎo)致所有訪問都報超時。3.2 menuconfig 里必須開的幾項與模塊加載順序make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- menuconfig # 關(guān)鍵項 # CONFIG_VME_BUSy 子系統(tǒng)核心 # CONFIG_VME_TSI148m 或 CONFIG_VME_CA91CX42m # CONFIG_VME_USERm 用戶態(tài)腳手架 # CONFIG_OFy / CONFIG_PCIy # CONFIG_PREEMPT_RTy 實時性要求高時打開 make ARCHarm64 CROSS_COMPILEaarch64-linux-gnu- -j$(nproc) Image modules dtbs加載順序必須是核心 → 橋驅(qū)動 → vme_user。用 initramfs 時把模塊名按這個順序?qū)戇M(jìn)/etc/modules-load.d/vme.conf或者直接在啟動腳本里modprobe vme_tsi148 modprobe vme_user。順序反了會看到vme_user: no VME bridge found橋隨后才注冊設(shè)備節(jié)點就永遠(yuǎn)不出現(xiàn)。3.3 用 vme_user 在用戶態(tài)跑通第一次讀寫vme_user是把橋的窗口映射成字符設(shè)備的腳手架非常適合上板第一天的連通性驗證比直接寫內(nèi)核模塊快一個數(shù)量級。# 先確認(rèn)橋被識別、槽號和地址空間讀取正常 ls /sys/bus/vme/devices/ cat /sys/class/vme_user/vme_user_a/master/aspace # 當(dāng)前地址空間類型 cat /sys/class/vme_user/vme_user_a/master/size # 窗口字節(jié)數(shù)#include fcntl.h #include unistd.h #include stdint.h int fd open(/dev/vme_user_a, O_RDWR); if (fd 0) { perror(open); return -1; } /* lseek 設(shè)置的是窗口內(nèi)偏移不是絕對 VME 地址 */ off_t off lseek(fd, 0x8000, SEEK_SET); uint32_t val 0; ssize_t n read(fd, val, sizeof(val)); /* 讀一個 D32 */ printf(off%lld n%zd val0x%08x\n, (long long)off, n, val);注意lseek改的是窗口內(nèi)偏移絕對 VME 地址由窗口基址決定兩者別混。read/write的長度要對齊數(shù)據(jù)寬度D16 窗口讀 4 字節(jié)會返回EINVAL。窗口的 aspace、基址、寬度通過VME_SET_MASTER這個 ioctl 下發(fā)結(jié)構(gòu)體字段是enable / vme_addr / size / aspace / cycle / dwidth改完一次生效直到下次下發(fā)。第一步只要能穩(wěn)定讀回從卡手冊里寫死的 ID 寄存器后面的驅(qū)動才有意義。4. 寫一個 VME 從設(shè)備驅(qū)動窗口、DMA 與中斷的落地4.1 主窗口映射與 vme_master_read/write內(nèi)核側(cè)訪問從端必須先申請窗口再設(shè)置參數(shù)兩步分開是有意設(shè)計申請時只聲明想要什么類型設(shè)置時才綁定具體地址方便在同一資源上反復(fù)切換從卡。struct vme_resource *res; /* VME_A24 地址空間D32 數(shù)據(jù)寬度SCT 特權(quán)數(shù)據(jù)訪問 */ res vme_master_request(bridge, VME_A24, VME_D32, VME_SCT); if (!res) return -ENODEV; /* enable1, vme_addr0x100000, size64KB, 空間/周期/寬度三連 */ ret vme_master_set(bridge, res, 1, 0x100000, 0x10000, VME_A24, VME_SCT, VME_D32); if (ret) return ret; vme_master_read(bridge, res, buf, sizeof(buf), 0); /* 最后一個參數(shù)是偏移 */參數(shù)里最容易錯的是cycleVME_SCT是特權(quán)數(shù)據(jù)訪問對應(yīng) AM 0x3D如果從卡期望非特權(quán)訪問必須換成VME_D32 | VME_USER那一組否則從端不響應(yīng)。vme_master_rmw用于讀-改-寫原子操作適合操作從卡的置位/清零寄存器比讀出、改、寫回少一次總線競爭窗口。4.2 DMA 傳輸vme_dma_list 的鏈表式用法大塊數(shù)據(jù)不要用vme_master_read逐字搬那是 CPU 同步訪問64KB 就能把總線占滿。橋內(nèi)建 DMA 引擎的正確用法是構(gòu)造鏈表再一次性執(zhí)行。struct vme_dma_list *list vme_new_dma_list(bridge); struct vme_dma_attr src, dst; memset(src, 0, sizeof(src)); src.type VME_DMA_VME; src.attr.vme.physical 0x100000; /* 從端 VME 地址 */ src.attr.vme.aspace VME_A24; src.attr.vme.dwidth VME_D32; memset(dst, 0, sizeof(dst)); dst.type VME_DMA_PCI; dst.attr.pci.physical dma_handle; /* 本端已 dma_map 的物理地址 */ vme_dma_list_add(list, src, dst, 0x10000); /* 64KB 一趟 */ vme_dma_list_exec(list); /* 阻塞到完成 */ vme_dma_free(list);type取VME_DMA_VME還是VME_DMA_PCI決定這一端是背板側(cè)還是本地側(cè)方向由誰當(dāng) src 誰當(dāng) dst 決定。多段不連續(xù)緩沖可以連續(xù)vme_dma_list_add引擎按鏈表順序執(zhí)行比多次單趟快很多。注意vme_dma_list_exec是阻塞調(diào)用放在中斷上下文會睡死必須交給工作隊列。4.3 中斷注冊與用戶態(tài)通知內(nèi)核驅(qū)動的中斷處理盡量短讀向量號、清從端中斷源、把事件塞進(jìn)環(huán)形緩沖剩下的交給下半部。static irqreturn_t my_irq_handler(int level, int vector, void *data) { struct my_dev *dev data; dev-irq_count; dev-last_vector vector; /* 清從端中斷源否則會一直重觸發(fā) */ vme_master_write(dev-bridge, dev-res, zero, sizeof(zero), 0x04); wake_up_interruptible(dev-wq); /* 喚醒阻塞在 read 上的用戶態(tài)進(jìn)程 */ return IRQ_HANDLED; }用戶態(tài)用read()阻塞在等待隊列上比輪詢省 CPU也比信號量語義清晰。vme_irq_request/vme_irq_free要配對模塊卸載漏掉后者會讓后續(xù)重新加載失敗并報-EBUSY。4.4 系統(tǒng)裁剪與 PREEMPT_RT 實時性調(diào)優(yōu)VME 場景往往對抖動有要求通用內(nèi)核的調(diào)度延遲是毫秒級不夠用。裁剪和實時化同時做# 實時補(bǔ)丁 去掉不需要的子系統(tǒng) ./scripts/config --enable PREEMPT_RT ./scripts/config --disable SOUND ./scripts/config --disable WIRELESS ./scripts/config --disable DRM ./scripts/config --enable HIGH_RES_TIMERS # 啟動參數(shù)隔離 CPU 給采集線程打斷核遷移 # isolcpus2,3 nohz_full2,3 rcu_nocbs2,3isolcpus把指定核從通用調(diào)度里摘出來nohz_full讓這些核在只有一個任務(wù)時不收時鐘中斷rcu_nocbs把 RCU 回調(diào)挪走。用戶態(tài)采集線程用SCHED_FIFO優(yōu)先級 80 以上綁到隔離核mlockall鎖住內(nèi)存避免缺頁。裁剪要克制把CONFIG_VME_USER也裁掉之前先確認(rèn)現(xiàn)場調(diào)試手段齊了很多團(tuán)隊是把精簡版發(fā)到現(xiàn)場結(jié)果出問題時連個ls /sys/class/vme_user/都跑不了。5. 上板排錯與吞吐、延遲的量化手法5.1 SERR/BERR、超時與終端匹配的定位順序VME 報錯信息通常很籠統(tǒng)按固定順序排查能省大量時間。第一步量背板兩端的有源終端是否在位缺終端時表現(xiàn)為短距離能跑、長機(jī)箱隨機(jī)出錯第二步確認(rèn) AM 編碼與從卡手冊一致第三步用示波器看 DTACK* 是否在規(guī)定超時內(nèi)拉低不拉低說明從端地址沒匹配上第四步才懷疑橋寄存器配置。BERR* 主動拉低一般是訪問了不存在的地址或從卡進(jìn)入錯誤狀態(tài)此時把該從卡的 CSR 讀一遍往往能看到錯誤標(biāo)志位。注意機(jī)箱上電順序會影響結(jié)果某些從卡在主端枚舉之前需要更長的自檢時間腳本里加兩三秒延時再開始掃描比改驅(qū)動參數(shù)更快定位。5.2 用 sysfs 快照做回歸比對現(xiàn)場昨天還好今天不行的問題靠快照比對最快。把關(guān)鍵狀態(tài)落到文件每次上電自動 dump 一份for f in /sys/class/vme_user/vme_user_*/master/*; do printf %s %s\n $f $(cat $f 2/dev/null) done /var/log/vme-snapshot-$(date %Y%m%d%H%M).log diff (grep master /var/log/vme-snapshot-ok.log) \ (grep master /var/log/vme-snapshot-*.log | tail -n 40)只要aspace、size、vme_addr三者有一次對不上就能直接排除軟件運行期問題轉(zhuǎn)向硬件和上電時序。5.3 吞吐與抖動的量化方法吞吐用一個固定大小的塊反復(fù)讀取穩(wěn)定段的中位數(shù)# 用戶態(tài)塊讀bs 是窗口寬度count 按實際從卡容量調(diào)整 dd if/dev/vme_user_a of/dev/null bs65536 count256 iflagdirectDMA 路徑下這個數(shù)字通常能達(dá)到 100 MB/s 量級PIO 路徑會低一個數(shù)量級兩者差多少直接決定要不要為某塊從卡單獨申請 DMA 通道。抖動用中斷時間戳統(tǒng)計在用戶態(tài)記錄連續(xù)兩次read返回的間隔算 P99 和最大值最大值超過設(shè)定閾值就說明有核被其他任務(wù)搶占回去檢查isolcpus是否真的生效、是否有非隔離核上的任務(wù)在搶總線。本文還有配套的精品資源點擊獲取