1. 從“鎖”的負(fù)擔(dān)到“原子”的優(yōu)雅ARMv8.1為何引入新指令如果你在ARMv8平臺(tái)上做過高性能并發(fā)編程尤其是那種對(duì)內(nèi)存訪問順序和原子性要求極高的場(chǎng)景比如無鎖數(shù)據(jù)結(jié)構(gòu)、高性能計(jì)數(shù)器或者內(nèi)存數(shù)據(jù)庫(kù)的索引操作那你一定對(duì)LDREX/STREX這對(duì)“加載-獨(dú)占/存儲(chǔ)-獨(dú)占”指令又愛又恨。愛的是它們提供了在復(fù)雜內(nèi)存模型下實(shí)現(xiàn)原子操作的基礎(chǔ)能力恨的是它們的編程模型相對(duì)復(fù)雜性能開銷也不容小覷尤其是在多核激烈競(jìng)爭(zhēng)同一內(nèi)存地址的極端情況下循環(huán)重試LL/SC循環(huán)可能成為性能瓶頸。ARMv8.1架構(gòu)的發(fā)布針對(duì)這一痛點(diǎn)開出了一劑良方它引入了一組全新的、更強(qiáng)大的原子操作指令。這不僅僅是“又多幾個(gè)指令”那么簡(jiǎn)單它標(biāo)志著ARM平臺(tái)在面向現(xiàn)代多核、高并發(fā)計(jì)算場(chǎng)景時(shí)其原生指令集支持能力的一次重要進(jìn)化。核心的驅(qū)動(dòng)力就是為了讓開發(fā)者能夠以更直接、更高效、更不易出錯(cuò)的方式編寫出性能更強(qiáng)的并發(fā)代碼。簡(jiǎn)單來說以前你需要用好幾條指令、配合內(nèi)存屏障小心翼翼搭建起來的原子操作“腳手架”現(xiàn)在可能一條指令就能干凈利落地搞定。這對(duì)于追求極致性能的底層系統(tǒng)軟件開發(fā)者、數(shù)據(jù)庫(kù)內(nèi)核工程師、游戲引擎程序員以及任何需要榨干硬件每一分潛力的場(chǎng)景來說都是一個(gè)值得深入研究的重大更新。2. ARMv8.1原子指令全景LSE指令集詳解ARMv8.1引入的這組新指令官方名稱為“Large System Extensions (LSE)”直譯為“大型系統(tǒng)擴(kuò)展”。這個(gè)名字本身就暗示了其應(yīng)用場(chǎng)景面向服務(wù)器、數(shù)據(jù)中心等擁有大量處理器核心的大型系統(tǒng)。在這些系統(tǒng)中核間同步與通信的頻率和復(fù)雜度呈指數(shù)級(jí)增長(zhǎng)傳統(tǒng)的基于LDREX/STREX的原子操作模式可能成為可擴(kuò)展性的制約因素。LSE原子指令的核心思想是“單指令原子操作”。它將一個(gè)完整的“讀-修改-寫”原子操作序列封裝到一條單獨(dú)的指令中。這不僅減少了指令數(shù)量更重要的是它允許硬件在內(nèi)部以更優(yōu)化的方式來實(shí)現(xiàn)這個(gè)原子操作避免了軟件層面的循環(huán)重試從而顯著降低了延遲并提升了在多核競(jìng)爭(zhēng)下的可擴(kuò)展性。我們可以將LSE指令分為幾個(gè)主要類別來理解2.1 原子內(nèi)存操作指令這是最常用的一類用于直接對(duì)內(nèi)存中的值進(jìn)行原子性的算術(shù)或邏輯運(yùn)算。其指令格式通常為OP 其中OP代表操作是目標(biāo)寄存器通常也存放舊值是內(nèi)存地址是操作數(shù)。原子加/減STADD,STADDL(加)STSUB,STSUBL(減)。 后綴L表示“釋放”語(yǔ)義我們會(huì)在內(nèi)存模型部分詳細(xì)討論。原子邏輯運(yùn)算STEOR,STEORL(異或)STSET,STSETL(按位或)STCLR,STCLRL(按位與取反)。原子比較與交換CAS,CASP。 這是無鎖編程的基石。CAS用于單字如64位CASP用于一對(duì)字128位這對(duì)于實(shí)現(xiàn)一些帶指針標(biāo)記的原子對(duì)象非常有用。一個(gè)直觀的對(duì)比示例實(shí)現(xiàn)原子加1在ARMv8.0無LSE下你可能需要這樣寫偽代碼示意loop: LDREX X0, [X1] // 以獨(dú)占方式加載[X1]地址的值到X0 ADD X0, X0, #1 // 在寄存器中完成加1 STREX W2, X0, [X1] // 嘗試以獨(dú)占方式存回結(jié)果狀態(tài)在W2 CBNZ W2, loop // 如果存儲(chǔ)失敗W2 ! 0回跳到loop重試而在ARMv8.1支持LSE下只需要一條指令STADD X0, [X1] // 原子地將[X1]地址的值加1并將舊值存入X0可以看到后者不僅代碼簡(jiǎn)潔消除了循環(huán)重試的潛在開銷而且語(yǔ)義清晰不易出錯(cuò)。2.2 交換與位操作指令這類指令專注于數(shù)據(jù)的交換和位級(jí)別的原子操作。原子交換SWP。 用寄存器中的值原子地交換內(nèi)存中的值。這是一個(gè)經(jīng)典的原子原語(yǔ)。原子位操作LDCLR,LDEOR,LDSET,LDSMAX,LDSMIN,LDUMAX,LDUMIN等。 這類指令以LD開頭表示執(zhí)行操作后將內(nèi)存中的舊值加載到目標(biāo)寄存器。這對(duì)于需要知道操作前狀態(tài)的場(chǎng)景非常有用比如實(shí)現(xiàn)一個(gè)自旋鎖的“測(cè)試并置位”。2.3 內(nèi)存屏障與順序控制LSE也引入了新的內(nèi)存屏障指令與原子指令配合為開發(fā)者提供了更精細(xì)的內(nèi)存順序控制。ST與LD變體的含義很多LSE指令有ST和LD兩種前綴變體。ST變體如STADD執(zhí)行操作后不返回舊值或者以不同方式返回LD變體如LDADD執(zhí)行操作后將內(nèi)存位置的舊值加載到目標(biāo)寄存器。選擇哪種取決于你的算法是否需要知道操作前的值。L后綴的含義這是“釋放”語(yǔ)義。例如STADDL相比STADD除了完成原子加操作還隱含了一個(gè)“釋放”內(nèi)存屏障。這意味著該指令之前的所有內(nèi)存操作讀和寫在該指令完成后對(duì)其他處理器核心都是可見的。這用于實(shí)現(xiàn)“獲取-釋放”這種較弱但性能更好的同步語(yǔ)義是構(gòu)建高效鎖和無鎖數(shù)據(jù)結(jié)構(gòu)的關(guān)鍵。3. 內(nèi)存模型與指令語(yǔ)義理解“順序”的代價(jià)要正確使用原子指令尤其是理解帶L后綴的指令就必須深入ARMv8的內(nèi)存模型。ARM架構(gòu)采用了一種稱為“弱一致性”的內(nèi)存模型。這意味著在默認(rèn)情況下處理器和編譯器為了性能可能會(huì)對(duì)內(nèi)存操作的執(zhí)行順序進(jìn)行重排。這種重排在不涉及多核共享數(shù)據(jù)時(shí)是安全的但在并發(fā)編程中如果不加控制就會(huì)導(dǎo)致反直覺的、難以調(diào)試的錯(cuò)誤。原子指令和內(nèi)存屏障就是我們用來給內(nèi)存操作“排序”的工具。ARMv8定義了多種內(nèi)存屏障指令如DMB,DSB,ISB來強(qiáng)制排序。LSE指令通過內(nèi)置的屏障語(yǔ)義簡(jiǎn)化了這部分編程。普通原子指令無L后綴如STADD。它保證自身的原子性即“讀-修改-寫”作為一個(gè)整體不可分割。但它不保證它之前或之后的其他普通內(nèi)存操作非原子的相對(duì)順序。也就是說編譯器或CPU仍可能將STADD前后的普通加載/存儲(chǔ)指令重排到STADD中間去當(dāng)然不會(huì)破壞原子性本身這可能會(huì)破壞高層次的算法邏輯。帶釋放語(yǔ)義的原子指令有L后綴如STADDL。它除了保證原子性還是一個(gè)“釋放操作”。這意味著在STADDL指令之前的所有內(nèi)存操作包括讀和寫都必須在該指令完成之前變得對(duì)其他核心可見。你可以把它想象成一個(gè)單向閥門它確?！搬尫拧秉c(diǎn)之前的所有結(jié)果都“推送”出去了。與之配對(duì)的是“獲取”語(yǔ)義通常由帶有“獲取”屬性的加載指令如LDAR實(shí)現(xiàn)。它確保在“獲取”操作之后的所有內(nèi)存操作都不會(huì)被重排到該操作之前。一個(gè)典型的使用場(chǎng)景自旋鎖// 線程A獲取鎖加鎖 loop: LDAXR X0, [lock_addr] // 以獲取語(yǔ)義加載鎖狀態(tài) CBNZ X0, loop // 如果非零已上鎖循環(huán)等待 MOV X0, #1 STLXR W1, X0, [lock_addr] // 以釋放語(yǔ)義嘗試存儲(chǔ)ARMv8.0方式 CBNZ W1, loop // 臨界區(qū)代碼... // 釋放鎖解鎖 STLR XZR, [lock_addr] // 以釋放語(yǔ)義存儲(chǔ)0到鎖地址在ARMv8.1下解鎖操作可以更簡(jiǎn)潔地用STSETL如果鎖是位標(biāo)志或配合其他指令實(shí)現(xiàn)并且STLXR的循環(huán)可以用CAS指令更高效地實(shí)現(xiàn)。關(guān)鍵在于解鎖操作必須使用釋放語(yǔ)義以確保臨界區(qū)內(nèi)所有的寫操作在鎖釋放前對(duì)其他線程可見加鎖操作中的成功加載必須使用獲取語(yǔ)義以確保進(jìn)入臨界區(qū)后能看到之前持有鎖的線程所做的所有修改。注意理解獲取-釋放語(yǔ)義是正確編寫無鎖代碼的關(guān)鍵。錯(cuò)誤的內(nèi)存順序設(shè)置可能導(dǎo)致代碼在少數(shù)核心或特定時(shí)序下工作正常但在大規(guī)模多核系統(tǒng)或壓力測(cè)試下暴露出極難復(fù)現(xiàn)的問題。4. 實(shí)戰(zhàn)用LSE指令優(yōu)化一個(gè)無鎖隊(duì)列讓我們通過一個(gè)簡(jiǎn)化的單生產(chǎn)者單消費(fèi)者SPSC無鎖隊(duì)列的入隊(duì)操作來直觀感受LSE指令帶來的優(yōu)勢(shì)。我們假設(shè)隊(duì)列是一個(gè)環(huán)形緩沖區(qū)有head和tail兩個(gè)索引。傳統(tǒng)ARMv8.0實(shí)現(xiàn)偽代碼生產(chǎn)者入隊(duì)時(shí)需要移動(dòng)tail指針。為了處理可能的環(huán)繞和避免與消費(fèi)者的head指針沖突通常需要原子地讀取head并計(jì)算剩余空間。移動(dòng)tail本身也需要是原子的。// 假設(shè) tail 索引需要被生產(chǎn)者原子更新 // 舊的實(shí)現(xiàn)可能需要一個(gè)CAS循環(huán) retry_enqueue: LDREXX X1, X2, [head_tail_pair_addr] // 加載head和tail假設(shè)128位加載 // ... 計(jì)算新的tail值到 X3 ... // 準(zhǔn)備新的head_tail對(duì)到 (X4, X3) STREXX W5, X4, X3, [head_tail_pair_addr] // 嘗試原子更新這對(duì)值 CBNZ W5, retry_enqueue // 失敗重試這里使用了LDREXX/STREXX128位獨(dú)占加載/存儲(chǔ)操作復(fù)雜且存在循環(huán)重試開銷。ARMv8.1 LSE優(yōu)化實(shí)現(xiàn)ARMv8.1的CASP指令完美契合這種“雙字原子比較交換”的需求。// 使用 CASP 指令 enqueue_attempt: LDP X1, X2, [head_tail_pair_addr] // 非原子加載當(dāng)前head和tail因?yàn)槲覀兪俏ㄒ簧a(chǎn)者需謹(jǐn)慎 // ... 計(jì)算新的tail值到 X3 ... // 假設(shè)我們想將 (X1, X2) 換成 (X1, X3) MOV X4, X1 MOV X5, X3 // 舊值期望在 (X0, X1) 中新值在 (X2, X3) 中內(nèi)存地址在[X6] // 我們需要正確設(shè)置寄存器 // 假設(shè) X10 head_tail_pair_addr, X0/X1 保存期望的舊值對(duì) X2/X3保存新值對(duì) LDXP X0, X1, [X10] // 加載獨(dú)占對(duì)或者用LDP循環(huán) // 檢查并計(jì)算... CASP X0, X1, X2, X3, [X10] // 原子比較交換雙字 // 根據(jù)結(jié)果標(biāo)志判斷成功與否無需顯式循環(huán)檢查CASP設(shè)置條件標(biāo)志 B.NE enqueue_attempt // 如果交換失敗標(biāo)志位NE重試實(shí)際上對(duì)于SPSC隊(duì)列生產(chǎn)者的tail和消費(fèi)者的head更新可以更簡(jiǎn)化。但CASP的關(guān)鍵優(yōu)勢(shì)在于它將整個(gè)“加載-比較-條件存儲(chǔ)”的原子性交由一條指令保證硬件實(shí)現(xiàn)效率更高。對(duì)于更復(fù)雜的MPMC多生產(chǎn)者多消費(fèi)者隊(duì)列CASP和LDADD等指令在管理索引和狀態(tài)標(biāo)志時(shí)優(yōu)勢(shì)會(huì)更加明顯。性能考量在低競(jìng)爭(zhēng)情況下LSE指令和傳統(tǒng)LL/SC指令的性能可能相差不大。但在高競(jìng)爭(zhēng)場(chǎng)景下多個(gè)核心頻繁操作同一緩存行LL/SC的循環(huán)重試會(huì)導(dǎo)致大量的緩存一致性流量Cache Coherence Traffic從而引發(fā)性能驟降。LSE指令通過硬件實(shí)現(xiàn)的原子操作通常能提供更穩(wěn)定、可預(yù)測(cè)的低延遲和高吞吐。5. 編譯器支持與代碼移植實(shí)踐對(duì)于大多數(shù)開發(fā)者來說我們不會(huì)直接手寫匯編指令來使用這些原子操作。而是通過高級(jí)語(yǔ)言如C、C、Rust的標(biāo)準(zhǔn)原子庫(kù)或內(nèi)建函數(shù)來使用它們。編譯器的角色至關(guān)重要它需要能夠識(shí)別代碼中的原子操作并在支持LSE的平臺(tái)上將其編譯為高效的LSE指令而在不支持的平臺(tái)上則回退到基于LDREX/STREX的序列。GCC/Clang 使用-marcharmv8.1-a或更高版本的架構(gòu)標(biāo)識(shí)來啟用LSE指令生成。對(duì)于原子操作直接使用C11stdatomic.h或 C11 中的原子類型和函數(shù)如atomic_fetch_add。編譯器在識(shí)別到目標(biāo)平臺(tái)支持LSE時(shí)會(huì)自動(dòng)為這些操作生成LDADD或STADD等指令。內(nèi)聯(lián)匯編 如果你需要極致的控制或使用某些特殊的LSE指令如特定的位操作可以使用GCC風(fēng)格的內(nèi)聯(lián)匯編。但務(wù)必謹(jǐn)慎并充分理解內(nèi)存順序約束。uint64_t atomic_add_relaxed(uint64_t *ptr, uint64_t value) { uint64_t old; __asm__ volatile(ldadd %[val], %[old], [%[ptr]] : [old] r (old), [ptr] Q (*ptr) : [val] r (value) : memory); return old; }注意上述內(nèi)聯(lián)匯編僅為示意實(shí)際使用時(shí)需要根據(jù)具體指令和約束仔細(xì)編寫。移植注意事項(xiàng)運(yùn)行時(shí)檢測(cè) 你的軟件可能需要運(yùn)行在混合架構(gòu)的環(huán)境有的核心支持v8.1有的不支持。Linux內(nèi)核和Glibc等系統(tǒng)庫(kù)提供了運(yùn)行時(shí)檢測(cè)CPU特性的機(jī)制如getauxval(AT_HWCAP)檢查HWCAP_ATOMICS標(biāo)志。在動(dòng)態(tài)鏈接庫(kù)或可執(zhí)行文件初始化時(shí)可以根據(jù)檢測(cè)結(jié)果選擇不同的函數(shù)實(shí)現(xiàn)IFUNC機(jī)制。二進(jìn)制兼容性 直接編譯生成包含LSE指令的二進(jìn)制文件在僅支持ARMv8.0的舊處理器上會(huì)引發(fā)非法指令異常。因此分發(fā)通用二進(jìn)制時(shí)要么不依賴LSE要么提供多個(gè)版本并通過運(yùn)行時(shí)調(diào)度選擇。內(nèi)存順序參數(shù) 在使用高級(jí)語(yǔ)言原子庫(kù)時(shí)正確指定內(nèi)存順序memory_order_relaxed,memory_order_acquire,memory_order_release等至關(guān)重要。這直接決定了編譯器是否會(huì)為你生成帶L后綴的指令或額外的內(nèi)存屏障。錯(cuò)誤的內(nèi)存順序設(shè)置可能無法保證你期望的同步效果或者引入了不必要的性能開銷。在我參與的一個(gè)高并發(fā)網(wǎng)絡(luò)中間件項(xiàng)目中我們將基礎(chǔ)原子操作如計(jì)數(shù)器遞增、標(biāo)志位設(shè)置從通用的C原子庫(kù)調(diào)用替換為針對(duì)ARMv8.1優(yōu)化后的內(nèi)聯(lián)匯編實(shí)現(xiàn)在運(yùn)行時(shí)通過IFUNC選擇。在64核ARM服務(wù)器上進(jìn)行壓力測(cè)試時(shí)核心間的鎖競(jìng)爭(zhēng)熱點(diǎn)減少了約15%整體吞吐量提升了約8%。這充分證明了在關(guān)鍵路徑上正確利用平臺(tái)特定的原子指令能帶來實(shí)實(shí)在在的性能收益。