【Bug已解決】Incompatibility between FlashAttention and ERNIE-Image 解決方案一、現(xiàn)象長什么樣ERNIE-Image 在自己的注意力實(shí)現(xiàn)里用 FlashAttention 加速但裝上某個(gè)版本的 FlashAttention 后跑推理直接崩from diffusers import ErnieImagePipeline pipe ErnieImagePipeline.from_pretrained(baidu/ernie-image) pipe.enable_flash_attn_2() # 開啟 FA2 image pipe(a cat).images[0]報(bào)錯(cuò)RuntimeError expected query, key, value to have the same sequence length dimension, but got q: [1, 4096, 64] and k: [1, 64, 4096] (layout 不匹配)或者AttributeError flash_attn_func() got an unexpected keyword argument window_size又或靜默數(shù)值錯(cuò)開了 FA2 但圖和不開時(shí)不一樣且更糊?，F(xiàn)象總結(jié)ERNIE-Image 的注意力代碼按「某一種 FlashAttention 的布局/API」寫的如 q/k/v 的維度順序、是否接受window_size、是否要求causal但用戶環(huán)境里的 FlashAttention 版本布局/API 不同于是維度不匹配、參數(shù)不匹配或靜默數(shù)值錯(cuò)。二、背景FlashAttention 的接口在不同版本/變體里有差異FA1 / 早期 FA2flash_attn_func(q, k, v, causal...)q/k/v 形狀約定為[B, S, H, D]或[B, S, 3, H, D]packed部分集成版要求 q/k/v 是(B, S, H, D)但有的實(shí)現(xiàn)內(nèi)部把 H 和 S 順序搞反ERNIE 可能按[B, H, S, D]組織window_size / causal有的版本flash_attn_func接受window_size做滑動(dòng)窗口有的沒有這個(gè)參數(shù)。ERNIE-Image 的注意力模塊在寫的時(shí)候假定了某種布局比如它內(nèi)部q是[B, H, S, D]直接丟給flash_attn_func而用戶裝的 FA 版本期望[B, S, H, D]于是 q/k/v 的序列維和頭維對(duì)不上 → RuntimeError?；蛘咚鼈髁藈indow_size但裝的 FA 版本沒這參數(shù) → TypeError。三、根因根因兩點(diǎn)張量布局假設(shè)不一致ERNIE 的注意力把 q/k/v 組織成[B, H, S, D]丟給 FA但 FA 期望[B, S, H, D]或反之維度順序錯(cuò)配 → shape mismatch。API 參數(shù)假設(shè)不一致ERNIE 調(diào)用flash_attn_func(..., window_size...)但用戶 FA 版本沒有該參數(shù) → 或反之ERNIE 沒傳但 FA 需要。本質(zhì)ERNIE-Image 對(duì) FlashAttention 的「張量布局 API 參數(shù)」做了硬編碼假設(shè)而不同 FA 版本這兩點(diǎn)不一致導(dǎo)致兼容性崩。四、最小可運(yùn)行復(fù)現(xiàn)用標(biāo)準(zhǔn)庫復(fù)現(xiàn)「布局假設(shè)不一致導(dǎo)致維度錯(cuò)配」import torch def flash_attn_func_expected(q, k, v): # 假設(shè) FA 期望 [B, S, H, D] assert q.dim() 4 and q.shape[1] q.shape[2] * 0 q.shape[1] # S 在 dim1 return q # 簡化 def ernie_attn_call(q, k, v): # ERNIE 按 [B, H, S, D] 組織直接丟給 FA return flash_attn_func_expected(q, k, v) # ERNIE 的 q: [B, H, S, D] [1, 8, 4096, 64] q torch.randn(1, 8, 4096, 64) try: ernie_attn_call(q, q, q) except AssertionError as e: print(AssertionError, e) # FA 期望 [B,S,H,D]ERNIE 給 [B,H,S,D] 順序錯(cuò)復(fù)現(xiàn)「參數(shù)不匹配」flash_attn_func(q,k,v,window_size...)在沒該參數(shù)的版本上TypeError: unexpected keyword。五、解決方案第一層最小直接修復(fù)最小修復(fù)在 ERNIE 的注意力里做一個(gè)「布局適配 參數(shù)適配」的包裝按檢測到的 FA 版本調(diào)整import torch from transformers.utils import is_flash_attn_2_available def ernie_flash_attention(q, k, v, num_heads, window_sizeNone): # q/k/v: ERNIE 內(nèi)部 [B, H, S, D]轉(zhuǎn)成 FA 期望 [B, S, H, D] def to_fa_layout(t): # [B, H, S, D] - [B, S, H, D] return t.transpose(1, 2).contiguous() q_fa to_fa_layout(q); k_fa to_fa_layout(k); v_fa to_fa_layout(v) if is_flash_attn_2_available(): from flash_attn import flash_attn_func import inspect # 參數(shù)適配只有 FA 支持 window_size 才傳 kwargs {} if window_size in inspect.signature(flash_attn_func).parameters and window_size is not None: kwargs[window_size] window_size out flash_attn_func(q_fa, k_fa, v_fa, **kwargs) else: # 回退 SDPA out torch.nn.functional.scaled_dot_product_attention(q_fa, k_fa, v_fa) # 轉(zhuǎn)回 ERNIE 的 [B, H, S, D] return out.transpose(1, 2).contiguous()這樣無論 FA 版本布局/參數(shù)如何都先歸一化到[B,S,H,D]并只傳 FA 支持的參數(shù)兼容崩潰消失。六、解決方案第二層結(jié)構(gòu)性改進(jìn)把「ERNIE-Image 注意力對(duì) FlashAttention 的布局/參數(shù)兼容規(guī)則」收斂成一個(gè) dataclass 單一真源from dataclasses import dataclass, field from typing import Dict, List, Tuple dataclass(frozenTrue) class ErnieFlashAttnPolicy: ERNIE-Image 與 FlashAttention 兼容的單一真源。 # ERNIE 內(nèi)部布局 - FA 期望布局 ernie_layout: str B H S D fa_layout: str B S H D # 需要轉(zhuǎn)置的維度對(duì)ERNIE 的 dim1-dim2 transpose_dims: Tuple[int, int] (1, 2) # FA 各版本支持的參數(shù)用于參數(shù)適配 supported_kwargs_by_version: Dict[str, Tuple[str, ...]] field(default_factorylambda: { 2.0: (causal, window_size, softmax_scale), 1.0: (causal,), }) # 不支持時(shí)回退的后端 fallback: str scaled_dot_product_attention def to_fa_layout(self, t: torch.Tensor) - torch.Tensor: d1, d2 self.transpose_dims return t.transpose(d1, d2).contiguous() def filter_kwargs(self, fa_version: str, **kwargs): allowed self.supported_kwargs_by_version.get(fa_version, ()) return {k: v for k, v in kwargs.items() if k in allowed} def detect_version(self) - str: try: import flash_attn return getattr(flash_attn, __version__, 2.0)[:3] except Exception: return 0.0 # 回退注意力調(diào)用統(tǒng)一走policy.to_fa_layoutpolicy.filter_kwargs版本探測失敗自動(dòng)回退 SDPA。七、解決方案第三層斷言 / CI 守護(hù)用 pytest 把「布局適配 參數(shù)適配 回退」固化成回歸可在多 FA 版本矩陣跑import torch import pytest from mylib.ernie_flashattn import ErnieFlashAttnPolicy POLICY ErnieFlashAttnPolicy() def test_layout_transpose(): q torch.randn(1, 8, 4096, 64) # [B,H,S,D] q_fa POLICY.to_fa_layout(q) assert q_fa.shape (1, 4096, 8, 64) # - [B,S,H,D] def test_kwargs_filtered_by_version(): # FA 1.0 不支持 window_size kw POLICY.filter_kwargs(1.0, causalTrue, window_size(0, 0)) assert window_size not in kw and causal in kw # FA 2.0 支持 kw2 POLICY.filter_kwargs(2.0, causalTrue, window_size(0, 0)) assert window_size in kw2 def test_fa_vs_sdpa_same_shape(): q torch.randn(1, 8, 16, 64); k q; v q out_fa ernie_flash_attention(q, k, v, num_heads8) out_sdpa torch.nn.functional.scaled_dot_product_attention( POLICY.to_fa_layout(q), POLICY.to_fa_layout(k), POLICY.to_fa_layout(v)) assert out_fa.shape[1:] out_sdpa.shape[1:] def test_no_crash_under_any_fa_version(): # 用 fake FA 版本探測確認(rèn)不傳不支持的參數(shù) for ver in (1.0, 2.0): kw POLICY.filter_kwargs(ver, window_size(0, 0)) # 不論版本都不應(yīng)引發(fā) unexpected keyword assert isinstance(kw, dict)CI 把test_layout_transpose與test_kwargs_filtered_by_version作為 ERNIE-Image FlashAttention 的必過項(xiàng)要求「布局歸一化 參數(shù)按版本過濾」。八、排查清單ERNIE-Image FlashAttention 不兼容按順序查報(bào) q/k/v 維度不匹配S 和 H 位置反ERNIE 用[B,H,S,D]、FA 期望[B,S,H,D]用to_fa_layout轉(zhuǎn)置。報(bào)unexpected keyword argument window_sizeERNIE 傳了 FA 版本不支持的參數(shù)用filter_kwargs按版本過濾。開了 FA2 后圖和不打開不一樣更糊布局/參數(shù)靜默錯(cuò)配數(shù)值跑偏必須歸一化。是否探測 FA 版本再?zèng)Q定參數(shù)沒探測就硬編碼參數(shù)必崩。不支持時(shí)是否回退 SDPAscaled_dot_product_attention是穩(wěn)妥兜底。dtype 是否匹配FA2 通常要求 fp16/bf16fp32 可能報(bào)錯(cuò)需統(tǒng)一。九、小結(jié)「Incompatibility between FlashAttention and ERNIE-Image」本質(zhì)是ERNIE-Image 的注意力對(duì) FlashAttention 的「張量布局[B,H,S,D] vs [B,S,H,D] API 參數(shù)window_size 等」做了硬編碼假設(shè)而不同 FA 版本這兩點(diǎn)不一致導(dǎo)致維度錯(cuò)配、參數(shù)報(bào)錯(cuò)或靜默數(shù)值錯(cuò)。第一層加「布局轉(zhuǎn)置 按版本過濾參數(shù) 回退 SDPA」的適配包裝第二層把布局/參數(shù)兼容規(guī)則收斂到ErnieFlashAttnPolicy單一真源版本探測失敗自動(dòng) SDPA第三層用 pytest 守住「布局歸一、參數(shù)按版本過濾、回退可用」。通用教訓(xùn)**任何調(diào)用外部加速內(nèi)核FlashAttention 等的代碼都必須把「對(duì)方期望的布局 該版本支持的參數(shù)」當(dāng)作可變契約做歸一化與版本探測而非賭某一個(gè)版本的實(shí)現(xiàn)。 【Bug已解決】Incompatibility between FlashAttention and ERNIE-Image 解決方案
【Bug已解決】Incompatibility between FlashAttention and ERNIE-Image 解決方案一、現(xiàn)象長什么樣ERNIE-Image 在自己的注意力實(shí)現(xiàn)里用 FlashAttention 加速但裝上某個(gè)版本的 FlashAttention 后跑推理直接崩from diffusers import ErnieImagePipeline pipe ErnieImagePipeline.from_pretrained(baidu/ernie-image) pipe.enable_flash_attn_2() # 開啟 FA2 image pipe(a cat).images[0]報(bào)錯(cuò)RuntimeError expected query, key, value to have the same sequence length dimension, but got q: [1, 4096, 64] and k: [1, 64, 4096] (layout 不匹配)或者AttributeError flash_attn_func() got an unexpected keyword argument window_size又或靜默數(shù)值錯(cuò)開了 FA2 但圖和不開時(shí)不一樣且更糊?，F(xiàn)象總結(jié)ERNIE-Image 的注意力代碼按「某一種 FlashAttention 的布局/API」寫的如 q/k/v 的維度順序、是否接受window_size、是否要求causal但用戶環(huán)境里的 FlashAttention 版本布局/API 不同于是維度不匹配、參數(shù)不匹配或靜默數(shù)值錯(cuò)。二、背景FlashAttention 的接口在不同版本/變體里有差異FA1 / 早期 FA2flash_attn_func(q, k, v, causal...)q/k/v 形狀約定為[B, S, H, D]或[B, S, 3, H, D]packed部分集成版要求 q/k/v 是(B, S, H, D)但有的實(shí)現(xiàn)內(nèi)部把 H 和 S 順序搞反ERNIE 可能按[B, H, S, D]組織window_size / causal有的版本flash_attn_func接受window_size做滑動(dòng)窗口有的沒有這個(gè)參數(shù)。ERNIE-Image 的注意力模塊在寫的時(shí)候假定了某種布局比如它內(nèi)部q是[B, H, S, D]直接丟給flash_attn_func而用戶裝的 FA 版本期望[B, S, H, D]于是 q/k/v 的序列維和頭維對(duì)不上 → RuntimeError?；蛘咚鼈髁藈indow_size但裝的 FA 版本沒這參數(shù) → TypeError。三、根因根因兩點(diǎn)張量布局假設(shè)不一致ERNIE 的注意力把 q/k/v 組織成[B, H, S, D]丟給 FA但 FA 期望[B, S, H, D]或反之維度順序錯(cuò)配 → shape mismatch。API 參數(shù)假設(shè)不一致ERNIE 調(diào)用flash_attn_func(..., window_size...)但用戶 FA 版本沒有該參數(shù) → 或反之ERNIE 沒傳但 FA 需要。本質(zhì)ERNIE-Image 對(duì) FlashAttention 的「張量布局 API 參數(shù)」做了硬編碼假設(shè)而不同 FA 版本這兩點(diǎn)不一致導(dǎo)致兼容性崩。四、最小可運(yùn)行復(fù)現(xiàn)用標(biāo)準(zhǔn)庫復(fù)現(xiàn)「布局假設(shè)不一致導(dǎo)致維度錯(cuò)配」import torch def flash_attn_func_expected(q, k, v): # 假設(shè) FA 期望 [B, S, H, D] assert q.dim() 4 and q.shape[1] q.shape[2] * 0 q.shape[1] # S 在 dim1 return q # 簡化 def ernie_attn_call(q, k, v): # ERNIE 按 [B, H, S, D] 組織直接丟給 FA return flash_attn_func_expected(q, k, v) # ERNIE 的 q: [B, H, S, D] [1, 8, 4096, 64] q torch.randn(1, 8, 4096, 64) try: ernie_attn_call(q, q, q) except AssertionError as e: print(AssertionError, e) # FA 期望 [B,S,H,D]ERNIE 給 [B,H,S,D] 順序錯(cuò)復(fù)現(xiàn)「參數(shù)不匹配」flash_attn_func(q,k,v,window_size...)在沒該參數(shù)的版本上TypeError: unexpected keyword。五、解決方案第一層最小直接修復(fù)最小修復(fù)在 ERNIE 的注意力里做一個(gè)「布局適配 參數(shù)適配」的包裝按檢測到的 FA 版本調(diào)整import torch from transformers.utils import is_flash_attn_2_available def ernie_flash_attention(q, k, v, num_heads, window_sizeNone): # q/k/v: ERNIE 內(nèi)部 [B, H, S, D]轉(zhuǎn)成 FA 期望 [B, S, H, D] def to_fa_layout(t): # [B, H, S, D] - [B, S, H, D] return t.transpose(1, 2).contiguous() q_fa to_fa_layout(q); k_fa to_fa_layout(k); v_fa to_fa_layout(v) if is_flash_attn_2_available(): from flash_attn import flash_attn_func import inspect # 參數(shù)適配只有 FA 支持 window_size 才傳 kwargs {} if window_size in inspect.signature(flash_attn_func).parameters and window_size is not None: kwargs[window_size] window_size out flash_attn_func(q_fa, k_fa, v_fa, **kwargs) else: # 回退 SDPA out torch.nn.functional.scaled_dot_product_attention(q_fa, k_fa, v_fa) # 轉(zhuǎn)回 ERNIE 的 [B, H, S, D] return out.transpose(1, 2).contiguous()這樣無論 FA 版本布局/參數(shù)如何都先歸一化到[B,S,H,D]并只傳 FA 支持的參數(shù)兼容崩潰消失。六、解決方案第二層結(jié)構(gòu)性改進(jìn)把「ERNIE-Image 注意力對(duì) FlashAttention 的布局/參數(shù)兼容規(guī)則」收斂成一個(gè) dataclass 單一真源from dataclasses import dataclass, field from typing import Dict, List, Tuple dataclass(frozenTrue) class ErnieFlashAttnPolicy: ERNIE-Image 與 FlashAttention 兼容的單一真源。 # ERNIE 內(nèi)部布局 - FA 期望布局 ernie_layout: str B H S D fa_layout: str B S H D # 需要轉(zhuǎn)置的維度對(duì)ERNIE 的 dim1-dim2 transpose_dims: Tuple[int, int] (1, 2) # FA 各版本支持的參數(shù)用于參數(shù)適配 supported_kwargs_by_version: Dict[str, Tuple[str, ...]] field(default_factorylambda: { 2.0: (causal, window_size, softmax_scale), 1.0: (causal,), }) # 不支持時(shí)回退的后端 fallback: str scaled_dot_product_attention def to_fa_layout(self, t: torch.Tensor) - torch.Tensor: d1, d2 self.transpose_dims return t.transpose(d1, d2).contiguous() def filter_kwargs(self, fa_version: str, **kwargs): allowed self.supported_kwargs_by_version.get(fa_version, ()) return {k: v for k, v in kwargs.items() if k in allowed} def detect_version(self) - str: try: import flash_attn return getattr(flash_attn, __version__, 2.0)[:3] except Exception: return 0.0 # 回退注意力調(diào)用統(tǒng)一走policy.to_fa_layoutpolicy.filter_kwargs版本探測失敗自動(dòng)回退 SDPA。七、解決方案第三層斷言 / CI 守護(hù)用 pytest 把「布局適配 參數(shù)適配 回退」固化成回歸可在多 FA 版本矩陣跑import torch import pytest from mylib.ernie_flashattn import ErnieFlashAttnPolicy POLICY ErnieFlashAttnPolicy() def test_layout_transpose(): q torch.randn(1, 8, 4096, 64) # [B,H,S,D] q_fa POLICY.to_fa_layout(q) assert q_fa.shape (1, 4096, 8, 64) # - [B,S,H,D] def test_kwargs_filtered_by_version(): # FA 1.0 不支持 window_size kw POLICY.filter_kwargs(1.0, causalTrue, window_size(0, 0)) assert window_size not in kw and causal in kw # FA 2.0 支持 kw2 POLICY.filter_kwargs(2.0, causalTrue, window_size(0, 0)) assert window_size in kw2 def test_fa_vs_sdpa_same_shape(): q torch.randn(1, 8, 16, 64); k q; v q out_fa ernie_flash_attention(q, k, v, num_heads8) out_sdpa torch.nn.functional.scaled_dot_product_attention( POLICY.to_fa_layout(q), POLICY.to_fa_layout(k), POLICY.to_fa_layout(v)) assert out_fa.shape[1:] out_sdpa.shape[1:] def test_no_crash_under_any_fa_version(): # 用 fake FA 版本探測確認(rèn)不傳不支持的參數(shù) for ver in (1.0, 2.0): kw POLICY.filter_kwargs(ver, window_size(0, 0)) # 不論版本都不應(yīng)引發(fā) unexpected keyword assert isinstance(kw, dict)CI 把test_layout_transpose與test_kwargs_filtered_by_version作為 ERNIE-Image FlashAttention 的必過項(xiàng)要求「布局歸一化 參數(shù)按版本過濾」。八、排查清單ERNIE-Image FlashAttention 不兼容按順序查報(bào) q/k/v 維度不匹配S 和 H 位置反ERNIE 用[B,H,S,D]、FA 期望[B,S,H,D]用to_fa_layout轉(zhuǎn)置。報(bào)unexpected keyword argument window_sizeERNIE 傳了 FA 版本不支持的參數(shù)用filter_kwargs按版本過濾。開了 FA2 后圖和不打開不一樣更糊布局/參數(shù)靜默錯(cuò)配數(shù)值跑偏必須歸一化。是否探測 FA 版本再?zèng)Q定參數(shù)沒探測就硬編碼參數(shù)必崩。不支持時(shí)是否回退 SDPAscaled_dot_product_attention是穩(wěn)妥兜底。dtype 是否匹配FA2 通常要求 fp16/bf16fp32 可能報(bào)錯(cuò)需統(tǒng)一。九、小結(jié)「Incompatibility between FlashAttention and ERNIE-Image」本質(zhì)是ERNIE-Image 的注意力對(duì) FlashAttention 的「張量布局[B,H,S,D] vs [B,S,H,D] API 參數(shù)window_size 等」做了硬編碼假設(shè)而不同 FA 版本這兩點(diǎn)不一致導(dǎo)致維度錯(cuò)配、參數(shù)報(bào)錯(cuò)或靜默數(shù)值錯(cuò)。第一層加「布局轉(zhuǎn)置 按版本過濾參數(shù) 回退 SDPA」的適配包裝第二層把布局/參數(shù)兼容規(guī)則收斂到ErnieFlashAttnPolicy單一真源版本探測失敗自動(dòng) SDPA第三層用 pytest 守住「布局歸一、參數(shù)按版本過濾、回退可用」。通用教訓(xùn)**任何調(diào)用外部加速內(nèi)核FlashAttention 等的代碼都必須把「對(duì)方期望的布局 該版本支持的參數(shù)」當(dāng)作可變契約做歸一化與版本探測而非賭某一個(gè)版本的實(shí)現(xiàn)。