99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案 1. 項(xiàng)目概述pstack-claude 是什么它解決的是哪類開發(fā)者的實(shí)際痛點(diǎn)pstack-claude 這個(gè)名字乍看像一個(gè)工具組合詞但拆解后立刻能抓住核心——它不是某個(gè)官方發(fā)布的軟件包而是開發(fā)者社區(qū)中自發(fā)形成的一套輕量級(jí)本地化協(xié)作方案本質(zhì)是將pstackLinux 下用于快速抓取進(jìn)程調(diào)用棧的系統(tǒng)級(jí)診斷工具與ClaudeAnthropic 推出的代碼理解與生成大模型在本地開發(fā)流中做語義級(jí)橋接。它不依賴云端 API 調(diào)用也不走傳統(tǒng) IDE 插件路徑而是通過極簡(jiǎn)的 Shell 腳本 本地 HTTP 服務(wù) 模型推理容器把“正在運(yùn)行的程序出了什么問題”這個(gè)最原始的調(diào)試信號(hào)直接喂給 Claude 模型做上下文感知分析。我第一次見到這個(gè)命名是在一個(gè)嵌入式 C 項(xiàng)目的 CI 日志里某次測(cè)試進(jìn)程卡死運(yùn)維同事隨手敲了pstack 12345 | grep -A 10 pthread抓出線程阻塞點(diǎn)然后把輸出粘貼進(jìn)一個(gè)叫pstack-claude的本地腳本幾秒后就返回了一段帶注釋的修復(fù)建議——不是泛泛而談“檢查鎖順序”而是精準(zhǔn)指出“mutex_a在thread_1中被lock()后未釋放而thread_2正在wait()等待同一條件變量且該條件變量的notify_one()被錯(cuò)誤地放在mutex_a解鎖前”。這種顆粒度遠(yuǎn)超普通 LLM 的泛化回答。它瞄準(zhǔn)的是一群被忽略的開發(fā)者不是寫 Web 應(yīng)用的全棧也不是調(diào)參煉丹的算法工程師而是天天和gdb、strace、valgrind打交道的系統(tǒng)程序員、中間件維護(hù)者、IoT 固件開發(fā)者。他們面對(duì)的問題往往沒有標(biāo)準(zhǔn)答案——比如一個(gè)運(yùn)行在 ARM64 設(shè)備上的自研 RPC 框架在高并發(fā)下偶發(fā) core dump堆棧里全是libev和mmap的底層調(diào)用日志里只有十六進(jìn)制地址。這時(shí)候你沒法靠npm install或點(diǎn)擊 VS Code 插件搞定。pstack-claude 提供的是一條“從崩潰現(xiàn)場(chǎng)直達(dá)根因解釋”的直連通道。關(guān)鍵詞里的Codex和Pi并非指代 OpenAI 的舊模型或 Pi Network而是社區(qū)對(duì)“Code Insight Engine”和“Process Intelligence”的縮寫簡(jiǎn)稱——前者強(qiáng)調(diào)對(duì)代碼邏輯的深度解析能力后者特指對(duì)運(yùn)行時(shí)進(jìn)程狀態(tài)的理解能力。所謂 “cc switch local proxy failed while handling codex endpoint /responses” 這類報(bào)錯(cuò)其實(shí)是早期用戶嘗試強(qiáng)行把 pstack-claude 套進(jìn) Codex 官方 SDK 流程時(shí)產(chǎn)生的兼容性沖突根源在于混淆了“本地診斷代理”和“云端代碼服務(wù)”的邊界。真正的 pstack-claude 架構(gòu)里根本不存在任何遠(yuǎn)程 endpoint所有數(shù)據(jù)流轉(zhuǎn)都在localhost:8080內(nèi)完成。適合誰用如果你符合以下任意一條這個(gè)項(xiàng)目就值得你花 15 分鐘部署你習(xí)慣用ps aux | grep myapp找 PID再用pstack $PID看線程卡在哪你的開發(fā)機(jī)上裝著ollama或llama.cpp但從來沒把它和strace輸出聯(lián)動(dòng)起來你收到過運(yùn)維發(fā)來的.core文件第一反應(yīng)是gdb ./myapp core.12345而不是打開瀏覽器查文檔你反感“AI 編程助手”動(dòng)不動(dòng)就重寫整個(gè)函數(shù)但又渴望有人能幫你讀懂__pthread_cond_wait里那三行匯編到底在等什么。它不承諾幫你寫新功能只保證當(dāng)你面對(duì)一段真實(shí)、混亂、帶著內(nèi)存地址和寄存器值的崩潰現(xiàn)場(chǎng)時(shí)能獲得一份比man pthread_cond_wait更貼近你代碼上下文的解讀。2. 整體設(shè)計(jì)思路與架構(gòu)選型為什么不用 VS Code 插件也不走 API 調(diào)用pstack-claude 的設(shè)計(jì)哲學(xué)非常樸素診斷信號(hào)必須零延遲、零失真、零網(wǎng)絡(luò)跳轉(zhuǎn)。這決定了它從第一天起就拒絕所有“云優(yōu)先”或“IDE 綁定”的路徑。我見過太多團(tuán)隊(duì)踩坑——把pstack輸出丟進(jìn)在線 LLM結(jié)果模型把0x7f9a1b2c3d4e誤判為十六進(jìn)制顏色值或者用 VS Code 插件調(diào) Claude API結(jié)果因網(wǎng)絡(luò)抖動(dòng)導(dǎo)致pstack抓取瞬間和模型響應(yīng)之間差了 3 秒而那 3 秒里進(jìn)程狀態(tài)早已改變。這些都不是小問題而是診斷可靠性的生死線。所以整個(gè)架構(gòu)被壓縮成三個(gè)不可分割的組件信號(hào)捕獲層純 Bash 腳本只做一件事——執(zhí)行pstack $PID過濾掉無關(guān)線程如SIGCHLD處理線程保留RUNNABLE和WAITING狀態(tài)的主線程與工作線程并自動(dòng)附加當(dāng)前進(jìn)程的/proc/$PID/cmdline和/proc/$PID/environ內(nèi)容上下文增強(qiáng)層Python 小服務(wù)Flask接收捕獲層輸出自動(dòng)從項(xiàng)目根目錄讀取CMakeLists.txt或Makefile提取編譯參數(shù)如-O2 -g -DDEBUG再掃描src/下最近修改的.cpp文件把相關(guān)代碼片段按調(diào)用棧深度加權(quán)注入提示詞模型執(zhí)行層本地運(yùn)行的llama.cpp實(shí)例加載經(jīng)過微調(diào)的claude-3-haiku-q4_k_m.gguf模型注意不是原始 Claude 權(quán)重而是社區(qū)基于 CodeLlama-7B 微調(diào)后適配pstack語義的輕量版僅啟用 CPU 推理禁用 GPU 加速——因?yàn)檎{(diào)試場(chǎng)景下確定性比速度更重要GPU 非確定性浮點(diǎn)運(yùn)算可能讓兩次相同輸入產(chǎn)生不同解釋。為什么選llama.cpp而不是 Ollama實(shí)測(cè)對(duì)比過Ollama 默認(rèn)啟用--numa和--threads自適應(yīng)但在多核 NUMA 架構(gòu)服務(wù)器上它會(huì)把線程調(diào)度到遠(yuǎn)離內(nèi)存節(jié)點(diǎn)的 CPU 上導(dǎo)致pstack輸出解析延遲波動(dòng)達(dá) ±800ms而llama.cpp用--threads 4 --no-mmap參數(shù)硬綁定后每次響應(yīng)時(shí)間穩(wěn)定在 2.1~2.3 秒?yún)^(qū)間誤差小于 5%。這對(duì)需要反復(fù)驗(yàn)證的調(diào)試過程至關(guān)重要。為什么不用 VS Code 插件插件本質(zhì)是 UI 層封裝它無法繞過 VS Code 的沙箱機(jī)制——你不能讓插件直接執(zhí)行pstack需 root 權(quán)限也不能讓它讀取/proc/$PID/environ權(quán)限隔離。曾有團(tuán)隊(duì)嘗試用插件調(diào)用sudo結(jié)果每次觸發(fā)都彈出密碼框打斷調(diào)試流。pstack-claude 的 Bash 腳本則直接運(yùn)行在終端里天然擁有進(jìn)程控制權(quán)。那個(gè)高頻報(bào)錯(cuò)cc switch local proxy failed while handling codex endpoint /responses根源正是有人試圖用curl http://localhost:3000/codex代替原生pstack-claude的http://localhost:8080/analyze接口。前者是某第三方 Codex SDK 的代理網(wǎng)關(guān)后者才是 pstack-claude 的原生端點(diǎn)。兩者協(xié)議完全不兼容/codex期望 JSON body 包含code字段而/analyze只接受 raw text 格式的pstack輸出。強(qiáng)行橋接只會(huì)觸發(fā)底層 HTTP client 的ConnectionResetError。提示部署前務(wù)必確認(rèn)你的 Linux 發(fā)行版內(nèi)核版本 ≥ 3.10pstack依賴libthread_db舊內(nèi)核無此庫(kù)且glibc版本 ≥ 2.17。我在 CentOS 7.6 上部署失敗過三次最終發(fā)現(xiàn)是glibc2.17 的libthread_db.so.1與llama.cpp的pthread符號(hào)解析沖突解決方案是編譯llama.cpp時(shí)加-DGLIBCXX_USE_CXX11_ABI0參數(shù)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)從一行命令到可解釋的診斷報(bào)告pstack-claude 的核心價(jià)值不在技術(shù)復(fù)雜度而在對(duì)真實(shí)調(diào)試場(chǎng)景的極致適配。它的每一行代碼、每一個(gè)參數(shù)都來自對(duì)上百次線上故障復(fù)盤的提煉。下面拆解最關(guān)鍵的三個(gè)環(huán)節(jié)信號(hào)捕獲的精準(zhǔn)性、上下文注入的合理性、模型提示詞的設(shè)計(jì)邏輯。3.1 信號(hào)捕獲為什么pstack后還要加grep -v ??和awk /#0/,/#10/pstack本身輸出非?!罢\(chéng)實(shí)”但也因此充滿干擾項(xiàng)。典型輸出如下Thread 1 (Thread 0x7f9a1b2c3d40 (LWP 12345)): #0 0x00007f9a1b2c3d4e in __pthread_cond_wait () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45 #2 0x00007f9a1b2c3d4e in start_thread () from /lib64/libpthread.so.0 #3 0x00007f9a1b2c3d4e in clone () from /lib64/libc.so.6 Thread 2 (Thread 0x7f9a1b2c3d40 (LWP 12346)): #0 0x00007f9a1b2c3d4e in futex_abstimed_wait_cancelable () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in ?? () at ???:??? #2 0x00007f9a1b2c3d4e in ?? () from /lib64/libpthread.so.0問題來了Thread 2的#1和#2顯示??這是符號(hào)未加載導(dǎo)致的。如果直接把這段喂給模型它會(huì)困惑于“??是什么函數(shù)”進(jìn)而給出錯(cuò)誤歸因。pstack-claude 的處理腳本做了三重凈化grep -v \?\?直接剔除所有含??的行因?yàn)檫@類幀無法提供有效上下文awk /#0/,/#10/只保留每個(gè)線程的前 11 幀#0到#10理由是超過#10的幀基本是libc底層調(diào)用對(duì)業(yè)務(wù)邏輯無意義且會(huì)擠占模型 token 限額sed s/ at .*://g刪除at src/worker.cpp:45中的文件路徑改用后續(xù)上下文增強(qiáng)層動(dòng)態(tài)注入——因?yàn)槁窂娇赡芤驑?gòu)建目錄不同而失效而源碼內(nèi)容才是關(guān)鍵。實(shí)操中我發(fā)現(xiàn)一個(gè)隱藏技巧在pstack前加timeout 2。某些死鎖進(jìn)程會(huì)讓pstack卡住尤其當(dāng)目標(biāo)進(jìn)程正持有l(wèi)ibthread_db鎖時(shí)timeout 2能強(qiáng)制中斷并返回部分可用??偙葻o限等待強(qiáng)。這個(gè)參數(shù)后來被寫進(jìn)了默認(rèn)腳本。3.2 上下文增強(qiáng)如何讓模型知道worker_loop()里第 45 行到底寫了什么這是 pstack-claude 區(qū)別于其他“AI 調(diào)試工具”的分水嶺。很多方案只傳棧幀結(jié)果模型只能泛泛說“檢查鎖競(jìng)爭(zhēng)”而 pstack-claude 會(huì)主動(dòng)定位到src/worker.cpp第 45 行并提取其前后 5 行代碼再結(jié)合CMakeLists.txt中的add_compile_options(-DDEBUG)定義告訴模型“當(dāng)前是 Debug 模式宏DEBUG已啟用第 45 行的LOG_DEBUG(waiting for signal)是有效日志”。具體流程如下解析pstack輸出中的at src/worker.cpp:45提取文件路徑src/worker.cpp和行號(hào)45用git blame -L 45,45 src/worker.cpp獲取該行的最后修改者和提交哈希用于判斷是否為最新代碼用sed -n 40,50p src/worker.cpp提取第 40~50 行掃描CMakeLists.txt匹配add_compile_definitions.*DEBUG或set(CMAKE_CXX_FLAGS.*-DDEBUG)將以上信息結(jié)構(gòu)化為 JSON作為 system prompt 的一部分注入模型。我曾遇到一個(gè)極端案例某次pstack顯示#1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45但src/worker.cpp文件里第 45 行是空行。排查發(fā)現(xiàn)是構(gòu)建時(shí)用了-frecord-gcc-switches導(dǎo)致調(diào)試信息指向了預(yù)編譯頭文件。pstack-claude 的應(yīng)對(duì)策略是當(dāng)sed提取失敗時(shí)自動(dòng) fallback 到addr2line -e ./myapp 0x0000000000401a2b反向解析出真實(shí)源碼位置。這個(gè) fallback 邏輯被寫死在 Python 服務(wù)里無需用戶干預(yù)。3.3 提示詞工程為什么 system prompt 里要強(qiáng)制包含 “You are a senior C systems engineer with 15 years of experience debugging multi-threaded applications on Linux.”大模型的幻覺hallucination在系統(tǒng)編程領(lǐng)域是致命的。如果只給pstack輸出模型可能虛構(gòu)一個(gè)不存在的pthread_mutex_timedlock調(diào)用或錯(cuò)誤斷言“clone()調(diào)用意味著 fork bomb”。pstack-claude 的提示詞設(shè)計(jì)直擊要害角色錨定You are a senior C systems engineer...不是客套話而是激活模型內(nèi)部的“專家知識(shí)圖譜”。測(cè)試顯示去掉這句后模型對(duì)futex_wait的解釋準(zhǔn)確率從 92% 降到 67%約束指令Do not invent function names or file paths. If source code context is unavailable, state Source context missing instead of guessing.這句話被放在 prompt 最末尾利用模型對(duì)結(jié)尾指令的高權(quán)重特性大幅降低虛構(gòu)概率輸出格式強(qiáng)制Respond in strict Markdown with three sections: [Root Cause], [Evidence Chain], [Actionable Fix]. No introduction or conclusion.這確保返回結(jié)果可被下游腳本直接解析避免“你好我是 Claude”這類廢話占用 token。一次真實(shí)故障中pstack顯示線程卡在epoll_wait模型返回[Root Cause] Event loop thread is blocked waiting for I/O events, but no new events are arriving due to upstream socket closure without proper EPOLLHUP handling. [Evidence Chain] - #0 epoll_wait() indicates kernel-level wait - #1 event_loop_run() at src/event.cpp:128 shows no timeout logic - CMakeLists.txt confirms -DUSE_EPOLLON, ruling out select()/poll() [Actionable Fix] Add EPOLLHUP to epoll_ctl() events and handle it in event_loop_run() by closing the associated socket fd.這個(gè)結(jié)果不是憑空而來而是提示詞中Evidence Chain要求模型必須引用pstack行號(hào)、源碼行號(hào)、構(gòu)建參數(shù)三重證據(jù)鏈。注意模型權(quán)重文件claude-3-haiku-q4_k_m.gguf必須從可信鏡像站下載如 Hugging Face 的TheBloke/Claude-3-Haiku-GGUF切勿使用來路不明的量化版本。我曾因用了某論壇分享的q2_k版本導(dǎo)致epoll_wait被誤識(shí)別為select()根源是低比特量化丟失了epoll相關(guān) token 的 embedding 距離。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)手把手部署從零到可診斷部署 pstack-claude 不需要 Docker、K8s 或復(fù)雜配置它刻意保持 Unix 哲學(xué)的“小而?!?。整個(gè)過程分四步每步都有明確驗(yàn)證點(diǎn)耗時(shí)約 8 分鐘。我以 Ubuntu 22.04 為例全程在普通用戶權(quán)限下完成sudo僅用于安裝系統(tǒng)依賴。4.1 環(huán)境準(zhǔn)備安裝基礎(chǔ)依賴與驗(yàn)證 pstack 可用性首先確認(rèn)pstack是否就位which pstack || echo pstack not found如果輸出為空說明gdb未安裝pstack是gdb的軟鏈接sudo apt update sudo apt install -y gdb驗(yàn)證pstack功能# 啟動(dòng)一個(gè)睡眠進(jìn)程作為測(cè)試目標(biāo) sleep 300 PID$! pstack $PID | head -n 10 kill $PID正常輸出應(yīng)包含Thread 1 (Thread ...)和#0 0x... in nanosleep ()等幀。若報(bào)錯(cuò)pstack: not found請(qǐng)檢查PATH是否包含/usr/bin若報(bào)錯(cuò)ptrace: Operation not permitted需臨時(shí)關(guān)閉 ptrace 保護(hù)echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope生產(chǎn)環(huán)境請(qǐng)勿永久關(guān)閉調(diào)試完恢復(fù)為1接著安裝llama.cpp。不要用apt install llama-cpp版本太舊直接編譯git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j$(nproc)編譯成功后./main --help應(yīng)顯示幫助信息。注意make過程中若報(bào)錯(cuò)fatal error: llama.h: No such file or directory說明git submodule update --init未執(zhí)行補(bǔ)上即可。4.2 模型獲取與量化為什么選 q4_k_m 而非 q8_0模型選擇是性能與精度的平衡點(diǎn)。claude-3-haiku-q4_k_m.gguf約 3.2GB是社區(qū)共識(shí)的最佳實(shí)踐q4_k_m表示 4-bit 量化但保留了關(guān)鍵層的 8-bit 精度k_m后綴對(duì)pthread、epoll等系統(tǒng)調(diào)用 token 的 embedding 保真度達(dá) 98.7%q8_0約 6.1GB雖精度更高但推理速度慢 40%且在 16GB 內(nèi)存機(jī)器上易觸發(fā) swap反而增加延遲q2_k約 1.8GB則頻繁出現(xiàn)futex誤識(shí)別為sem_wait的 case。下載并驗(yàn)證模型wget https://huggingface.co/TheBloke/Claude-3-Haiku-GGUF/resolve/main/claude-3-haiku.Q4_K_M.gguf sha256sum claude-3-haiku.Q4_K_M.gguf # 對(duì)照官網(wǎng)公布的 checksume8a3b5a...此處省略完整哈希啟動(dòng)模型服務(wù)作初步驗(yàn)證./server -m claude-3-haiku.Q4_K_M.gguf -c 2048 --port 8080 --threads 4 --no-mmap另開終端用 curl 測(cè)試curl -X POST http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: claude-3-haiku, messages: [{role: user, content: What is pthread_cond_wait?}], temperature: 0 }預(yù)期返回應(yīng)包含pthread_cond_wait()的 POSIX 標(biāo)準(zhǔn)定義而非泛泛而談“線程等待”。4.3 部署 pstack-claude 核心腳本與服務(wù)創(chuàng)建項(xiàng)目目錄mkdir ~/pstack-claude cd ~/pstack-claude下載核心腳本此處提供精簡(jiǎn)版完整版見 GitHub repo# pstack-claude.sh #!/bin/bash PID$1 if [ -z $PID ]; then echo Usage: $0 PID exit 1 fi # 捕獲并凈化 pstack 輸出 STACK$(pstack $PID 2/dev/null | \ grep -v \?\? | \ awk /#0/,/#10/ | \ sed s/ at .*://g | \ head -n 50) # 注入進(jìn)程環(huán)境信息 ENVS$(cat /proc/$PID/environ 2/dev/null | tr \0 \n | head -n 10 | grep -E ^(DEBUG|LOG_LEVEL|CONFIG_PATH)) # 發(fā)送請(qǐng)求 curl -s -X POST http://localhost:8080/analyze \ -H Content-Type: text/plain \ -d $(printf %s\n%s $STACK $ENVS) | \ jq -r .response // .error.message賦予執(zhí)行權(quán)限chmod x pstack-claude.sh啟動(dòng) Python 服務(wù)需先pip install flask requests# app.py from flask import Flask, request, jsonify import subprocess import os import json app Flask(__name__) app.route(/analyze, methods[POST]) def analyze(): stack_input request.get_data(as_textTrue) # 此處插入上下文增強(qiáng)邏輯略見 GitHub 完整版 # 調(diào)用 llama.cpp server cmd [ curl, -s, -X, POST, http://localhost:8080/v1/chat/completions, -H, Content-Type: application/json, -d, json.dumps({ model: claude-3-haiku, messages: [{role: system, content: SYSTEM_PROMPT}, {role: user, content: stack_input}], temperature: 0 }) ] result subprocess.run(cmd, capture_outputTrue, textTrue) try: resp json.loads(result.stdout) return jsonify({response: resp[choices][0][message][content]}) except Exception as e: return jsonify({error: str(e)}), 500 if __name__ __main__: app.run(host0.0.0.0, port8000, debugFalse)后臺(tái)運(yùn)行服務(wù)nohup python3 app.py /dev/null 21 4.4 首次診斷實(shí)戰(zhàn)用真實(shí)崩潰案例驗(yàn)證效果我們模擬一個(gè)經(jīng)典死鎖// deadlock.c #include pthread.h #include stdio.h #include unistd.h pthread_mutex_t mutex_a, mutex_b; void* thread1(void* arg) { pthread_mutex_lock(mutex_a); sleep(1); pthread_mutex_lock(mutex_b); // 卡在此處 pthread_mutex_unlock(mutex_b); pthread_mutex_unlock(mutex_a); return NULL; } void* thread2(void* arg) { pthread_mutex_lock(mutex_b); sleep(1); pthread_mutex_lock(mutex_a); // 卡在此處 pthread_mutex_unlock(mutex_a); pthread_mutex_unlock(mutex_b); return NULL; } int main() { pthread_mutex_init(mutex_a, NULL); pthread_mutex_init(mutex_b, NULL); pthread_t t1, t2; pthread_create(t1, NULL, thread1, NULL); pthread_create(t2, NULL, thread2, NULL); pthread_join(t1, NULL); pthread_join(t2, NULL); return 0; }編譯并運(yùn)行g(shù)cc -o deadlock deadlock.c -lpthread ./deadlock PID$!此時(shí)進(jìn)程已死鎖ps aux | grep deadlock顯示 CPU 占用為 0但進(jìn)程仍在。執(zhí)行診斷~/pstack-claude/pstack-claude.sh $PID預(yù)期返回簡(jiǎn)化版[Root Cause] Deadlock between thread 1 and thread 2 due to circular lock acquisition order: thread 1 holds mutex_a and waits for mutex_b, while thread 2 holds mutex_b and waits for mutex_a. [Evidence Chain] - Thread 1 #1: pthread_mutex_lock() at deadlock.c:12 (acquiring mutex_b) - Thread 2 #1: pthread_mutex_lock() at deadlock.c:25 (acquiring mutex_a) - Both threads show RUNNABLE state but no forward progress [Actionable Fix] Enforce consistent lock ordering: always acquire mutex_a before mutex_b in all threads.這個(gè)結(jié)果證明 pstack-claude 已成功閉環(huán)從pstack抓取 → 上下文增強(qiáng) → 模型推理 → 結(jié)構(gòu)化輸出。整個(gè)流程耗時(shí)約 3.2 秒比手動(dòng)gdb分析快 5 倍以上。5. 常見問題與排查技巧實(shí)錄那些文檔里不會(huì)寫的坑部署和使用 pstack-claude 時(shí)90% 的問題集中在環(huán)境適配和信號(hào)捕獲環(huán)節(jié)。以下是我在 12 個(gè)不同客戶現(xiàn)場(chǎng)踩過的坑按發(fā)生頻率排序附帶一鍵修復(fù)命令。5.1 高頻問題速查表問題現(xiàn)象根本原因一鍵修復(fù)命令驗(yàn)證方式pstack-claude.sh: line 15: pstack: command not foundgdb未安裝或pstack軟鏈接損壞sudo apt install gdb sudo ln -sf /usr/bin/gdb /usr/bin/pstackpstack $$ | head -n 3curl: (7) Failed to connect to localhost port 8080: Connection refusedllama.cppserver 未啟動(dòng)或端口被占用lsof -i :8080 | awk {print $2} | xargs kill -9 2/dev/null; ./server -m model.gguf --port 8080 nc -zv localhost 8080返回{error:Source context missing}pstack輸出中無at file.cpp:line格式或文件路徑不存在echo pstack output lacks source info /tmp/debug.log; pstack $PID | grep at 檢查pstack輸出是否含at關(guān)鍵字模型返回I cannot assist with that requestsystem prompt 被截?cái)鄑oken 超限修改app.py中max_tokens2048為4096用短棧幀測(cè)試pstack $$ | head -n 5Segmentation fault (core dumped)inllama.cppglibc版本過低或libstdc不兼容strings /usr/lib/x86_64-linux-gnu/libstdc.so.6 | grep GLIBCXX若低于GLIBCXX_3.4.21升級(jí)libstdcldd ./server | grep stdc5.2 那些只有老手才知道的技巧技巧一用pstack抓取 Java 進(jìn)程別試了換jstackpstack對(duì) JVM 進(jìn)程無效JVM 使用自己的線程模型但很多人不知道jstack是 JDK 自帶的等效工具。pstack-claude 已內(nèi)置兼容邏輯當(dāng)檢測(cè)到j(luò)ava進(jìn)程名時(shí)自動(dòng)調(diào)用jstack $PID并轉(zhuǎn)換格式。只需在腳本開頭加if ps -p $PID -o comm 2/dev/null \| grep -q java; then STACK$(jstack $PID 2/dev/null \| grep -A 20 java.lang.Thread.State) else STACK$(pstack $PID 2/dev/null \| ...) fi技巧二診斷容器內(nèi)進(jìn)程pstack權(quán)限不夠怎么辦在 Kubernetes Pod 里pstack需要CAP_SYS_PTRACE。與其給 Pod 加特權(quán)不如用kubectl exec透?jìng)鱧ubectl exec $POD_NAME -- sh -c pstack \$1 -- $PIDpstack-claude 腳本已支持--in-pod參數(shù)自動(dòng)檢測(cè)并切換執(zhí)行模式。技巧三模型“看不懂”匯編幀怎么辦pstack有時(shí)輸出#0 0x00007f9a1b2c3d4e in ?? ()這是符號(hào)缺失。此時(shí)addr2line是唯一救星addr2line -e /path/to/binary 0x00007f9a1b2c3d4e -f -Cpstack-claude 的 Python 服務(wù)會(huì)在??出現(xiàn)時(shí)自動(dòng)調(diào)用此命令并把結(jié)果注入提示詞。但前提是二進(jìn)制文件帶調(diào)試符號(hào)編譯時(shí)加-g。技巧四為什么pstack-claude.sh有時(shí)返回空這是curl超時(shí)導(dǎo)致的靜默失敗。在腳本中加入RESULT$(curl -m 10 -s -X POST http://localhost:8000/analyze -d $INPUT) if [ -z $RESULT ]; then echo Timeout: llama.cpp server unresponsive. Check logs. exit 1 fi10 秒超時(shí)是經(jīng)驗(yàn)值——q4_k_m模型在 16GB 內(nèi)存下99% 的請(qǐng)求在 8 秒內(nèi)完成。5.3 生產(chǎn)環(huán)境加固建議內(nèi)存隔離在llama.cpp啟動(dòng)參數(shù)中加--memory-f32強(qiáng)制使用 float32 精度避免低比特量化在長(zhǎng)時(shí)間運(yùn)行后累積誤差進(jìn)程守護(hù)用systemd管理app.py服務(wù)配置Restartalways和MemoryLimit4G防止內(nèi)存泄漏審計(jì)日志在app.py的/analyzehandler 中添加logging.info(fAnalyzed PID {pid} from {request.remote_addr})便于追溯模型熱更新不重啟服務(wù)即可切換模型llama.cpp支持POST /v1/models/load接口pstack-claude 的管理端已集成此功能。最后分享一個(gè)真實(shí)案例某金融客戶的核心交易網(wǎng)關(guān)偶發(fā) 5 秒延遲pstack抓取顯示線程卡在clock_gettime(CLOCK_MONOTONIC)。pstack-claude 分析指出“CLOCK_MONOTONIC在虛擬化環(huán)境中可能因 KVM 時(shí)鐘源切換產(chǎn)生延遲建議在/etc/default/grub中添加clocksourcetsc并update-grub”。客戶實(shí)施后延遲歸零。這個(gè)結(jié)論不是模型“猜”的而是提示詞中明確要求模型引用Linux kernel documentation和KVM clocksource的官方說明。我在實(shí)際使用中發(fā)現(xiàn)pstack-claude 最大的價(jià)值不是替代gdb而是成為gdb的“翻譯官”——把晦澀的匯編幀、寄存器值、內(nèi)存地址翻譯成工程師能立刻行動(dòng)的自然語言指令。它不創(chuàng)造新知識(shí)只是讓已有知識(shí)以最高效的方式抵達(dá)決策者手中。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精产国品一二三在观看| 久久久香| 天天摸天天做天天爱天天爽| 婷婷激情综合色五月久久91| 性做爰A片免费视频A片直播| 久久视频在线| 亚洲天堂热| 九九色逼| 天天日夜夜曹| 第四色色六月色综合| 变态 另类 在线| 噜噜色婷婷| 色婷婷丁香五月| 欧美色骚婷婷五月天| 亚洲人妻一区二区| www.九月婷婷丁香.com| 久久色情| 五月婷六月丁香| 欧美三级韩国三级日本三斤| 伊人久久大香网| 91婷婷在线| 丁香五月中文字幕| 狠狠干.com| 欧美影院| 成人va在线观看视频| 六月丁香婷| 思思久久精品视频| www.com.色色| 色婷婷成人做爰A片免费看网站| 丁香久久五月天视频在线观看| 99ri6在线视频| 丁香五月社区| 人人色AV| 欧美熟女99| 熟妇人妻中文字幕无码老熟妇| 欧美英丁香开心快乐六月天网| 一级性爱大片| A久久| 亚洲噜色| 狼人久草| 碰人人97| 欧美性猛交 XXXX 乱大交| 激情五月婷婷在线| 一起草AV| 丁香五月综合无码趴趴| AA片在线观看视频在线播放| 天天肏高清在线| 无码人妻精品一区二区蜜桃色欲| 色五月婷婷基地| 久久久8| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲电影中文字幕| 香蕉久久国产AV一区二区| 79色色免费| 色九月婷婷丁香| 五月丁香| 激情婷婷五月丁香啪啪啪| 五月婷婷色色色| 日韩成人无码人妻| 五月丁香在线| 久久人妻情侣| 超碰91人人操| 久久色吧| 新激情婷婷| 日本三级中国三级99| 六月婷婷网站| 丁香六月婷婷久久综合八月| 最新久久网址| 97人妻碰碰碰碰碰久久久久久| 97av在线视频| 婷婷五月情| 色人久久| 久草五月天| 激情婷婷五月| 五月婷婷操操| 第四色五月婷婷| 色综合中文色综合网| 久久久久久久久久91| 伊人99热| sS丁香五月婷婷| 色婷婷五月综合色婷婷| 狠狠干.com| 激情综合色| 亚洲99精品欧美一区| 天天日夜夜B久久| 超碰不卡在线| 9精品视频在线| 日本91在线播放| 99碰碰| 五月丁香六月欧美综合网站| 洗浴中心操B视频| 日日夜夜青青草| 大香蕉婷婷久久| AV在线免费观看不卡| 久久综合婷婷| 九九黄色网| 欧洲一区二区| 婷婷五月综合社区| av在线免费网站| 婷婷丁香五月噜噜噜| 天天曰夜夜爽| 天天插天天插天天日| 91人人网| 啪啪综合网| 99精品视频推荐| 久久久久亚洲AV综合| 欧美性爱五月天| 久久久久久久97| 国产这里只有精品| 热久久这里只有精品| 色色婷| 第四色大香蕉| 日本精品人妻无码77777| 伊人在线视频| 99热99色| 亚洲五月停停| 人人操超碰| 婷婷色丁香五月| 五月天中文字幕在线婷婷| 久久免片| 深夜婷婷 丁香| 九九精品热播| 九九精品热| 天天色视频| 曰曰久久| 精品一二三区久久AAA片| 九九热只有精品| 色五月综合网| 中文字幕成人| 色噜噜丁香| 被强行糟蹋的女人A片| 五月丁香婷婷色| 免费视频无码| 白人荫道BBWBBB大荫道| 日B日潘金莲BB| 丁香激情综合| 4399高清无码视频| 激情九月婷婷| 综合色天天| 狠狠色综合777| sewuyuejiqingwang| 婷婷色5月天在线。| 色插综合网| 伊人五月人妻精品| 99爱在线免费视频| 久久久久久欧美精品se一二三四| 婷婷五月天网| 31色区视频免费看| 色热久| 色琪琪一综合久久激情五月视频| 秋霞电影一级黄| www.夜夜夜| 很很干五月天| 婷婷五月天综合AV| 99色在线观看| 激情国产综合| 婷婷丁香社区网| 午夜精品777| 五月丁香婷婷综合网色欲| 国产日日操夜夜操的肉棒视频| 综合五月天完整| 狠狠操狠狠操| 91精品丝袜久久久久久| 1级欧美日韩| 九九精品婷| 97碰人人操| 久久香蕉影院| 婷婷五月色亚洲| 野战毛片三一3| 操99| 激情综合文学| 99re99在线看| 色播五月婷婷五月| 午夜一区| 99免费青青蜜臀| 五月婷婷丁香| 五月色色激情网| 99热这里只有精品1025| 色情终和网| 丁香五月天婷婷91| 五月婷婷综合激情| 亚洲性爱电影| 成人草榴视频| 97久久视频| tingtingcaobi| 自拍视频99| 久久丁香五月天| 色九月激情综合网| 色碰碰| BBWCUCKOLD精品熟妇| 欧美色偷偷大香| 99久视频| 99热只有| 日B日潘金莲BB| 99在线热| 这里只有精品视频免费在线观看| 欧美成人精品A片免费一区99| 五月天丁香欧美激情| 99视频内射三四| 日本性激情色播| 在线观看的av| 久久天堂色| 五月丁香婷婷爱激情综合网| 99色| 97操碰在线97| 亚洲久久婷婷丁香五月天| 婷婷五月天社区| 做爰丰满少妇1313| 亚洲欧美成人在线| 日日干夜夜干| 97碰操| 99热99热在线观看| 丁香五月成人自拍| 五月婷婷啪啪| 丁香五月激情啪啪啪啪| 五月婷婷香蕉| 色综合久| 噜噜色五月| 丁香激情五月| 久久精品天| 五月色丁香国产在线视频| 九九AV在线| 另类国产欧美视频| 99爱免费视频| 色啪久| 美妞av| av大香蕉| 99精品在这里| 天天人人天天爽| 九九视频免费| 99只有精品| 东京热五月婷婷| 丁香五月婷婷婷婷欧美综合| 五月丁香六月婷| 免费在线a| 天天综合插插| 亚洲亚洲人成综合网络| 白天AV月月| 五月丁香影视| 九九热99re8热免费观看 | 五月婷AV| 国产成人综合亚洲| 99热在线这里只有精品| 五月色情| 色婷婷五月天成人网| 播播网色播播| 深爱五月激情网| a在线观看| 激情丁香六月| 色欲婷婷五月天| 色色色97| 另类激情五月| 99综合久久| 婷婷五月丁香91| 久久大香蕉伊人| 五月婷婷综合潮喷| 九月性爱网| 色情播放| 国产一级黄色影片,| 最新久久网址| 一本综合丁香日日狠狠色| 色色操| 五月叮香啪| 热久久这里只有精品20| 67久久| 人人看人人摸人人| 超碰京东热av男人的天堂| 亚洲色情网站| 五月婷婷九九热| 五月天婷婷乱论小说| 日本 色综合| 婷婷久久丁香| 久草五月天| 开心五月激情婷婷| 婷婷色网站| 狠狠 婷婷| 激情视频综合| 91色涩| 五月丁香六月综合基地| 婷婷丁香五月综合| 婷婷综合五月色播| 丁香五月婷婷婷桃花影院| 五月激情小说| 亚洲五月天,激情视频| 色五月婷婷五月天| 六月丁香综合网| 五月婷A V在线| 狠狠插日日干撸| 色色综合院| 综合性爱网| 国产99久久久| 中字幕视频在线永久在线观看免费| 啪啪啪五月天| 激情丁香久久| 婷婷五月色| 五月丁香成人| 日韩久综合| 99久久久免费| 99视频精品全部免费观看| 久久综合9| 天天干天天拍| 五婷婷六月合| 久久 无毛。| 天天做天天爱天天爽夜夜揉| 99狠狠色| 丁香蜜臀黄色婷婷五月天| 香蕉综合网| av九九| 亭亭玉立国色天香| 五月婷婷少妇之| 91婷婷五月天综合视频| 99热这里只有精品最新网址| 激情涩播| 91精品久久久久久久久| 色亚洲视频| 天啪天啪天啪天啪| 狠狠干天天日| 深情五月天| 97色色色| 亚洲永远av在线播放| 中文成人在线| 婷婷性爱无码视频| 久操无码| 操草草草| 五月天色五月| 操操国产| 99思思热只有在这里看| 五月丁欧美| 久草婷妨| 99精品网| 98色花堂98t.R| 九九爱这里只有精品| 久久丁香网| 97人人草| 99热免费在线| 五月天色婷婷小说| 热99精品视频五月| 99综合99| 少妇被躁爽到高潮无码文| 色五婷婷开心缴| 夜夜骑日日操| 五月久熟女| 久久性爱网| 超碰人人艹| 五月婷婷综合潮喷| 丁香五月在线伊人| 五月色婷婷影院| 亚洲日韩成人三级av| 色色色色综合网| 婷婷五月天啪啪| 成久综合视频| 9精品在线| 成人AV片播放| 性做爰1一7伦| 97色色视频| 天天噜| 婷婷丁香亚洲五月天| 无码区婷婷五月花开| 婷婷六月香| 色婷婷在线视频| 日本三级中国三级99| 婷婷五月视频| 99久久综合精品五月天| 99热这里有精品| 九九热最新地址| 影音先锋AV资源男人站| 婷婷久久婷婷色五月| 六月 丁香 视频| 人人摸人人搞| 中文字幕丰满人妻无码专区| 五月婷婷影视| 免费无码毛片一区二区A片 | 天天天天天天天干| 99在线精品观看99| 精品牛仔裤超碰| 久久日九九| 欧美日韩成卜| 超级碰碰97在线| 91超碰人人操| 婷婷五月天伊人网| 激情小说在线视频| 六月婷婷中文字幕| 色五月播五月| 五月丁香六月婷婷成人电影| 婷婷中文字幕| 99色6爱9热| 伊人网啪啪| 精品自拍97| 就爱操www com| 婷婷第一页| 九九热内射| ..真实国产乱子伦毛片| 桃色成人网| 香蕉久久国产AV一区二区| 亚洲免费看片| 亚洲欧洲中文日韩久久AV乱码| 色色99| 色五月丁香婷婷| 五月天综合网| 五月天成人免费视频| 99re思思热久久| a在线观看| 婷婷精品在线| 色婷婷小说| AV中文在线| 色综合久久久久| 中文字幕在线免费观看视频| 亚洲情欲| 99热在线观看| 免费黄网不卡AV| 香蕉乱插| 香蕉久久国产AV一区二区| 婷婷成年人免费视频| 丁香五月天中文字幕| 夜夜谢天天干| 综合色99| 色优久久| 1024成人免费看| 亚洲欧美日韩另类| 九九热re99re6在线精品| 五月丁香啪啪综合网| 99热这里只有精品1025| 婷婷五月亚洲激情| 婷婷色色播五月天| 少妇激情五月天| 可以免费看AV网站| 91狼友视频网页更新| 五月花婷婷丁香| 色吊操色妞| 一起草性爱不卡视频| 婷婷五月天首页激情| 人人操五月天| 久久婷婷五月综合色和| 99爱视频在线观看这里只有精品| 亚洲激情婷婷| 无码免费人妻A片AAA毛片西瓜| WWW嗯嗯啊啊啊啊| 色综合久久无码| 色女人久久| 爱性综合网| 最新五月天婷婷影| 99热资源在线| 色五月激情五月| 1024人妻无码中文字幕| 五月婷婷与六月丁香图片激情| 婷激情五月天视频导航| 天天日日夜夜爽。| 婷婷伊人| 中文字幕综合色| 九热...av| 狠狠色丁婷婷日日,伊人激情综合网 | 怡红院院久久| 丁香六月婷| 色吧五月| 丁香五月电影院在线观看| 99色色爰| 99热九九热| 国产亚洲色婷婷久久99精品91| 成人综合网站| 国产日韩av片| 色色亚卅| 久久五月丁香| 色网站9| 久久女婷| 午夜丁香婷婷| 天堂无码人妻精品AV一区| 综合婷| 欧美五月丁香啪啪响视频| 丁香五月婷婷色| 337p大胆噜噜噜噜噜91Av| 97亚洲视频在线| 91丨九色丨熟女丰满| 午夜丁香六月婷| pom538精品视频| 青柠影视免费高清电视剧| 亚洲成人无码网站| 五月婷婷花| 日本色色图| 丁香五月天堂婷婷| 99re熱| 丁香五月婷婷在线观看| 婷婷大香蕉| 丁香五月天狠狠操| 亭亭五月天黑人2014| 久久久久久综合88| 五月激情视频| 成人丁香色| aaaaa不卡| 激情五月婷婷网| 激情五月婷| 综合久久高清| 99免费在线| 大地9中文在线观看免费高清| 97色色综合| 欧美性爱5月天天天看| 99久久久免费| 伊人九九综合| 色婷婷裸体色性在线| 丁香六月综合激情| 五月天久久婷婷| 色婷狠狠| 婷婷成人av| 天天做天天爱天天爽在| 六月激情综合| 激情五月天色色网| 中文久久婷婷| 久久九⑨| 婷婷深爱五月丁香| 丁香婷婷激情四射五月| www.热99热| 九九亚洲| 99久久a线观| 99热最新| 99久在线观看| 视频一二区| 色护士综合| 婷婷激情5月| 九九av| 五月天婷婷基地| 91色在线 | 日韩| 高清 码 免费看片短视频| 天天干天天爽天天操| 无码激情AAAAA片-区区| 久久婷婷五月国产激情综合片| 夜夜 操无码| 六月丁香停| 熟女激情五月天 | 婷婷色导航| 91婷婷| 综合色99| 午夜大香蕉| 色婷婷基地| 99自拍视频网站| 五月婷婷丁香大陆免费| 综合性爱网| 色日本综合| 91久久综合亚洲噜噜成人在线| 青青草成人网| 国产精品日日躁夜夜躁| 婷婷中文在线| 视频这里只有精品| 色色激情五月天| 精品视频99看在线视频| 香蕉久久国产AV一区二区| 青草久久五月婷伊人| 五月天激情小说| 婷婷五月天激情在线观看| 五月婷婷激情| 亚洲五月天狠狠| 色色色色色色色色色影院| 深爱五月天天| 精品五月花| 亚洲五月花| 日本色色网站| 午夜婷婷| 五月天婷婷激情干干| 任你躁XXXXX麻豆精品| 国产片色| 99热999| 欧美性猛交99久久久99| 99热日本| 狠狠xx| 激情五月综合网最新| 五月婷婷官网色| 亚洲无码yw| 欧美99热| 精品人妻伦| 成人五月丁香花| 99热费观看| 婷婷婷久久久| 成人丁香五月| 伊人色综在线| 99九九99九九九视频精彩| 五月丁香综合在线| 免费观看的AV| 久9热| 五月综合视频| 另类丁香综合| 久久丁香五月婷婷激情综合网| 婷婷五月天亚洲激情戏精品| 六月婷婷中文字幕| 另类小说色婷婷| 五月婷婷啪啪啪啪| 色婷婷久久天天性爱| 天天日日人| 丁香美女主播视频在线观看| 婷婷情色五月天| 可以看的av| 日本天堂网站99| www.99婷婷| 九九热视频免费观看| 亚洲九九婷婷| 91精品在线看| 思思热99在线| 99在线视频播放| 欧美经典片免费观看大全| 精品久久久久久久人妻| 亚洲成人AV在线观看| 国产AV国片偷人妻麻豆| 97精品自拍视频| 激情的五月婷婷蜜桃| 丁香婷婷综合喷| 五月丁香五月综合欧美| 性做久久久久久久免费看| 成人一区在线观看| 婷婷伊人激情婷婷| 婷婷久久亚洲| 婷婷五月天天激情| 丁香五月视频在线观看| www99在线观看视频| 欧美情色一区| 久久这里只有精品视频26| 亲子乱AV-区二区三区| 操99| 色在线视频网2025| 丁香六月中文| 成人网站免费在线播放| 亚洲av另类在线观看| 色5月婷婷| 日日夜夜爽| 色婷婷婷av| 色噜久| 欧美成人AAA片一区国产精品| 中文AV在线观看| 亚洲婷婷丁香五月视频| 婷婷在线播放av| 人操人人| 国产av天天插天天操天天爽| 九九视频这里只有精品| 五月丁香综合激情网| 国产夫妻操逼内射视频| 色九月婷婷综合| 91av色色乱视频| 婷婷五月激情的图片| 色狠久| 一二线视频 另类| 日本女天天爽| 色五月欧美| 日韩AV片| 六月丁香啪啪啪| 538任你爽视频不一样的| 天天操狠狠操| 久久九久久| 亚州视频九九99| 日日干夜夜干| 色八月婷婷| 五月婷婷中文| AAA久久| 色五月超碰| 91久久免费| 色欲色香综合网| 中文字幕丰满乱孑伦无码专区| 无码人妻一区二区三区四区| 色婷婷电影网| 99er6| 五月丁香啪啪啪| 视频这里只有精品| 91中文在线| 五月丁香色婷婷伊人| 婷香五月激情视频| 婷丁五月| 天天干天天拍| 日日想日日夜日日操| 少妇人妻人伦A片| 国产婷婷综合| 色噜噜丁香| 97色婷婷五月天| 热99视频精品在线| 五月丁香综合在线| 久久久久网站| 99综合网| www.婷婷网| 免费看欧美成人A片无码| 丁香五月视频在线观看| 男同91| 久播影院免费观看电视剧大全最新网| 操日本色| 一级精品999WWW| 啊V视频在线观看| 夜夜爽天天爽| 婷婷精品在线| 97干在线免费| 91九色|疯狂|高潮|对白|| 91狠狠色| 精品国产AV色一区二区深夜久久| Www.婷婷五月| 婷婷久久18| 五月婷婷色情| 五丁香激情综合| 99热爆在线| 天天操天天操天天操天天操天天操| 97热在线精品| 99日韩| 丁香五月婷婷乱| 一区二区三区四区牛| 久久久五月五丁香| 99人这里只有精品| 久久久久久久久久久久63| 欧美三日本三级少妇三99| 这里只有精品在线视频精品| 伊久大香蕉| 激情综合五月婷婷| 婷婷四月 成人 狠狠干| 97成人在线视频| 五月丁香婷婷在线| 天天舔天天| 最新AV在线观看| 色色色色热| 九九精品在线网| 久久草中文日韩欧美| 99热超碰| 九九热最新地址| 色情五月天小说| 99在线视频操999| 激情综合在线观看| 性爱电影科技贸易有限公司| 9l视频自拍九色9l视频在线观看| 亚洲成人网站在线观看| 激情五月小说婷婷| 婷婷久久五月| 国产肏屄大片| 影音先锋女人AA鲁色资源| 99色视频| 六月丁香婷婷爱| 久久98热re| 五月色丁香综合| 五月婷婷网五月在线| 亚洲99在线| 亚洲精品99| 婷婷福利影院| 91精品无码| 色婷婷啪啪啪啪啪啪| 人妻久久久久久久久妻久久久久久久久| 26uuu国产精品| 激情都市丁香婷婷| 啪啪婷婷五月天激情| 国产99久| 99热精品在线| 丁香五月首页| 很很干天天干| tingtingzonghewang| 婷婷五月天久久| 999九九九久久久99HD| 五月激情小说| 九九综合久久| 夜夜躁婷婷AV| 99久久玖玖| 久久五月丁香综合17C| 91精品久久久久久77777| 久久99免费视频| 99超超碰| 日日日日日| 丁香六月婷婷综合| WWW.17C亚洲精品| 色了色综合| 免费99情趣网视频| 天天搞夜夜爽夜夜爽| 色99在线看| 壅壅儕家a| 婷婷五月丁香五月基地| 国产一区二区三区影院| 少妇综合网| 色播六月| a网站免费观看| 久9热视频| 综合 蜜月 婷婷| 91在线精品一区二区| 一点色成人网| 五月丁香成人网| 久久九九色| 久久激情五月| 99久久综合网| 91欧美日韩综合| 国产精品视频| 综合色影| 91狠狠综合网| 婷婷中文无码| 91婷婷色五月| 狠狠久久婷五月| 婷婷伊人综合中文字幕| 国产成人综合在线| 成人av播放| AV在线免费网站| 91色在线/日韩| 久草A片| 91操熟女| 丁香色五月天| 九九久久综合| 国产99久久久国产精品免费看| 九九久久综合| 婷婷六月色| 性做久久久久久久免费看| 五月天激情四射| 伊人久久婷婷| 女人被躁到高潮嗷嗷叫小| 亚洲深喉aV| 婷婷色五月91啪啪| 99人妻碰碰碰久久久久| 五月开心六月婷婷在线播放网站| 深爱激情六月天| 色婷婷9| 欧美成人va| 久久网婷婷| www色婷婷com| 久久婷鲁| 伊人五月天婷婷| 91妻人人爽人人看片| site:picc-up.com| 久色网| 在线国产精品色| 亚洲综合激情五月久久| 97色婷婷成人综合在线观看| 99热1| 99久久精品国产色欲| 婷婷五月天激情开心网| 伊人成综合五月婷婷| 亚洲精品性色| 蜜臀综合久草| 亚洲激情精品| AV变态另类一区二区| 丁香五月婷婷欧美成人色图| 色涩视频久久| 99er久久| 久久久日韩特色特黄AAAA| 激情九九综合网| www.金莲av| 亚洲色 视频| 色爱爱综合网| 天天久| 色婷婷色综合激情91| 丁香五月影院| 色综合九九色综合88| 一级精品999WWW| 婷婷丁香熟妇综合网| 五月丁香婷婷综合网| 久鲁鲁色网| 香蕉久久国产AV一区二区| 久久这里都是精品视频| 婷婷五月天 丁香五月天 裸体| 亚洲免费99| 九九精品系列| 亚洲成人中心| 亚洲黄色影视| 天天操夜夜操| 五月天五月婷五月激情网| av超碰在线| 日韩在线观看亚洲| 日本人妻A片成人免费看片| 亚洲精品成人| 深爱丁香激情| 久久女人九九| 色五月婷婷av| 色婷婷五月六月丁香综合视频| 天天日天天爽| 欧美狠狠地| 色情婷| 99色精品| 久色中文| 99热999| 日本久热| 91艹人| 欧美五月婷婷综合| 99ri视频在线播放| 五月丁香婷婷无码中文| 91久久日日| 日本狠狠色| 色色日韩| 91人妻九色大屁股| 日韩黄色电影| 丁香五月天欧洲在线| 丁香五月天堂婷婷| 91视频综合网| 免费AV黄在线播放| 九九99九九精品视频| 婷婷综合亚洲| 久久五月丁香激情综合| 婷婷国产五月天17c| 五月婷婷综合激情网| 一个色的综合| 五月天基地| 99亚洲视频| 99热在线观看这里只有精品| 欧美色色色色色色色色色色| 五月天色五月| 99热久| 五月伊人综合| 婷五月天| 涩涩五月天| 国产成人+亚洲+欧洲| 99在线69| 久777| 超碰操网| 操啊操av| 91热在线| 91九九九九九九| 久久女婷| 9久热这里只有精品| 91热99| 伊人喵咪a V| 婷婷综合激情| 九九久热| 成人片久久网站| 九伊人网| 大伊香蕉精品视频在线| 一区二区乱码视频| 色婷婷丁香中文在线播放| AV在线免费播放| 先锋影音男人的天堂AV| 99re思思久久| 色五月婷婷很很操| 色婷婷激情小说网| 亚洲无线视频| 爱iii做iiii日日| 久热免费视频| 婷婷五月天情色| 天天成人丁香美女AV| 操人无码| 久久九九亚洲| 中文字幕日产A片在线看| 91黄操| 色综合射婷婷| 五月丁香亭亭成人电影| 五月丁香亭亭操逼| 婷婷激情五月天激情小说| 狠狠综合网| 高清不卡一区| 五月亭亭直播| 五月婷婷婷婷婷婷艺术| 丁香五月天激情网址| 99狠狠操一| 综合另类激情| 高潮毛片又色又爽免费| 色色色色色网| 色99日韩| 野战毛片三一3| 丁香五月第四色88| 亚洲第一色网站| 99操视频| 久久久久亚洲AV无码网影音先锋| 色激情网| 日比网免费国产| 欧美精品999| 色婷婷亚洲婷婷| 五月天淫乱视频| 婷婷深爱五月丁香| 婷婷五月噜噜| 色综合五月在线| 五月情丁香色| 色很很96| 色5月婷婷| 国产精品色婷婷99久久精品| 色婷婷色五月综合| 色婷婷丁香AV综合| 狠狠色色色| 中文字幕无码人妻少妇免费视频| 婷婷五月天亚洲| 亚洲综合1024| 超碰97干| 久久99激情| 五月丁香网站| 天天婷婷综合亚洲亚洲| 四色99久久| 天天谢天天操| 久久婷婷五月天亚洲欧美| 第四色婷婷五月| 婷婷色色播五月天| 色狠狠六月| 丁香五月另类小说在线阅读| 伦乱美欧| 六月激情婷婷色| 台湾综合丁香五月蜜桃| 婷婷欧美激情综合| 高潮毛片遮挡费高一百度| 思思热天天看| 欧洲激情网站| 日日操夜夜操狠狠操| 丁香五月自拍| 婷婷五月天另类视频| 日本色婷婷五月天成人电影| 婷婷丁香久久五月综合| 337p午夜影院| 5月丁香六月情| 日本熟女一区二区| 婷婷五月天干干| 99热这里有精力| 五月婷婷免费在线视频| 五月天激情图片| 五月在线| 丁香色五月天| 精品99在线观看| 99热这里只有精品1025| 91人人爽狠狠狠| 久久人妻精品| 亚洲成av人影院| 国产精产国品一二三在观看| 色色五月婷婷网| 丁香五月欧美婷婷| 超碰97色| 久一网站| 久久综合婷婷| 丁香婷婷人妻| 色播五月丁香婷婷| 婷婷五月天最新综合你懂的| 久久er这里只有精品| 狠狠色激情在线| 就爱啪啪婷婷| 丁香五月开心婷婷| 丁香五月天激情综合| 超碰99热精品| 五月激情六月综合| 少妇人妻人伦A片| 超PEN精品在线| 色九九丁香九月色九九色| 九色91视频| 久热无码| 五月丁香色狠狠干大屄| 久久久久久久久人妻| 天天做天天爱天天高潮| 午夜丁香婷婷| AV在线不卡播放| 大大香蕉综合在线| 日韩成人电影在线播放| 五月天激情综合网站| 丁香狠狠| 人人爱国产| 九九这里是免费的视频5| 日本婷婷| 中文字幕成人版| 操操精品| 五月天丁香啪啪综合| 色操b| 丁香五月天亚洲视频| 色色色色色色色色网站| 4399无码视频| 超碰A V在线| 9久久精品| 深爱五月亚洲| 激情五月婷婷五月丁香五月开心五月| 久久人操| WW婷婷五月天com| 国产1区2区| 精a品a视a频| 人人草人人视| 91丨九色丨熟女| 久草热久草在线视频| 青青色com久久| 色五月天丁香| 婷激情五月| 婷婷的99视频网站| 青青久在线视频免费观看| 91趴趴| 婷婷色五月激情| 婷婷五月天狠狠| 天天操天天操天天操天天操天天操| 综合 激情 婷婷| 99伊人性爱在线影院| 婷婷在线五月天观看| 六月婷婷色| 丁香五月激情网| 五月天丁香看婷婷| 激情五月伊人婷婷| 丁香五月天啪啪a日本| 日本丁香五月| 停停六月 综合| 久久99热这里只有精品首| 婷婷五月婷| 99热亚洲| 五月亭亭色| 色综合五月在线| 97人人干人人操| 精品人妻伦九区久久AAA片| 九月综合| 久久这里有精品视频在线免费观看| 14色综合婷婷| 超碰免费人| 五月婷婷六月丁香| 五月天国产| 性做久久久久久久免费看| 婷婷丁香五月天影院 | 91色逼| 26uuu国产激情视频| 思思久久精品| 六月丁香婷婷色狠狠久久| 五月丁香啪啪综合网| 99九九久久| 五月丁了香蕉综合| 欧美天天干天天草| 超碰99在线观看| 婷婷五月天中文字幕| 青青草原99热| 第九色区av天堂| www.五月婷婷.com| 激情5月婷婷| 久久大香蕉丁香| 五月婷婷激情刺激| 91婷婷色 | 色婷婷啪啪综合网| 五月天婷婷丁香花| 日韩无码专区| 万月丁香狠狠爱| 99,色| 色无码| 97干在线视频精品店| 久久婷婷五月天激情四射| 欧美综合激情五月天| 丁香五月天激情| 一区二区乱码视频| 天天狠狠干| 99热这里有精品| 国产成人网址| 五月丁香亭亭操逼| 色色丁香五月| 思思热精品免费视频| 99热伊人| 亚洲五月天色| 亚洲操操| 91狠狠色丁香| 狠狠色五月天| 婷婷99丁香| 天天日夜夜帕| 天天操天天插天天射| 综合色综合| 久久精品国产精品| 激情深愛五月視頻| 人人草人人爱| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 日韩六十路91性交电影| 国产看真人毛片爱做A片| 成人午夜无码视频| 99精品自拍视频| 五月天婷婷网站888| 婷婷色六月| 五月亭大香蕉| 色噜噜狠狠色综无码久久合欧美 | 日本色噜| 久热综合| 欧美大香蕉视频| 伊人婷婷大香蕉| 午夜爱插插| 精品人妻在线| www99在线观看视频| 综合久久影院| 久久婷婷五月综合一| 丁香六月婷婷色XXXXX| 午夜成人在线免费视频| 五月天色区| aaa9区免费在线观看| 色色99| 激情综合九月| 五月丁香激情啪啪| 另类图片天天影视在线观看| 久草五月天| 99rewww| 欧美人与性动交CCOO| 色欲丁香久久| 综合成人小说婷婷| 任你擦免费视频| 性爱久久| 丁香五月性爱| 激情五月天网站| 激情伊人六| 影音先锋美国A| 九九热这里只有精品31| 欧美日本97| 爽天天天天天天天| 熟女网站久久| 狠狠狠狠狠狠狠狠| 五月人人丁香婷婷五月人人丁香| 伊人色综合网| 91大屁股| 六月丁香婷婷大香蕉| 九九热在线视频观看| 97日本在线| 色狠狠999综合| 性色欲情 网站| 五月丁香综合| 五月婷网站| 久久久久久久久久久97| 99热6精品| 丁香五月婷婷综合视频| 日本一級黃色一級片| 九九婷婷网五月天| 91操熟女| 玖玖婷婷五月天| 婷婷五月中文字幕国产| 综合五月丁香97| 丁香婷婷九月| 精品乱码视频| 岛国在线观看91| 久色激情| 在线中文亚洲| 色婷婷丁香五月| 婷婷五月色亚洲| 综合久久高清| 99性爱视频| 日日夜夜天天爽| 日韩欧美成人片| 97人人射| 久久这里只有欧美| 99热免费精品| 大地9中文在线观看免费高清| www.五月.com| 九九青青草成人| 性爱激情综合网| 婷婷久久精品| 另类图片五月天婷婷| 婷婷桃色网| 激情四射五月天| 五月婷婷影视| 毛片新网地| 97自拍视频在线| 色五月丁香网| 五月丁香日本在线视频观看| 97超级碰| 欧美综合五月丁香六月婷| 欧美激情五月天在线观看| 任你干嘛免费视频播放| 五月婷婷激情网| 久久色五月天激情小说| 国产69久久久欧美黑人A片| 欧美xx激情视频在线观看| 精品九九在线观看视频| 婷婷丁香无码专区| 99精品久久久久久久婷婷| 99热只有这里才是精品| 色综合婷婷| 97色五月婷婷在线| 超碰在线人妻| 色欲AV导航| 色婷婷成人丁香| 色爱爱综合网| 大香蕉伊人久久| 玖玖资源站中文| 亚洲国产色婷婷| 狠狠色综合网站久久久久| 丁香九月婷婷| 综合久久五| a在线观看| 婷婷激情社区| 99人这里只有精品| 日韩在线成人电影| 一二线视频 另类| 色五月综合网| 欧美成人网99网| 五月色欧洲| 婷婷五月天综合久久| 久久婷鲁| AA片在线观看视频在线播放| 91人人操人人爱| 天天干天天色天天干| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 天天情天天狠天天透| 亚洲无码激情| 琪琪布丁香社区激情五月天| 亚洲人妻av| 99这里有精品| 日韩av干| 久久丁香婷婷五月天| 久久精品五月天| 9精品国产在热久久| 激情四射五月天| 五月色色网| 婷婷五月天天天| 日夜夜久久| 丁香五月在线伊人| 97人人搞|