99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn)

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn) 文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載本篇文章基于 linux-command 倉(cāng)庫(kù)中的 strace 命令文檔 展開(kāi)系統(tǒng)講解這一「集診斷、調(diào)試、統(tǒng)計(jì)于一體」的系統(tǒng)調(diào)用跟蹤工具從語(yǔ)法與全部選項(xiàng)入手通過(guò)追蹤系統(tǒng)調(diào)用、跟蹤信號(hào)傳遞、系統(tǒng)調(diào)用統(tǒng)計(jì)三個(gè)經(jīng)典實(shí)例再到分析 Oracle lgwr 進(jìn)程寫(xiě)入行為的綜合實(shí)戰(zhàn)讓讀者掌握用 strace 定位故障、理解程序工作過(guò)程、量化系統(tǒng)調(diào)用開(kāi)銷的完整方法論。strace 是什么系統(tǒng)調(diào)用與信號(hào)的雙重觀察窗口strace 命令是一個(gè)集診斷、調(diào)試、統(tǒng)計(jì)于一體的工具它通過(guò)對(duì)應(yīng)用的系統(tǒng)調(diào)用和信號(hào)傳遞進(jìn)行跟蹤幫助工程師解決問(wèn)題或了解應(yīng)用的工作過(guò)程。需要明確的是strace 與專業(yè)的調(diào)試工具如 gdb定位不同它不是一個(gè)專業(yè)調(diào)試器不會(huì)提供斷點(diǎn)、單步執(zhí)行、變量查看等交互式調(diào)試能力而是以「旁觀者」的視角記錄程序與內(nèi)核之間的每一次交互。Linux 用戶態(tài)程序的一切行為最終都要通過(guò)系統(tǒng)調(diào)用syscall到達(dá)內(nèi)核例如讀寫(xiě)文件、分配內(nèi)存、創(chuàng)建進(jìn)程、網(wǎng)絡(luò)通信同時(shí)進(jìn)程也會(huì)接收來(lái)自內(nèi)核或其他進(jìn)程的信號(hào)signal。strace 恰好把這兩類事件全部記錄下來(lái)并解析成人類可讀的文本這就構(gòu)成了觀察程序行為的兩個(gè)最佳窗口。在 linux-command 倉(cāng)庫(kù)中strace 與幾個(gè)工具形成互補(bǔ)關(guān)系便于橫向?qū)Ρ壤斫鈒trace 命令文檔跟蹤進(jìn)程調(diào)用庫(kù)函數(shù)的情況與 strace 跟蹤系統(tǒng)調(diào)用恰好互補(bǔ)二者常搭配使用gdb 命令文檔功能強(qiáng)大的程序調(diào)試器支持?jǐn)帱c(diǎn)、單步、變量查看屬于真正的「專業(yè)調(diào)試器」strace 不與其競(jìng)爭(zhēng)。strace 最簡(jiǎn)單的用法就是執(zhí)行一個(gè)指定的命令在命令結(jié)束之后它也就退出。在命令執(zhí)行的過(guò)程中strace 會(huì)記錄并解析命令進(jìn)程的所有系統(tǒng)調(diào)用以及這個(gè)進(jìn)程所接收到的所有信號(hào)值。語(yǔ)法strace [ -dffhiqrtttTvxx ] [ -acolumn ] [ -eexpr ] ... [ -ofile ] [-ppid ] ... [ -sstrsize ] [ -uusername ] [ -Evarval ] ... [ -Evar ]... [command [ arg ... ] ] strace -c [ -eexpr ] ... [ -Ooverhead ] [ -Ssortby ] [ command [ arg... ] ]兩種語(yǔ)法形式的區(qū)別在于第一種是常規(guī)跟蹤模式直接跟蹤并實(shí)時(shí)輸出每個(gè)系統(tǒng)調(diào)用第二種固定以-c開(kāi)頭進(jìn)入統(tǒng)計(jì)模式只輸出系統(tǒng)調(diào)用的匯總統(tǒng)計(jì)報(bào)表。-Ooverhead用于設(shè)置每個(gè)系統(tǒng)調(diào)用的開(kāi)銷值微秒級(jí)以便-c統(tǒng)計(jì)時(shí)扣除該開(kāi)銷得到更真實(shí)的耗時(shí)-Ssortby指定統(tǒng)計(jì)結(jié)果的排序字段如 time、calls、errors 等。選項(xiàng)詳解strace 的選項(xiàng)覆蓋面很廣下面是文檔中給出的完整選項(xiàng)清單-c 統(tǒng)計(jì)每一系統(tǒng)調(diào)用的所執(zhí)行的時(shí)間,次數(shù)和出錯(cuò)的次數(shù)等. -d 輸出strace關(guān)于標(biāo)準(zhǔn)錯(cuò)誤的調(diào)試信息. -f 跟蹤由fork調(diào)用所產(chǎn)生的子進(jìn)程. -ff 如果提供-o filename,則所有進(jìn)程的跟蹤結(jié)果輸出到相應(yīng)的filename.pid中,pid是各進(jìn)程的進(jìn)程號(hào). -F 嘗試跟蹤vfork調(diào)用.在-f時(shí),vfork不被跟蹤. -h 輸出簡(jiǎn)要的幫助信息. -i 輸出系統(tǒng)調(diào)用的入口指針. -q 禁止輸出關(guān)于脫離的消息. -r 打印出相對(duì)時(shí)間關(guān)于,,每一個(gè)系統(tǒng)調(diào)用. -t 在輸出中的每一行前加上時(shí)間信息. -tt 在輸出中的每一行前加上時(shí)間信息,微秒級(jí). -ttt 微秒級(jí)輸出,以秒了表示時(shí)間. -T 顯示每一調(diào)用所耗的時(shí)間. -v 輸出所有的系統(tǒng)調(diào)用.一些調(diào)用關(guān)于環(huán)境變量,狀態(tài),輸入輸出等調(diào)用由于使用頻繁,默認(rèn)不輸出. -V 輸出strace的版本信息. -x 以十六進(jìn)制形式輸出非標(biāo)準(zhǔn)字符串 -xx 所有字符串以十六進(jìn)制形式輸出. -a column 設(shè)置返回值的輸出位置.默認(rèn) 為40. -e expr 指定一個(gè)表達(dá)式,用來(lái)控制如何跟蹤.格式[qualifier][!]value1[,value2]... qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用來(lái)限定的符號(hào)或數(shù)字.默認(rèn)的 qualifier是 trace.感嘆號(hào)是否定符號(hào).例如:-eopen等價(jià)于 -e traceopen,表示只跟蹤open調(diào)用.而-etrace!open 表示跟蹤除了open以外的其他調(diào)用.有兩個(gè)特殊的符號(hào) all 和 none. 注意有些shell使用!來(lái)執(zhí)行歷史記錄里的命令,所以要使用\. -e traceset 只跟蹤指定的系統(tǒng) 調(diào)用.例如:-e traceopen,close,rean,write表示只跟蹤這四個(gè)系統(tǒng)調(diào)用.默認(rèn)的為setall. -e tracefile 只跟蹤有關(guān)文件操作的系統(tǒng)調(diào)用. -e traceprocess 只跟蹤有關(guān)進(jìn)程控制的系統(tǒng)調(diào)用. -e tracenetwork 跟蹤與網(wǎng)絡(luò)有關(guān)的所有系統(tǒng)調(diào)用. -e stracesignal 跟蹤所有與系統(tǒng)信號(hào)有關(guān)的 系統(tǒng)調(diào)用 -e traceipc 跟蹤所有與進(jìn)程通訊有關(guān)的系統(tǒng)調(diào)用 -e abbrevset 設(shè)定strace輸出的系統(tǒng)調(diào)用的結(jié)果集.-v 等與 abbrevnone.默認(rèn)為abbrevall. -e rawset 將指定的系統(tǒng)調(diào)用的參數(shù)以十六進(jìn)制顯示. -e signalset 指定跟蹤的系統(tǒng)信號(hào).默認(rèn)為all.如 signal!SIGIO(或者signal!io),表示不跟蹤SIGIO信號(hào). -e readset 輸出從指定文件中讀出 的數(shù)據(jù).例如: -e read3,5 -e writeset 輸出寫(xiě)入到指定文件中的數(shù)據(jù). -o filename 將strace的輸出寫(xiě)入文件filename -p pid 跟蹤指定的進(jìn)程pid. -s strsize 指定輸出的字符串的最大長(zhǎng)度.默認(rèn)為32.文件名一直全部輸出. -u username 以u(píng)sername的UID和GID執(zhí)行被跟蹤的命令面對(duì)這么多選項(xiàng)可以從四個(gè)維度來(lái)組織理解輸出控制類-o filename將輸出寫(xiě)入文件對(duì)應(yīng)下文的「重定向輸出」-a column對(duì)齊返回值的輸出位置-s strsize限制字符串輸出長(zhǎng)度-q抑制附加消息-v展開(kāi)所有調(diào)用細(xì)節(jié)如環(huán)境變量、狀態(tài)、輸入輸出等因調(diào)用頻繁默認(rèn)不展開(kāi)的內(nèi)容-x/-xx控制非標(biāo)準(zhǔn)字符串的十六進(jìn)制顯示-i打印系統(tǒng)調(diào)用入口地址。進(jìn)程跟蹤類-f跟蹤 fork 出的子進(jìn)程守護(hù)進(jìn)程排障常用-ff配合-o時(shí)按filename.pid為每個(gè)進(jìn)程單獨(dú)輸出-F嘗試跟蹤 vfork-p pid掛接到已運(yùn)行進(jìn)程-u username以指定用戶身份運(yùn)行被跟蹤命令。時(shí)間類-r相對(duì)時(shí)間-t/-tt/-ttt三種時(shí)間戳精度-T單次調(diào)用耗時(shí)-c匯總統(tǒng)計(jì)-Ooverhead扣除系統(tǒng)調(diào)用開(kāi)銷-Ssortby指定統(tǒng)計(jì)排序字段。診斷輔助類-d調(diào)試信息-h幫助-V版本信息。其中最重要的是-e expr其格式為[qualifier][!]value1[,value2]...。qualifier 只能是trace、abbrev、verbose、raw、signal、read、write之一默認(rèn)是tracevalue 是用于限定的符號(hào)或數(shù)字感嘆號(hào)表示否定。例如-e open等價(jià)于-e traceopen表示只跟蹤 open 調(diào)用而-e trace!open表示跟蹤除 open 以外的所有調(diào)用。另有all和none兩個(gè)特殊值。注意有些 shell 會(huì)用!執(zhí)行歷史命令因此在命令行中需要加反斜杠轉(zhuǎn)義。trace限定符還提供了幾個(gè)預(yù)置分類非常實(shí)用-e tracefile只跟蹤文件操作相關(guān)系統(tǒng)調(diào)用-e traceprocess只跟蹤進(jìn)程控制相關(guān)系統(tǒng)調(diào)用-e tracenetwork跟蹤所有網(wǎng)絡(luò)相關(guān)系統(tǒng)調(diào)用-e tracesignal跟蹤所有與信號(hào)相關(guān)的系統(tǒng)調(diào)用-e traceipc跟蹤所有與進(jìn)程間通信相關(guān)的系統(tǒng)調(diào)用。read/write限定符則用于輸出指定文件描述符上讀寫(xiě)的數(shù)據(jù)內(nèi)容例如-e read3,5表示輸出從 fd 3、5 讀出的數(shù)據(jù)——這在分析協(xié)議交互時(shí)非常有用。實(shí)例一追蹤系統(tǒng)調(diào)用讀懂程序的一舉一動(dòng)做一個(gè)很簡(jiǎn)單的程序來(lái)演示 strace 的基本用法。C 語(yǔ)言代碼如下# filename test.c #include stdio.h int main() { int a; scanf(%d, a); printf(%09d\n, a); return 0; }程序邏輯極其簡(jiǎn)單從標(biāo)準(zhǔn)輸入讀一個(gè)整數(shù)再按 9 位寬度補(bǔ)零輸出。用gcc -o test test.c編譯得到可執(zhí)行文件 test然后用 strace 調(diào)用執(zhí)行strace ./test執(zhí)行期間程序會(huì)要求輸入一個(gè)整數(shù)輸入 99得到結(jié)果// 直接執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $./test // 執(zhí)行的結(jié)果 99 000000099 // 通過(guò)strace執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $strace ./test // strace的trace結(jié)果 execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x8078000 fstat64(3, {st_modeS_IFREG|0644, st_size65900, ...}) 0 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0xa02000 old_mmap(0xb34000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0xb34000 old_mmap(0xb37000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0xb37000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 99 99\n, 1024) 3 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 write(1, 000000099\n, 10000000099 ) 10 munmap(0xbf5fe000, 4096) 0 exit_group(0) ?從 trace 結(jié)構(gòu)可以看到程序完整的工作過(guò)程系統(tǒng)首先調(diào)用execve開(kāi)始一個(gè)新的進(jìn)程接著進(jìn)行環(huán)境初始化——uname獲取內(nèi)核信息、brk調(diào)整堆、一系列old_mmap映射動(dòng)態(tài)庫(kù)libc.so.6代碼段與數(shù)據(jù)段、set_thread_area設(shè)置線程本地存儲(chǔ)最后程序停頓在read(0, ...)上——這對(duì)應(yīng)scanf等待輸入。輸入 99 后程序調(diào)用write將格式化后的數(shù)值000000099輸出到屏幕fd 1最后調(diào)用exit_group退出進(jìn)程完成整個(gè)執(zhí)行過(guò)程。這里值得留意的是每個(gè)系統(tǒng)調(diào)用末尾的 0、 3、 10它們是調(diào)用的返回值例如read(0, 99\n, 1024) 3表示從標(biāo)準(zhǔn)輸入實(shí)際讀到了 3 個(gè)字節(jié)write(1, 000000099\n, ...) 10表示寫(xiě)出了 10 個(gè)字節(jié)。返回值是 strace 輸出中最關(guān)鍵的信息之一排障時(shí)經(jīng)常據(jù)此判斷調(diào)用是否失敗負(fù)數(shù)即出錯(cuò)。實(shí)例二跟蹤信號(hào)傳遞觀察進(jìn)程如何被終止仍使用上面的 test 程序觀察進(jìn)程接收信號(hào)的情況。先執(zhí)行strace ./test等到等待輸入的畫(huà)面時(shí)不要輸入任何內(nèi)容然后打開(kāi)另一個(gè)終端窗口輸入killall test可以看到程序隨即退出最后的 trace 結(jié)果如下oracleorainst[orcl]:~ $strace ./test execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x9ae2000 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0x2e9000 old_mmap(0x41b000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0x41b000 old_mmap(0x41e000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0x41e000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 0xbf5ff000, 1024) ? ERESTARTSYS (To be restarted) --- SIGTERM (Terminated) 0 (0) --- killed by SIGTERM 這次的關(guān)鍵變化在最后三行阻塞在read(0, ...)上的進(jìn)程收到 SIGTERM 信號(hào)read 系統(tǒng)調(diào)用被中斷返回? ERESTARTSYS (To be restarted)該返回值表示系統(tǒng)調(diào)用將被重啟緊接著 strace 打印出--- SIGTERM (Terminated) 0 (0) ---標(biāo)記信號(hào)到達(dá)并以 killed by SIGTERM 明確告知 test 進(jìn)程是被 SIGTERM 信號(hào)殺死的。killall命令默認(rèn)發(fā)送的正是 SIGTERM可參考倉(cāng)庫(kù)中 killall 命令文檔它把「按名稱查找進(jìn)程 發(fā)送信號(hào)」兩步合并為一步。這一實(shí)例展示了 strace 的典型排障用法當(dāng)程序「莫名其妙」退出時(shí)strace 能明確告訴你是被哪個(gè)信號(hào)終止的——這在排查 OOM Killer、外部監(jiān)控腳本誤殺、服務(wù)重啟等場(chǎng)景中尤其有用。實(shí)例三系統(tǒng)調(diào)用統(tǒng)計(jì)量化程序行為strace 不光能追蹤系統(tǒng)調(diào)用通過(guò)-c參數(shù)它還能將進(jìn)程所有的系統(tǒng)調(diào)用做一個(gè)統(tǒng)計(jì)分析。執(zhí)行帶-c參數(shù)的 stracestrace -c ./test得到的統(tǒng)計(jì)結(jié)果oracleorainst[orcl]:~ $strace -c ./test execve(./test, [./test], [/* 41 vars */]) 0 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 45.90 0.000140 5 27 25 open 34.43 0.000105 4 24 21 stat64 7.54 0.000023 5 5 old_mmap 2.62 0.000008 8 1 munmap 1.97 0.000006 6 1 uname 1.97 0.000006 2 3 fstat64 1.64 0.000005 3 2 1 read 1.31 0.000004 2 2 close 0.98 0.000003 3 1 brk 0.98 0.000003 3 1 mmap2 0.66 0.000002 2 1 set_thread_area ------ ----------- ----------- --------- --------- ---------------- 100.00 0.000305 68 47 total統(tǒng)計(jì)表清晰地揭示了程序的行為特征open被調(diào)用了 27 次卻出現(xiàn) 25 次錯(cuò)誤error 列stat64調(diào)用 24 次出現(xiàn) 21 次錯(cuò)誤——這是因?yàn)閯?dòng)態(tài)鏈接器在搜索共享庫(kù)時(shí)會(huì)對(duì)多個(gè)候選路徑逐一open/stat64找不到就返回錯(cuò)誤直到命中正確的路徑這是正?,F(xiàn)象而非故障。% time列展示每個(gè)系統(tǒng)調(diào)用的耗時(shí)占比seconds是該類調(diào)用的累計(jì)耗時(shí)usecs/call是單次調(diào)用平均耗時(shí)calls是調(diào)用次數(shù)errors是出錯(cuò)次數(shù)。末尾的total行給出全局匯總本次運(yùn)行共 68 次調(diào)用、47 次出錯(cuò)、總耗時(shí) 0.000305 秒。這個(gè)功能對(duì)分析程序性能熱點(diǎn)極有價(jià)值哪類系統(tǒng)調(diào)用最耗時(shí)、出錯(cuò)最頻繁一眼即知從而為優(yōu)化方向如減少文件系統(tǒng)訪問(wèn)、增加緩存、合并小寫(xiě)入提供數(shù)據(jù)支撐。常用參數(shù)實(shí)戰(zhàn)除了-cstrace 還提供了其他常用參數(shù)便于按需獲取信息。重定向輸出參數(shù)-o用于將 strace 的結(jié)果輸出到文件中。如果不指定-o默認(rèn)輸出設(shè)備是 STDERR也就是說(shuō)-o filename和2filename的結(jié)果是一樣的# 這兩個(gè)命令都是將strace結(jié)果輸出到文件test.txt中 strace -c -o test.txt ./test strace -c ./test 2test.txt理解這一點(diǎn)的實(shí)際價(jià)值在于strace 結(jié)果默認(rèn)走 stderr 而非 stdout因此既可以用-o讓工具自己管理輸出文件也可以借助 shell 的重定向機(jī)制把輸出導(dǎo)入任意位置例如配合grep過(guò)濾、tee同時(shí)查看和保存。跟蹤產(chǎn)生大量輸出時(shí)務(wù)必使用文件保存避免終端刷屏影響觀察。對(duì)系統(tǒng)調(diào)用進(jìn)行計(jì)時(shí)strace 可以使用-T參數(shù)將每個(gè)系統(tǒng)調(diào)用所花費(fèi)的時(shí)間打印出來(lái)每個(gè)調(diào)用的時(shí)間開(kāi)銷顯示在調(diào)用行最右邊的尖括號(hào)內(nèi)oracleorainst[orcl]:~ $strace -T ./test // 這里只摘錄部分結(jié)果 read(0, 1 1\n, 1024) 2 2.673455 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 0.000014 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 0.000017 write(1, 000000001\n, 10000000001 ) 10 0.000016 munmap(0xbf5fe000, 4096) 0 0.000020 exit_group(0) ?注意read調(diào)用耗時(shí) 2.673455 秒——這是它阻塞等待鍵盤輸入的時(shí)間與程序執(zhí)行邏輯一致而后續(xù)調(diào)用都是微秒級(jí)。這一參數(shù)把「哪次調(diào)用慢」精確到單個(gè)系統(tǒng)調(diào)用級(jí)別是定位 IO 瓶頸、鎖等待、網(wǎng)絡(luò)阻塞的利器。系統(tǒng)調(diào)用的時(shí)間strace 會(huì)將每次系統(tǒng)調(diào)用的發(fā)生時(shí)間記錄下來(lái)使用-t/-tt/-ttt三個(gè)參數(shù)即可看到效果參數(shù)名輸出樣式說(shuō)明-t10:33:04 exit_group(0)輸出結(jié)果精確到秒-tt10:33:48.159682 exit_group(0)輸出結(jié)果精確到微秒-ttt1262169244.788478 exit_group(0)精確到微秒且時(shí)間表示為 Unix 時(shí)間戳三種精度的選擇取決于分析粒度粗看調(diào)用序列用-t足夠分析毫秒級(jí)延遲或調(diào)用頻率用-tt需要與其他日志時(shí)間戳如應(yīng)用日志、數(shù)據(jù)庫(kù) trace 文件做跨源對(duì)齊時(shí)-ttt輸出的 Unix 時(shí)間戳最方便計(jì)算時(shí)間差。截?cái)噍敵?s參數(shù)用于指定 trace 結(jié)果每一行輸出的字符串長(zhǎng)度。下面看看對(duì) test 程序中-s參數(shù)的影響指定-s 20然后在 read 時(shí)輸入一個(gè)超過(guò) 20 個(gè)字符的數(shù)字串strace -s 20 ./test read(0, 2222222222222222222222222 // 我們輸入的2一共有25個(gè) 22222222222222222222..., 1024) 26 // 而我們看到的結(jié)果中2只有20個(gè)默認(rèn)情況下字符串最多顯示 32 個(gè)字符文件名除外文件名一直全部輸出。當(dāng)關(guān)心調(diào)用參數(shù)中的大塊數(shù)據(jù)如完整的 SQL 文本、協(xié)議報(bào)文時(shí)就需要調(diào)大-s反之當(dāng)輸出中夾雜大量二進(jìn)制數(shù)據(jù)影響閱讀時(shí)可以調(diào)小-s讓輸出更清爽。跟蹤一個(gè)現(xiàn)有的進(jìn)程strace 不僅能自己初始化一個(gè)進(jìn)程進(jìn)行跟蹤還能掛接到現(xiàn)有進(jìn)程上參數(shù)-p就是起這個(gè)作用的strace -p pid掛接運(yùn)行中的進(jìn)程是生產(chǎn)環(huán)境排障的典型姿勢(shì)進(jìn)程已經(jīng)出現(xiàn)異??ㄋ?、高負(fù)載、句柄泄漏時(shí)才介入無(wú)需重啟進(jìn)程直接觀察其當(dāng)前行為。掛接后按 CtrlC 即可停止跟蹤并恢復(fù)進(jìn)程正常運(yùn)行。綜合實(shí)戰(zhàn)strace 分析 Oracle lgwr 進(jìn)程前面介紹了不少功能和參數(shù)下面來(lái)看一個(gè)實(shí)用的綜合案例研究 Oracle 的 lgwrLog Writer日志寫(xiě)進(jìn)程進(jìn)程驗(yàn)證它是否像文檔所述那樣每 3 秒寫(xiě)一次 log 文件??紤]到 lgwr 寫(xiě)日志的觸發(fā)條件比較多需要找一個(gè)空閑的 Oracle 實(shí)例做這個(gè)實(shí)驗(yàn)。第一步獲取 lgwr 進(jìn)程的 PIDps -ef|grep lgwr oracle 5912 1 0 Nov12 ? 00:14:56 ora_lgwr_orcl得到 lgwr 的 PID 是 5912ps -ef | grep的常規(guī)找進(jìn)程方式可參考倉(cāng)庫(kù)中 ps 命令文檔。啟動(dòng) strace將跟蹤結(jié)果輸出到 lgwr.txt 文件中strace -tt -s 10 -o lgwr.txt -p 5912這里綜合使用了三個(gè)參數(shù)-tt輸出微秒級(jí)時(shí)間戳用于精確觀察寫(xiě)入間隔、-s 10截?cái)嘧址敵鰈gwr 寫(xiě)入的數(shù)據(jù)塊很大只關(guān)心前 10 個(gè)字符即可、-o lgwr.txt將結(jié)果寫(xiě)入文件避免長(zhǎng)時(shí)間跟蹤刷屏。過(guò)一會(huì)兒停止 strace然后查看結(jié)果。由于輸出較多為了方便只查看 Oracle 寫(xiě)入 log 文件時(shí)用到的 pwrite 函數(shù)調(diào)用grep pwrite\(20 lgwr.txt為什么 grep 時(shí)用pwrite(20呢因?yàn)楫?dāng)前機(jī)器打開(kāi)的 log 文件句柄編號(hào)從 2 開(kāi)始。具體查找方法是先找出當(dāng)前活動(dòng)的日志文件都有哪些在 SQL*Plus 中執(zhí)行select member, v$log.status from v$log, v$logfile where v$log.group#v$logfile.group#;得到MEMBER STATUS -------------------------------------------------- ---------------- /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log CURRENT /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log CURRENT /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log INACTIVE /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log INACTIVE然后到 /proc 中查看該進(jìn)程打開(kāi)的文件句柄ll /proc/.5912/fd/得到lrwx------ 1 oracle dba 64 Dec 30 10:55 18 - /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 19 - /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 20 - /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 21 - /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 22 - /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 23 - /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 24 - /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 25 - /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log對(duì)照 SQL 查詢結(jié)果可知狀態(tài)為 CURRENT 的兩個(gè)活動(dòng)日志文件group 2 的兩個(gè)成員對(duì)應(yīng)的句柄是 20 和 21。至此grep pwrite\(20 lgwr.txt的過(guò)濾條件就有了依據(jù)。得到的結(jié)果如下11:13:55.603245 pwrite(20, \1\\0\0J!..., 1536, 4363264) 1536 11:13:55.603569 pwrite(21, \1\\0\0M!..., 1536, 4363264) 1536 11:13:55.606888 pwrite(20, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607172 pwrite(21, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607934 pwrite(20, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.608199 pwrite(21, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.610260 pwrite(20, \1\\0\0S!..., 1536, 4367872) 1536 11:13:55.610530 pwrite(21, \1\\0\0S!..., 1536, 4367872) 1536 11:14:00.602446 pwrite(20, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.602750 pwrite(21, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.606386 pwrite(20, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.606676 pwrite(21, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.607900 pwrite(20, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608161 pwrite(21, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608816 pwrite(20, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.609071 pwrite(21, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.611142 pwrite(20, \1\\0\0!..., 1536, 4374528) 1536 11:14:00.611454 pwrite(21, \1\\0\0!..., 1536, 4374528) 1536 11:14:05.602804 pwrite(20, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.603119 pwrite(21, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.607731 pwrite(20, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608020 pwrite(21, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608690 pwrite(20, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.608962 pwrite(21, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.611022 pwrite(20, \1\\0\0i!..., 1536, 4379136) 1536 11:14:05.611283 pwrite(21, \1\\0\0i!..., 1536, 4379136) 1536從輸出可以清楚讀出11:13:55 有一組寫(xiě)操作隨后 11:14:00、11:14:05 又各出現(xiàn)一組——兩次寫(xiě)日志的時(shí)間間隔正好是 5 秒。每組寫(xiě)操作中l(wèi)gwr 對(duì)成員文件 20 和 21 交替以pwrite寫(xiě)入 1024/1536 字節(jié)的數(shù)據(jù)塊pwrite 的第三個(gè)參數(shù)是寫(xiě)入長(zhǎng)度第四個(gè)參數(shù)是文件偏移返回值等于寫(xiě)入長(zhǎng)度表示寫(xiě)入成功。這驗(yàn)證了 lgwr 的周期性寫(xiě)入行為也完整展示了一個(gè)「strace 掛接生產(chǎn)進(jìn)程 SQL 查詢定位文件 /proc 確認(rèn)句柄 定向 grep 過(guò)濾」的組合排障方法論。小結(jié)何時(shí)使用 strace回顧全文strace 的典型使用場(chǎng)景可以歸納為四類程序「憑空」退出或行為異常用strace或strace -f跟蹤子進(jìn)程觀察卡在哪個(gè)系統(tǒng)調(diào)用、收到什么信號(hào)參考實(shí)例二的 SIGTERM 定位法性能熱點(diǎn)定位用-c得到系統(tǒng)調(diào)用統(tǒng)計(jì)表或-T定位單次慢調(diào)用參考實(shí)例三與常用參數(shù)一節(jié)理解陌生程序的內(nèi)部工作過(guò)程用默認(rèn)跟蹤模式完整記錄其啟動(dòng)、初始化、主循環(huán)的每一步系統(tǒng)調(diào)用參考實(shí)例一生產(chǎn)環(huán)境診斷運(yùn)行中的進(jìn)程用-p掛接 -o落盤 -tt精確時(shí)間戳配合 grep 過(guò)濾感興趣的系統(tǒng)調(diào)用參考綜合實(shí)戰(zhàn)中的 lgwr 案例。掌握 strace 后Linux 上「程序做了什么」不再是一個(gè)黑盒。它和 ltrace 命令文檔庫(kù)函數(shù)層、gdb 命令文檔交互調(diào)試層共同構(gòu)成了從系統(tǒng)調(diào)用到用戶態(tài)代碼的完整觀察鏈條是 Linux 工程師排障工具箱中不可或缺的一環(huán)。贊分享文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載相關(guān)推薦MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理 MATHC是一個(gè)純C語(yǔ)言編寫(xiě)的輕量級(jí)數(shù)學(xué)庫(kù)專注于2D和3D向量處理為游戲開(kāi)發(fā)、圖形編程等場(chǎng)景提終極指南如何在xv6-riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能終極指南如何在xv6 riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能 xv6 riscv是一個(gè)基于RISC V架構(gòu)的教學(xué)操作系統(tǒng)通過(guò)學(xué)習(xí)它可以深入理解操操作系統(tǒng)嵌入式img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門禁的結(jié)構(gòu)化數(shù)據(jù)img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門禁的結(jié)構(gòu)化數(shù)據(jù) 導(dǎo)讀 detailInventoryAI 技能3D渲染代碼生成創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天操五月天| 亚洲中文无码成人| 国产小精品| 男人天堂99| 婷婷成人五月天成人文学| 色婷婷六月精品| 色色婷婷婷丁香五月天| 欧美色男人网站| 婷婷成人网五月天| 九月婷婷色色| 精品久久久久成人码免费动漫| www.成人婷婷综合| 中文字幕成人| 丁香婷婷五月综合影院| AV在线免费观看不卡| 天天肏高清在线| 丁香五月91| 五月婷婷啪啪啪啪| 99色色网| 五月天天综合| 人妻尝试久久久久久久久久久久| 99热无码精品| 超碰免费人人| 五月婷婷天堂| 激情綜合網址| 香蕉乱插| 久久综合人妻| 久久婷婷五月天| 五月丁香六月色情网欧美| 99精品综合在线| 色婷婷视频在线| 丁香色综合| 久热伊人| 五月丁香色色网| 97操女视频| 激情深爱五月天| 日韩精品999| 九九99久久| 色插综合网| 久久久WWW| www.婷婷五月天,com| 久久婷婷亚洲| 午夜天堂一区人妻| 亚洲电影在线观看| 久久婷婷五月综合色欧美| 婷婷五月欧美综合| 97伦色婷婷| 天天干天天爽| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 久久九九亚洲| 激情婷婷视频在线| 91啪啪啪啪| 亚洲视频综合网| 久久99热这里只频精品6学生| 丁香 亚洲 久久| 激情五月四色| 中文字幕av在线播放| 五月婷婷综合精品| 天天摸色吧天天摸色吧| www。五月,com| 思思热视频在线观看| 五月天激情丁香| 丁香五月天在线| 色五月丁香在线| 99热香港| 日本五月视频| 婷婷五月综合网| 五月亭亭开心网| 日狠狠| 开心激情网在线| 婷婷五月丁香综合激情| 99久在线观看| 亚洲亚洲人成综合网络| 91嫩草国产线观看亚洲一区二区| 色情五月天导航| www.精品久9| 丁香五月天激情四射网| 久久五月丁香| 在线免费视频caop| 玖玖精品婷婷| 色五月久久成人婷婷| 日本熟女三区| 五月丁香香蕉| 中国丰满熟女A片免费观| 情欲禁地| 成人av在线网站| 超碰亚洲天堂| 久狠日av| 99精品性爱| 久久综合激情| 4438国产免费看| 91九色小视频| 九六五月天婷婷| 日日操日日撸| 国产熟妇乱子伦hd| 色婷婷av在线| 五月六月激情| 97人人操人人干| 9久久精品| 亚洲综合网在线| 色碰97| 欧美性久| 丁香五月天激情网| 色五月 五月婷婷| 婷婷综合丁香| www,五月天com| 99人人精品| 影音先锋91在线资源站| 久热这里只有精品99re,久热这里只有精品7| 五月天夜夜爱夜夜操| 中文字幕av在线| 成人片久久网站| 五月天色网站| 婷婷久久五月| 日本97在线| 综合欧美五月婷婷| 干一干xxxx| 五月丁香色色网| www.亚洲激情.com| 高清无码 一区 二区 三区| 亚洲色模骚货| 国产精品久久欧美久久一区| 97人人搞| 丁香五月婷综合网| 极品少妇高潮啪啪AV无码| www.99操.com| 激情六月下句是什么| 丁香六月亚洲综合| 99精品国产在热久久| 大香蕉伊在| 美女丁香五月天| 色狠久| 亚洲黄色影视| 丁香五月激情啪啪| 天天搞天天色综合| 日韩精品无码AV| 色婷婷狠狠| 丁香婷婷久久综合在线| 99视频在线观看视频| 影音先锋偷偷色男人站| 超级碰碰碰久久网站| 黄色一极大片| 五月丁香中文字幕| 婷婷五月,综合伊人| 玖玖爱伊人| 天天狠狠干| 天天日夜夜爽| 永久思思热在线| 婷婷网五月天| 国产精品91抖高| www.婷婷五月| 五月丁香色色| 丁香五月天天| 久久精热| 免费AV在线网址| 丁香五月综合在线播放| 亚洲V国产V欧美V久久久久久| 激情五月婷婷综合| 九九99久久| 99五丁香月| 色综合播放| 久久综合人妻| 激情综合婷婷五月| 99欧美| www.sebowuyue| 亚洲av网址| 丁香五月婷婷在线视频| 超碰99热精品在线| 丁香五月开心五月激情| 夜色.cnm| 思思热视频在线观看| 精品无码久久久久久久久| 噜噜噜狠狠色综合| 欧美精品999| 久久99婷婷| 大香蕉五月婷婷| 色吊丝永久访问网址| 亚洲第一精品成人999久久精品| XX色综合| 久久99免费视频| 午夜伊人大香蕉| 婷婷激情五月天亚洲综合| 另类视频一区| 丁香五月婷婷性爱| 97色婷婷| 婷婷五月天黄色小说| avh片在线观看| 激情都市五月天| 天天日天天肏天天奸| 日本欧美国产| 激情五月色婷婷| 久久久久久久综合狠狠综合| 中字幕视频在线永久在线观看免费| 中文字幕激情综合| 99熟女| 亚洲九区| 91小黄书网址在线观看| 色综合久久88色综合天天| 综合激情站| 丁香五月 激情文学| 99久久6| 六月丁香色色色| 久久五月激情综合| 大香蕉综合| 激情五月婷婷网| caopeng超碰| 日本少妇裸体做爰高潮片| 99视频网| 99色区| 狠狠精品干练久久久无码中文字幕| 五月婷在线色视频| 182无码| 婷婷五月天天天| 日韩久久视频| 97伦色婷婷| 久久久99久久| 婷婷丁香五月激情| 99精品久久久久久久婷婷久久| 天天综合色丁香| 成片免费观看视频大全| 久9免费视频| 五月熟妇婷婷久久| 97日本在线| 99视频在线| 婷婷五月天无码| 天天天久久久| 丁香婷婷基地| 色婷婷亚洲在线观看| 五月丁香综合激情| 国产亚洲在线观看| 五月停停999| 五月婷婷在线观看| 人妻操逼| 婷婷伊人激情婷婷| 天天色天天爱天天舔| 1024婷婷综合久久五月天| 亚洲激情四谢| 色香蕉婷婷| 日韩人妻无码专区| 五月丁香| 精品影院| 国产婷伊人| 天天拍天天操| 狠狠色丁香| 丁香五月区| 人人干人人操人人摸| 五月丁香在线精品| 色五月婷婷视频| 日日干夜夜撸夜夜骑| 日本综合色图| 综合五月丁香久久| 综合狠狠干| 色五月涩涩婷婷蜜桃| 亚洲愉拍99热成人精品| 六月99天天婷婷激情综合| av国产精品偷| 五月丁香啪啪网| 色婷婷欧美| 色五月大香蕉| 极品 少妇 内射| 五月天婷婷色播综合在线| 99久热这里有精品| 久久AV电影| 欧美va亚洲va在线播放| 一起草性爱不卡视频| 天天爽夜夜爽天天爽夜夜爽| 五月丁香六月激情综合| 激情五月影院| 婷婷五月天性色| 香蕉久操| 97婷婷在线| 色综合久久44| 美女主播野战视步页| 激情二色月| 婷婷丁香五月天中文字幕| 婷婷色成人| 这里只有精品1| 婷婷 丁香 精品| 在线成人网址| 9精品久久999| 玖玖午夜视频| 99热这里只有精品69| 欧美色欲色欲天天天www| 婷婷五月丁香六月天亚洲综合| www.ppypp| 天天色天天日| 性做久久久久久久免费看| 婷婷色五月大香蕉在线| 九九99九九99九九99视频网| 五月天婷婷色小说| 日韩 中文 欧美| 99精品在线| 丁香蜜臀黄色婷婷五月天| 天天色99| 婷婷色在线观看| 秋霞A V毛片| 亭亭色网| 五月天丁香啪啪综合| 色5月婷婷| 午夜成人AV在线| 久久多色| ri电影在线| 影音先锋女人av鲁色资源网小说免费| 激情丁香五月激情婷婷| 亚洲天堂aaa| 五月婷婷激情综合网| 五月丁香婷婷基地| 成人AV在线电影| 五月天激情丁香| 99热| www.99操.com| 玖玖无码中文| 天天插夜夜爽| 色久丁香五| 性生活视频98791| 97人人操人人爽| 久久这里只有精品热在99| 超碰av在线| 亚洲欧州色情在线观看| 天天做天天爱天天高潮| 天天做天天爱天天高潮| 1769在线观看欧美国产| 久久婷婷影院| 六月婷婷国产| 久久人人超| 激情五月丁香五月| 5月丁香美女影院| 99啪在线| 99超在线| 亚洲色五月天| 久久精品一区二区三区四区| 九九热婷婷| 国产成人网| 五月婷丁香久久久| 色噜噜五月天| 久久97久久99久久综合欧美| 免费AV在线| 国产亚洲精品人人| 精品久久这里热66| 成人国产欧美大片一区| 91色在线| 亚洲 五月 婷婷 成人| 久久9热| 亚洲妇女熟BBW| 精品九九网| 色综合久| 强伦轩人妻一区二区电影| 激情视频网址| 婷婷五月综合免费在线| 精品视频99看在线视频| 五月天丁香久久| 久久久婷| 激情综合五| 激情五月婷婷综合网| 99爽视频| 97干在线免费| 婷婷免费成人视频| 热九九精品| 久久天堂女人| 天天射射夜| 九九热10| 综合久久影院| 99热第一页| 亚洲熟妇AV综合网五月丁香伊人 | av中文网站| 99九九视频| 婷婷五月在线| 色五月丁香激情| 丁香五月欧美色综合| A短视频免费在线观看| 日韩在线视频中文字幕| 色五月婷婷很很操| 丁香五月综合网| 操操操操操操婷婷五月天| 亚洲天堂aaaa| 丁香婷婷浪潮AV久久综合| 丁香五月激情婷婷视频| 激情久久肏屄视频| 丁香花操逼| 久久这里只有精品网| 操操啪| 欧美在线视频9| 热这里| 国产亚洲精品久久久久久郑州| 婷婷丁香九月| 91精品久久久久久久久| 欧美日本99| 九九视频在线免费视频| 日韩人妻AV在线| 99这里只有精品国产| 婷婷色九月| 99ri在线播放| 丁香六月激情四射| 操日视频| 狠狠色丁香| 婷婷六月综合激情| 欧美啪啪网| 久久思思热视频| 国产欧美精品AAAAAA片| 欧美一区二区三区不卡影视| 成人精品视频99在线观看免费 | 欧美日韩成人在线网| 亚洲殴洲精品Av在线| 天天色天天舔天天爱天天爽| 亚洲丁香五冃97色| 五月天激情社区| 青青草伊人婷婷| 六月婷婷七月丁香| 色综合视频在线| 2023天天日夜夜爽| 色婷婷网大全在线| 婷婷五月天激情丁香| 激情综合网激情五月婷婷| 99精彩视频在线观看| 日本精品久久久久中文字幕 | 91蜜桃婷婷狠狠久久综合9色| 99福利导航| 婷婷五月色综合| 97在线/亚洲| 99久在线视频| 丁香五月天激情婷婷丁香六月 | 久草热在线视频| 婷婷影院欧美| 亚洲六月婷婷| 久久视频这里都是精品| 色爱五月天| 综合网狠狠| 婷婷婷久久久| 国产色色在线| 婷婷久综合| 天天天天天久久久久久| 日韩在线成人电影| 五月丁香成人网| 婷婷在线观看五月天在线视频| 丁香五月天之婷婷影院| 五月丁香综合啪啪対白| 性爱网六月丁香| 久久久久亚洲AV无码网影音先锋| 久青青久| 婷婷久久欧美| 久久9精品| 婷婷五月亚洲激情| 婷婷五月激情在线| 色色五月天婷婷| 免费精品66| 丁香五月婷婷啪啪视频| 91青娱乐青青草| www.激情| 五月婷婷碰碰| 婷婷久月| 天天综合网亚洲综合网| 91婷婷丁香五月| 五月天婷婷色色| 人人人人人人人草| 色婷婷导航| 无码少妇高潮喷水A片免费| 日日艹思思热| 色五月激情视频在线综合| 熟女少妇内射日韩亚洲| 五月婷婷激情中文字幕| 五月丁香好婷婷姑娘综合网| 色综合色婷色基地| 亚洲无码99| 色视频五月天| 春色激情| 激情综合无码| 999热在线视频| 九九综合九九| 久久3级片| 五月丁香福利| 99爱在线观看视频| 91精品电影18T| www狠狠爱com| 免费看欧美成人A片无码| 婷婷五月激情视频在线| 五月激情丁香六月狠狠干| 色婷婷影视99| 粉嫩AV久久一区二区三区| 亚洲热综合| 日日日日做夜夜夜夜无码| 亚洲成人在线观看网址| 成人做爰A片免费看视频| 婷婷五月天激情开心网| 午夜爱爱爱成人| 人人干女人| 久久97久久99久久综合欧美| 婷婷五月无码| 五月婷婷六月丁香五月| 五月宗合激情网| 婷婷日在线观看| 久久一品区| 欧美性生交xXxX久久久| www久久99| 亚洲综合五月天婷婷丁香| 99热这里只有精品13| 五月丁香福利| 99热精品10| 碰碰人人人| www.婷婷五月天.com| 思思热视频在线观看| 婷婷黄色网| 久久久久人妻| 午夜丁香婷婷| 婷婷色九月| 青青草成人网| 色色哒五月婷婷六月丁香| 91免费在线视频6| A片一曲| 亚洲热久| 天综合日日夜综合7799| 色五月激情图片| 亚洲国产精品VA在线看黑人| 日日夜夜天天| 丁香激情网| 第五色婷婷| 成人短视频在线| 99综合网| 久久玖玖综合| 五月丁香色综合| 婷婷深爱五月丁香| 色五月丁香婷婷在线观看| 天天成人综合视频| 婷婷四色成人综合色视| 综合五月天天天天天五月| 欧美在线骚货| 色综合爱综合| 亚洲综合色丁香婷婷六月| 99r久久这里只有精品| 五月色网| 久久网站免费亚洲| www.激情在线| 天天肏天天插| 亚洲色色精品| 久久这里有精品视频| 人人人va亚洲视频在线| 久久婷婷五月综合伊人| 婷婷涩涩五月天| 四色五月婷婷在线观看| 丁香五月香蕉| 人人综合久| 丁香五月在线自慰| 能直接看的av网站| 亚洲乱码日产精品BD| 国产人妻人伦精品一区二区| WW婷婷五月天com| 综合色、色综合| 天天爱天天天射AV| 六月婷婷av| 98色花堂98t.R| rr天天操| www.超碰| 天天草婷婷五月| 天天在线久久综合 | 伊人五月天97| 99热偷拍| 婷婷丁香五月激情中文字幕版| 天天综合五月| 日韩AAAAA| 国产精品电影网| 五月天色影院| 五月婷婷丁香日韩在线| 久久综合网桃花| 香蕉狠狠爱视频| 噜综合| 秋霞网在线观看理论91| 538在线精品| 日韩超碰在线| 激情小说五月天| 婷婷色色综合| 综合色网站| 狠狠搞五月天| 五月精品免费XXX| 97色天堂| 成人美女网| 激情五月天婷婷丁香| 激情啪啪五月| 天天日人人| 国产成人99久久亚洲综合精品| 久久色五月天| 怡红院AV亚洲一区二区三区H | 天天天干夜夜夜操| 亚洲AV成人一区二区在线观看| 99热狠狠操| 婷婷久久五月| 色播播五月天| 亚洲亚洲人成综合网络| 免费看欧美成人A片无码| 激情伊人五月天| 五月婷婷玖玖综合玖玖爱| 婷婷大乡焦噜噜| 狠狠另类视频| 色婷六月| 亚洲丁香五冃97色| 99热国产| 色五月婷婷很很操| 色五月激情五月| 午夜婷婷久久 | 在线观看av网站| 日韩av干| 99热6精品| 丁香五月成人自拍| 四色 爱 婷婷 精品 亚洲 五月天| 99热这里只有精品青草| 超pen个人视频97| 色欲影香| 天堂草在线观看| 99久久九九| 91精产品自偷自偷综合| 丁香五月av在线| 五月丁香六月婷婷啪啪| 久人操| 久99久热只有精品国产99| 91精品婷婷国产综合久久| yjzz亚洲国产| 亚洲丁香五月天在线视频| 五月天激情啪啪| 九九精品大香蕉| 97亚洲色 torrent magnet| 婷婷俺去也| WWW嗯嗯啊啊啊啊| 丁香六月综合激情| 操操自拍| 先锋男人91资源| 五月天色导航| 六月丁香啪啪| 丁香丁婷五月激情| 色玖玖综合网| 538任你爽视频不一样的| 九九热精品视频九九| 丁香五月丁香伊人| 99热免费| 99在线精品观看99| 五月婷婷色影院| 久草嫩草在线观看| 婷婷五月天BBw| 精品一二三区久久AAA片| 性爱动图国产麻豆一区二区三区| 色综合网址| 大香蕉五月| 热99在线| 91xxxx九色| 色婷婷激情五月天| 九一娱乐在线观看视频| 五月丁香六月婷婷亚洲| 国产午夜精品AV一区二区麻豆| 操操操www.com| 久久97| 综合久久婷婷| 人妻无码精品一区| 天天想夜夜爽天天爽| 日本99热| 99热大全在线观看| 色99在线| 国产精品噜噜在线视频| 免费视频WWW在线观看网站| 激情丁香婷婷五月天| 丁香五月天堂| 狠狠婷婷爱| 成人精品一区日本无码网| 5月婷婷综合| 色色色热| 色五月天在线| 91久久18| 婷婷中文字幕| 婷婷激情性爱| 天天天天天天操| 色愛综合网| 伊人久久艹| 天天肏天天插| 五月丁香狠狠爱婷婷综合| 老司机伊人| 久久思思99| 久久五月网| 狠狠色丁香久久久婷| 亚洲激情av| 米奇激情婷婷| 亚洲国产另类av| 伊人网啪啪| a网站免费观看| 日本精品久久久久中文字幕| 久久久人妻系列| 青青日韩| 天天日天天爽夜夜爽| tingting五月天亚洲| 青青草婷婷五月天| 欧美 日韩 成人在线| 六月婷婷综合| 。久久久久久久久久久久久久人妻 | 九九视频这里只有精品| 九九色人| 无码一区精品一区视频| 天天干天天干天天操| 婷婷射综合| 婷婷综合在线| 久久视频这里有精品99| 97久久人人| 中文字幕按摩做爰| 无码任你操| 九九人人操| 亚洲色就是色色色| 超碰a女人的天堂| 狠狠五月激情在线| 久久丁香婷| 婷婷伊人久久| 五月丁香激情婷婷综合| 另类综合激情| 人人色人人弄人人操| www.天天干| 色五月丁香五月五月婷婷| 免费一区二区三区| 99热6这里只有精品| 亭亭五月激情亚洲在线| 成人网址在线观看| 91聚色综合网| 色五月在线观看| 秋霞三及片| 九九伊人网| 九九伦子片| 人人操AV| 精品人妻伦一二三区久久| 中文人妻主播久久| 天天搞天天色综合| 激情五月黄色| 激情婷婷五月| 天天爱天天狠天天透| 久久五月丁香六月婷| 99碰网站| 久久丁香婷婷色情综合| 色色婷婷丁香| 丁香色综合| www久热com| 丁香婷婷综合精品六月初| 无码动漫AV| 欧美日韩成卜| 婷婷五月天社区| 天天综合色丁香| 伊人深爱综合| 婷婷色播六月无码| www.zbzhongsen.com| 色婷婷小说网| 思思久久99热只有频精品66| 亚洲激情无码久久| 天天看A片| 射久久丁香五月| 碰99在线| 亚洲中文字幕在线观看| 久久婷婷六月综合| 婷婷五月花| 99精吕视频在线观看了| 色五月天成人在线| www色婷婷久久综合久色| AV在线免费播放| www.久9| 国内9l视频自拍老熟女九色| 激情内射人妻1区2区3区| AV性爱网| 久久国产色| 午夜成人AV在线| WWW.17C亚洲精品| 五月丁香六月婷婷久久| 婷婷五月丁综合| 色综合久久天天综合网 | 久久机热这里只有精品| 就爱干 在线| 国产成人VA| 中文精品久久久久人妻不| 色欲天天综合| 亚洲午夜视频| 九九狠狠干| 日本久草福利| 99啪99| 伊人玖玖网| 五月久久网| 九九大香蕉黄色影院| 新激情综合| 亚洲精品九九| 另类图片五月天婷婷| 亚洲9久久精品| 婷婷99狠| 亚洲久艹| 免费97碰碰| 96精品久久久久久久久| 超碰大香蕉网| 国产日产成人亚洲欧美国产VA| 色婷婷久久久| 色愛综合网| 影音先锋女人av鲁色资源网小说免费 | 夜夜穞天天穞狠狠穞AV美女按摩| 五月婷婷综合在线| 青青草视频免费观看| 国产偷人爽久久久久久老妇APP| 成熟妇人A片免费看网站| 五月网站| 久久五月热| 9热久久| 棕合影院色色| 婷婷在线视频| 色综合天天网| 天堂AV在线看| 狠狠久久婷五月| 激情六| 奸逼视频| 俺去也五月天婷婷| 激情久久久久久久久久久| 色啪网| 极品少妇XXXX精品少妇偷拍| 99丁香婷婷综合网| 很很色丁香久久停停| 九九99免费理论| 99热久只有精品首页| www.丁香黄色五月天人与| 91精品综合久久久久久五月丁香 | 久9热| 天天色中文字幕女优AV| 婷婷激情五月天小说| 99无码超碰| 九九sese| 天天插天天操| 色色吧综合| 国产肥白大熟妇BBBB视频| 九一九九黄色| 五月天激情影院| 天天插夜夜爽| 丁香婷婷激情六月五月开心| AV性爱在线| 人操综合| 91婷婷丁香| 久久只这里有精品| www.婷婷,com| 五月激情综合网| 婷婷丁香黄色| 婷婷五月天中文字幕.| 亚洲 六月 综合| 9999三级片| 欧美三级巜人妻互换| 黄色一极大片| 天天草天天舔| 国产婷婷综合| 99国产精品久久久久久久久久久| 丁香五月www| 丁香五月天激情婷婷丁香六月| 亚洲五月天婷婷在线| 九九色影院| 在线观看日韩12345区| 97碰| 丁香五月婷婷综合网| 热久久91| 91在线看片| 色噜噜狠狠色综合AV兰草影视| www.成人婷婷综合| 五月丁香综合网| 丁香五月手机视频| 激情伍月 欧美| 色综合久久88色综合天天看| 五月婷婷涩涩爱| 99精品国产热久久91色欲| 天天爽天天摸| 综合五月天| 激情六月天婷婷| www.久操| 五月丁香激情婷婷综合字幕| 日本久热| 碰超在线九色| 思思综合热| 色五月婷婷影院| 人妖色AV色综合| 婷婷激情区| 五月天色丁香| 国产免费av在线| 伊人五月天婷婷| 99ri视频| 国产 亚洲 在线| 丁香六月婷婷综合缴| 亚洲V国产V欧美V久久久久久| 91久久久久久久久18| 婷婷久久丁香| 婷婷丁香色女人| 色婷五月天亚洲| 天天干 夜夜爽| 色婷婷天堂| 国产视频婷婷| 五月丁香亭亭A片| 啪啪啪啪五月天| 五月婷婷av| 99热最新精品| 狠狠狠狠狠| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 婷婷五月精品| 另类综合国产| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 精a品a视a频| 91性高潮久久久久久久久| 久色激情| 丁香五月六月婷婷综合| 综合久久综合综合| 天天射色五月天| 97干在线视频精品店| 欧美综合婷婷网| 曰韩少妇内射免费播放| 包操45分钟网站| 天天操综合网| 亭亭丁香aV| 免费视频99| 色五月婷婷婷婷婷婷婷婷婷婷| 啪啪 综合网| 丁香婷婷五月综合影院| 婷婷五月色惰| 丁香五月婷婷av| 日本九九网| 综合一区二区三区| 99综合自拍| 五月丁香六月成人| 大香蕉五月婷婷| 91无码视频| 99热老网站| 色五月婷婷在线| 色六月丁香婷婷狠狠干| 久久99国产综合精品免费| 婷婷色5月天在线。| 无码激情AAAAA片-区区| 亚洲小说欧美激情| 91呦呦呦| 99热激情| 国产精品成人AV在线| 色五月天堂| 永久无码色| 国产精品电影| 久久 这里只有精品1| 久久久久久久久月丁| 五月激情五月婷婷五月天在线| 色九月综合| 五月婷婷综合丁香视频| 9热精品| 久机视频这只有精品| 婷婷丁香五月av| 国产精品18久久久| 天天色色天天| 99网址在线看| 色婷婷导航| 婷婷丁香亚洲五月天| 99情色五月天| 99视频在线播放大全| 天天综合网、天天综合色| 午夜少妇在线观看视频| 九九热这里只有精品31| 国内久久久精品99| 色五月激情五月天| 思思久久96热在精品国产,| 超碰2021| 9有码中文| 都市激情蜜桃婷婷五月天| 欧美三9久九观看| 色婷婷视频在线| 五月婷精品| 丰满少妇猛烈A片免费看观看| 久久婷婷五月综合色丁香| 日韩精品一品二区三区的使用体验| 99视频精品| 开心激情色婷婷五月天| 久久久五月天婷婷| 婷婷天堂综合| 手机激情网| 黑人无码一区| 婷婷丁香五月综合| 色五月婷婷五月天激情综合| 97久久超碰| 三级av在线| 激情六月天婷婷| 亚洲色五月天是什么| 亚洲欧洲小视频9| 五月天久久婷婷| 丁香五月无码| 狠狠综合| 五月天婷婷激情六月久久| 91狠狠综合久久| 亚洲久久婷婷| 婷婷的99视频网站| 性色九九| 一起草av| 五月深爱网| 五月天色导航婷婷资源婷婷| 久色大香蕉| 九九Av| 免费观看大片视频 丁香婷婷 六月欧美| 丁香六月婷婷五月天| 久久久久久18| 激情五月天免费视频| 婷婷丁香五月色偷偷| 色狠狠色噜噜AV天堂五区| 色五月五月婷婷| 狠狠五月天婷婷激情网。| 日韩ac不卡无码| 亚洲无码免费看| 91操碰| 六月色播| 天天干天天射色综合| 天天射夜夜爽| 99热99美国在线观看| 婷婷香草网| 六月丁香啪啪| 婷婷久久五月天| 五月丁香狠狠地噜噜噜噜| 久操热| 操操精品| 99欧美热| 噼里啪啦在线观看免费完整版视频| www.天天干| 六月婷婷亚洲| 蜜臀av无码久久久久久久久| 一月婷婷色色| 色婷婷AV久久| 逼特逼在线免费播放| 国产成人亚洲综合A∨婷婷| 色99视频| 婷婷五月天BBw| 狠狠五月天婷婷| 大香蕉婷婷| 碰97久久| 五月天婷婷激情网| 久久44| 国产精产国品一二三在观看| 天天玩夜夜操| 丁香六月久久| 深爱五月天| www99热| 五月综合六月婷婷| 五月丁香综合精品| 蜘蛛女免费观看完整版高清电影| 婷婷色网站| 在线观看av网站| 色婷亚洲五月丁香| 丁香五月婷婷影院| 99在线看视频| 亚洲狠狠丁香婷婷香蕉| 欧美性生交A片免费看| 九九碰九九爱97| 99热这里有精力| 伊人久久大香线蕉av最新| 日本爆乳片手机在线播放| 26uuu欧美日本| 人人爽亚洲| 人人视频色| 五月丁香花激情综合网| 五月天五月婷五月激情网| 天天天添天天操| 97色色色色色色色色色色色色色| 亚洲欧洲色色| 丁香五月天天日| 天干干夜夜操| 天天成人综合| 五月色欧美| 国产精品蜜臀99| 婷婷五月中文字幕国产| 五月婷婷啪啪网| 99热这里只有精品最新| 人人视频色| 婷婷久久亚洲| 五月丁香婷婷中文| www.激情| 99热99在线| 99在线观看视频精品| 99热在线免费观看精品| 五月天成人伊人| 午夜电影网VA内射| 99热这里只有精品在线播放| 九九热视| 棕合影院色色| 日韩中文欧美| 91操碰| 综合欧美五月婷婷| 免费观看日韩成人av| 五月亭久久无码视频| www一起操| 久久精品婷婷| 色色色99韩| 五月停停丁香| 久热免费| 亚洲激情网| 天堂成人A片永久免费网站| 日韩黄色影院| .comwww在线观看免费操| 五月丁香六月婷婷久久肏| 色婷婷九月| 日本www五月婷婷| 成人精品99| 99热99美国在线观看| 丁香五月天激情视频| 日本人妻伦在线中文字幕| 一本久婷婷综合| 综合激情五月婷婷| 激情色中文| 这里只有精品69| 天堂网啪啪| 五月丁香啪啪网| 国产乱轮一区二区三区| 吊色AV男人的天堂| 丁香五月六月久久综合| 婷婷五月天激情AV影院| 婷婷成人AV| 婷婷五月色| 99在线看视频| 综合色五月| 午夜不卡成人一区二区| 婷婷色色婷婷| 亚洲激情五月天| 99欧美精品99日本精品| 99热综合色图| 伍月激情天| 六月色婷婷| 国产成人片| 99热性色| 激情婷婷人妻| 久久丁香综合| 九九这里只有精品| 91亚洲免费片| 99热精品在线播放观看| 婷婷五月六| 色综合婷婷| 九九中文字幕九| 丁香无五月网| 九九热这里| 婷色五月天| AAA久久久AAA久久久AAA| 天天成人综合| WWW,五月| 激情性爱五月天网页| 色婷婷六月天| 色五月丁香五月婷婷五月成人网| 九九人人操| 九九色黄色| 天天色天天色天天色天天色天天色天天色| 99热在线观看精品免费| 亭亭玉月丁香| 久热伊人9| 九九这里精品| 99自拍视频在线观看| 婷婷色综合网日韩国产| 天天骑日日爽| www.狠狠操| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 精品久久这里热66| 国产真实乱对白精彩| 99re免费精品视频| 99热官网精品在线| 97精品人人A片免费看| 26UUU欧美激情一区二区| 婷婷五月伦理| 成AV人片一区二区三区久久| 97色热| 婷婷六月丁| aV直接看| 精品婷婷五| 婷婷情色五月天| se婷97| 亚洲综合丁香婷婷六月天| 婷婷色网| 久99久热| 日韩1区2区| 九九精品大香蕉| 六月婷婷网| 99在线精品免费视频| 五月天另类图片区99| 久久精品视频9| 欧洲MV日韩MV国产| www.色色五月天.com| 玖玖九九9999在线观看视频精品| 免费色色色| 婷婷六月色开| 操碰久| 天天天久久人人人合| 丁香六月婷婷色XXXX| 色久在| 成功精品影院| 久久五月视频| 97碰超级人人看| 亚洲无码yw| 五月天激情图片| 九月婷婷综合在线| 久久婷婷色五月| 成人免费黄色短视频| 久色姿源| 狠狠综合网| 另类五月婷婷| 夜夜谢天天干| 欧美色图45678| 国产精品大香蕉| 五月婷网| 色狠狠综合| 91超碰九色| 免费观看亚洲AV片| 婷婷涩五月| A片一曲| 婷婷伊人久久| 色五月综合激情| 婷婷丁香五另类网站| 色五月天丁香| 亚洲中文av| 亚洲热热视频| 五月丁香日本片| 任你爽视频| 亚洲精99| 国产看真人毛片爱做A片| 26uuu国产精品| 丁香六月婷婷缴情欧美| 色性日本| 免费V片在线| 综合图片色色| 97热在线精品| 久久久激情视频| 热99国产精品| 伊人综合网站| 色情激情五月| 中文字幕精品推荐免费在线观| www.婷婷.com| 九九热99熟女| 五月丁香婷婷色| 婷婷五月花免费视频在线| 久久精品国产一区二区三区四区 | 激情久久丁香| 91无码视频| 99色在线观看免费| 久久视频在线视频| 婷婷色情小说| www久久久久| 婷婷天堂综合| 精品网站99| 99热8在线| 五月天综合色| 97超碰综合| 欧美搡BBBBB摔BBBBB| 亚洲精品国产精品乱码不99| 丁香五月婷婷欧美成人色图| 色99自拍| 日本熟女三区| 以及AA大片看看| 日本久久人| 国产五月丁香在线| 九九九干精品| 五夜丁香| 伊人丁香六月婷婷| 97色精品视频 | 久久精品99国产精品日本| 日韩精品二三区| 亚洲熟女色| 五月天婷婷成人网| 五月婷婷六月丁香在线视频| 97在线刺激| 色婷婷五月天| 欧美VA在线| 久九色| 六月婷婷综合网2| 五月婷啪啪| 丁香五月婷婷姐| 丁香五月九九| 99色视频| 久久婷婷六月综合| 色播五月丁香| 任你弄在线视频免费| 91狠狠色| 色区域网站视频| 五月丁香免费视频| 久久大国产香蕉| 五月天激情图片| 日本激情五月| 婷婷综合五月| 婷婷综合玖玖五月|