99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux/Unix syslog編程指南:從協(xié)議到rsyslog實戰(zhàn)避坑

Linux/Unix syslog編程指南:從協(xié)議到rsyslog實戰(zhàn)避坑 簡介面向Linux/Unix系統(tǒng)開發(fā)者的syslog編程學習包聚焦系統(tǒng)日志的采集、過濾與上報場景適合正在學習系統(tǒng)編程或需要為應用集成日志功能的工程師。壓縮包內(nèi)僅有2個文件分別是C源文件與配套頭文件整體容量僅5KB屬于輕量級示例代碼便于直接閱讀和修改。目前已有270人學習下載可作為快速上手syslog接口的參考。借助syslog.h中的函數(shù)聲明與syslog.c的實現(xiàn)示例可掌握openlog、syslog、closelog等核心調(diào)用的參數(shù)配置與優(yōu)先級設置并理解如何將自定義消息按不同級別寫入系統(tǒng)日志。同時資源也展示了與syslogd協(xié)同工作的基本模式有助于開發(fā)者根據(jù)實際需求擴展日志處理邏輯提升應用的健壯性與可維護性。1. syslog.rar_Linux/Unix編程_Unix_Linux_ 里裝的到底是什么先說結(jié)論再動手如果你在一個項目交接包里見到 syslog.rar 這個名字大概率不是病毒而是一份 Linux/Unix 編程的 syslog 示例源碼或講課工程。它要解決的是個很樸素卻容易翻車的問題程序里的日志怎么才能統(tǒng)一送進系統(tǒng)日志體系而不是散在各自的 stdout 文件里。syslog 在 Unix 時代就是標準通道到今天 rsyslog、systemd-journal 和各類集中日志平臺都還在兼容它。下面我從一個壓縮包怎么解壓、怎么編譯講起把 syslog 的協(xié)議、代碼、參數(shù)和坑一次說清。適合正在寫 C 服務、嵌入式 Linux 程序或者要搭日志采集的讀者。2. syslog 協(xié)議與編程選型先把“日志發(fā)到哪里”這件事拆清楚2.1 三種接入方式libc 封裝、UDP socket 與 Unix domain socket寫 Linux/Unix 日志程序第一件事不是寫代碼而是選入口。常見做法是三種很多新手只會用第一種等日志要跨機器時就卡住了。接入方式目標可靠性典型延遲適用場景syslog() / openlog()本地 /dev/log本地緩存滿了會丟微秒級單機調(diào)試、常規(guī)服務日志UDP socket遠端 rsyslog 的 514/5514盡力而為丟包不重傳網(wǎng)絡 RTT 量級跨機器集中采集Unix domain socket/var/run/log、/dev/log本機可靠但緩沖區(qū)有限微秒級高性能本地日志、代理轉(zhuǎn)發(fā)TCP/TLS socket遠端 6514 等可靠但可能頭阻塞略高審計、支付等高價值日志syslog() 是 glibc 對 /dev/log 的封裝開發(fā)者不用管 socket 生命周期調(diào)用 openlog 設置程序名然后 syslog() 一條條發(fā)。缺點是它只往本機送程序要跨機器上報日志還是得自己建 socket。嵌入式環(huán)境如果用的是 musl、uClibcsyslog() 也存在但有些裁剪版 libc 可能不帶這時直接 socket 反而是最穩(wěn)的。直接 socket 發(fā) UDP 不復雜但要注意默認系統(tǒng)日志服務只監(jiān)聽 /dev/log并不監(jiān)聽 514 端口。你往內(nèi)網(wǎng)某臺機器的 514 塞數(shù)據(jù)對方?jīng)]開 imudp 模塊就靜默丟棄TCP 會立刻被 resetUDP 連報錯都沒有這是后面排障時最典型的黑匣子。2.2 facility 與 severity消息為什么會“消失”在系統(tǒng)側(cè)syslog 消息的第一部分叫 PRI由 facility 乘以 8 加 severity 得到。facility 決定消息歸屬哪類子系統(tǒng)severity 決定緊急程度。C 代碼里你寫LOG_USER|LOG_INFOfinally 到達 rsyslog 時規(guī)則匹配的就是這兩個維度。facility 值關(guān)鍵字常見用途0LOG_KERN內(nèi)核日志用戶態(tài)不要用1LOG_USER用戶進程默認歸屬5LOG_AUTH認證安全相關(guān)12LOG_NTP時間同步服務16~23LOG_LOCAL0~LOCAL7留給應用自定義severity 從 0 到 7 分別是 EMERG、ALERT、CRIT、ERR、WARNING、NOTICE、INFO、DEBUG。這個順序很關(guān)鍵rsyslog 的*.info表示“info 及以上”如果規(guī)則寫user.*user 下所有級別都收如果只寫user.infodebug 和 notice 的處理方式就完全取決于下一條規(guī)則可能被丟。很多人以為 syslog() 返回 0 就等于日志落盤了其實它只代表消息進了內(nèi)核 socket 緩沖區(qū)。之后 rsyslog 按配置決定寫哪個文件、轉(zhuǎn)給誰或者直接丟棄。我在項目里見過最隱蔽的一次程序里打LOG_LOCAL0|LOG_INFO系統(tǒng)默認規(guī)則把 LOCAL0 定向到一個沒建好的目錄日志全被 rsyslog 靜默吞掉應用側(cè)完全無感知。2.3 RFC3164 與 RFC5424日志頭里藏著年份和時區(qū)的坑老式 syslog 消息長這樣PRIOct 11 22:14:15 hostname tag[pid]: message這是 RFC3164 格式。問題在于沒有年份、沒有時區(qū)??缒昱耪蠒r日志一多你分不清去年十月和今年十月跨時區(qū)轉(zhuǎn)發(fā)接收端拿到的“22:14:15”到底按哪邊解釋全看接收端配置。你要做日志審計或者對接集中平臺我建議直接用 RFC5424 頭1651 2025-10-11T22:14:15.123Z myhost myapp 1234 - - message它帶版本號、ISO8601 時間戳、帶時區(qū)還有結(jié)構(gòu)化數(shù)據(jù)段。代價是很多老系統(tǒng)日志分析器不認但現(xiàn)代 rsyslog、journald、ELK 都兼容。自己寫發(fā)送端時別偷懶用 RFC3164除非對方平臺明確只支持老格式。2.4 系統(tǒng)日志服務rsyslog、syslog-ng 與 busybox syslogd 的配合方式應用層 syslog() 只負責把消息丟給本機日志守護進程真正落盤、轉(zhuǎn)發(fā)、過濾的是那三個服務。Debian/Ubuntu 默認 rsyslogRHEL 早期常帶 syslog-ng嵌入式設備多半是 busybox syslogd。它們的協(xié)議一致但配置語言完全不同。rsyslog 在 Debian 系只監(jiān)聽 /dev/log不監(jiān)聽網(wǎng)絡端口這是近二十年安全默認。要收遠端 UDP 日志得在配置里顯式打開# /etc/rsyslog.d/remote.conf module(loadimudp) input(typeimudp port5514)其中imudp是 rsyslog 的 UDP 輸入模塊port是監(jiān)聽端口。注意 Linux 上進程綁定小于 1024 的端口需要 root 權(quán)限或文件 capabilities測試階段用 5514 這類高位端口不要一上來就 sudo 跑程序。改成 514 后重啟systemctl restart rsyslog用ss -lunp | grep 514確認監(jiān)聽成功這是最直接的驗證。syslog-ng 的對應配置則是source s_net { udp(ip(0.0.0.0) port(5514)); };語法差很遠。busybox 更簡單syslogd -R 192.168.1.10:5514就能把日志轉(zhuǎn)發(fā)出去但基本沒有規(guī)則過濾能力。3. 把 syslog.rar 里的工程跑起來Linux 下最小 C 收發(fā) Demo 與三處參數(shù)3.1 解包與工具鏈準備解壓 rar 常用的幾個 linux 命令拿到 syslog.rar先別急著改代碼把環(huán)境檢查做干凈否則后面查問題會讓你懷疑人生。解壓這一步在坑里排第一因為 Windows 壓縮包常帶 CRLF 換行符和中文文件名。# 1. 查看壓縮包內(nèi)容 unrar l syslog.rar # 2. 完整解壓 unrar x syslog.rar # 3. 如果發(fā)行版沒帶 unrar裝 unar 也能解 # sudo apt install unar # unar syslog.rar # 4. 看工程結(jié)構(gòu) ls -l syslog/ # 5. 確認編譯器 gcc --version make --versionunrar l只列出內(nèi)容不釋放文件適合先看包內(nèi)目錄是否混亂。unrar x解壓時保留完整路徑e則把所有文件攤到當前目錄千萬別用錯。解壓后第一件事是看文件行尾file src/*.c cat -v src/syslog_sender.c | head -5如果看到大量^M這樣的字符說明文件是 CRLF 行尾gcc 能編過但字符串字面量如果跨行或者消息拼接處帶\r日志解析會出怪問題。批量處理# 把當前工程下所有 .c/.h 的 Windows 行尾轉(zhuǎn)成 Unix find syslog -name *.c -o -name *.h | xargs sed -i s/\r$//這步做完再編譯。很多 Unix 上編譯失敗其實不是代碼問題是行尾和 Makefile 的 Tab 字符被改壞Makefile 要求命令行以 Tab 開頭Windows 編輯器常把 Tab 轉(zhuǎn)成空格。3.2 發(fā)送端syslog() 一行接入的最小 C 代碼最簡發(fā)送端其實不長核心是 openlog 的三個參數(shù)。我一般會在每個工程里單獨寫一個 log.c避免業(yè)務代碼到處裸調(diào) syslog。#define _GNU_SOURCE #include syslog.h #include stdio.h #include string.h #include errno.h int main(void) { /* ident 是程序名LOG_PID 讓 tag 帶上進程號 */ openlog(myapp, LOG_PID | LOG_CONS | LOG_NDELAY, LOG_USER); syslog(LOG_INFO, hello syslog, seq%d, 1); syslog(LOG_ERR, something failed: %s, strerror(ENOENT)); closelog(); return 0; }編譯運行g(shù)cc -Wall -O2 -o sender sender.c ./senderopenlog 的第二個參數(shù)里LOG_PID會把進程號打印成myapp[1234]:多實例部署時靠它區(qū)分是哪個進程。LOG_CONS表示本地 /dev/log 通路失敗時把消息直接寫到控制臺調(diào)試期有用生產(chǎn)上開了可能干擾終端交互。LOG_NDELAY讓 openlog 立刻連接 /dev/log否則第一次 syslog() 時才會連接那一次的延遲會略高。第三個參數(shù)是默認 facility。注意 syslog() 的第一個參數(shù)既包含 facility 又包含 severity你可以寫syslog(LOG_DAEMON|LOG_ERR, ...)臨時覆蓋 openlog 里設定的 facility但一般建議固定一個 facility方便 rsyslog 規(guī)則歸類。3.3 接收端能跑在用戶態(tài)的 UDP 最小 C 實現(xiàn)把工程里的接收端核心邏輯抽出來一個最小 UDP receiver 就這么長#include stdio.h #include string.h #include sys/socket.h #include netinet/in.h #include arpa/inet.h #include unistd.h #define PORT 5514 int main(void) { int fd socket(AF_INET, SOCK_DGRAM, 0); struct sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_addr.s_addr htonl(INADDR_ANY); addr.sin_port htons(PORT); if (bind(fd, (struct sockaddr *)addr, sizeof(addr)) 0) { perror(bind); return 1; } char buf[4096]; /* 一次 recvfrom 只收一條 UDP 數(shù)據(jù)報 */ int n recvfrom(fd, buf, sizeof(buf) - 1, 0, NULL, NULL); if (n 0) { buf[n] \0; printf(%s\n, buf); } close(fd); return 0; }這里的SOCK_DGRAM對應 UDP收到的是完整數(shù)據(jù)報如果改成SOCK_STREAM就是 TCPrecvfrom 要換成 recv。bind 到INADDR_ANY表示監(jiān)聽所有網(wǎng)卡地址生產(chǎn)環(huán)境建議 bind 到業(yè)務內(nèi)網(wǎng) IP。端口用 5514 而不是 514原因是 1024 以下端口綁定需要特權(quán)測試階段沒必要往 sudo 火坑里跳。bind 失敗最常見兩個原因端口被占用可以用ss -lunp | grep 5514查另一個是權(quán)限換成 5514 基本就能避開。別在生產(chǎn)環(huán)境為了綁定 514 給整個程序 setcap那是給日志接收服務權(quán)限過大風險不值。驗證一下./receiver printf 14Oct 11 22:14:15 myapp[1]: test\n | nc -u -w1 127.0.0.1 5514如果終端打印出消息說明網(wǎng)絡通路通了接下來可以接系統(tǒng)的 rsyslog。3.4 從自定義收端換回 rsyslog把消息真正落到系統(tǒng)日志最小 receiver 只是給你驗證協(xié)議格式真正干活的是 rsyslog。改配置# /etc/rsyslog.d/remote.conf module(loadimudp) input(typeimudp port5514)重啟并確認監(jiān)聽systemctl restart rsyslog ss -lunp | grep 5514 logger -n 127.0.0.1 -P 5514 remote logger test然后另一個終端看日志tail -f /var/log/syslog看到 “remote logger test” 說明全鏈路通了。這里有三處參數(shù)要盯住imudp模塊有沒有加載成功rsyslog 日志里會有模塊加載報錯port和發(fā)送端目標端口必須一致ruleset 如果沒有單獨指定默認規(guī)則決定消息落哪個文件。很多系統(tǒng)里/var/log/messages和/var/log/syslog兩個文件的規(guī)則不一樣別只盯一個文件。注意 rsyslog 的 legacy 語法在老版本配置里很常見$ModLoad imudp、$UDPServerRun 514。如果接手的項目配置還是這種寫法改的時候要保留原樣不能混用新舊語法兩套rsyslog 對混用會給出警告但行為可能不符合預期。4. 從 Demo 到可用日志服務多線程、隊列與 UDP 丟包的取舍4.1 多線程程序里的 syslog線程安全不等于不丟不亂glibc 的 syslog() 內(nèi)部有鎖多線程調(diào)用不會崩但別高興太早。日志風暴時全局鎖會讓所有業(yè)務線程排隊等日志線程業(yè)務延遲突然飆升更隱蔽的是syslog() 只記錄進程號多個線程寫日志你分不清消息來自哪個線程。常見做法是包一層#include pthread.h #include syslog.h #include stdarg.h #include stdio.h static pthread_mutex_t log_lock PTHREAD_MUTEX_INITIALIZER; void app_log(int prio, const char *fmt, ...) { char buf[512]; va_list ap; va_start(ap, fmt); vsnprintf(buf, sizeof(buf), fmt, ap); va_end(ap); pthread_mutex_lock(log_lock); syslog(prio, %s, buf); pthread_mutex_unlock(log_lock); }這個封裝把線程號帶進消息里比如調(diào)用前拼一個pthread_self()進去同時用鎖保證一行消息不會被其他線程截斷。但鎖本身是性能瓶頸所以更靠譜的結(jié)構(gòu)是隊列。4.2 隊列設計業(yè)務線程不阻塞日志線程慢慢發(fā)生產(chǎn)級日志庫的思路通常是業(yè)務線程把日志塞進一個有界環(huán)形隊列專門的日志線程批量發(fā)送。隊列滿就丟丟之前計數(shù)。我常用下面這個結(jié)構(gòu)#define LOG_QUEUE_SIZE 8192 #define LOG_MSG_MAX 256 struct log_msg { char data[LOG_MSG_MAX]; int len; }; static struct log_msg ring[LOG_QUEUE_SIZE]; static _Atomic unsigned int head, tail; static _Atomic unsigned long dropped; int log_enqueue(const char *data, int len) { unsigned int h atomic_load_explicit(head, memory_order_relaxed); unsigned int t atomic_load_explicit(tail, memory_order_relaxed); if (len LOG_MSG_MAX || h - t LOG_QUEUE_SIZE) { atomic_fetch_add_explicit(dropped, 1, memory_order_relaxed); return -1; } struct log_msg *slot ring[h (LOG_QUEUE_SIZE - 1)]; memcpy(slot-data, data, len); slot-len len; atomic_store_explicit(head, h 1, memory_order_relaxed); return 0; }隊列參數(shù)有兩個隊列長度 8192 條、單條消息上限 256 字節(jié)算下來約 2MB 內(nèi)存對服務器和嵌入式主控都算可控。隊列滿時返回 -1上層可以選擇忽略也可以臨時降級成把消息寫到本地文件。注意這個無鎖隊列是單生產(chǎn)者多消費者才會真正無鎖多線程并發(fā)寫還是需要原子 CAS 或者直接退化成互斥鎖別把注釋里的簡化當真。日志線程從 tail 取消息再用 UDP socket 批量發(fā)送。批量發(fā)送的意思是攢 10 條或 10 毫秒發(fā)一次減少系統(tǒng)調(diào)用。日志不能因為發(fā)送超時反過來把業(yè)務卡死所以 send 要用非阻塞模式int flags fcntl(fd, F_GETFL, 0); fcntl(fd, F_SETFL, flags | O_NONBLOCK);這樣 socket 緩沖區(qū)滿時 send 返回 EAGAIN日志線程可以把這批消息繼續(xù)留在隊列里或者丟棄。沒有這個設置UDP 在極端情況下也會把進程拖住。4.3 UDP 丟包是常態(tài)用序列號打出第一個“空洞”UDP 514 傳日志默認就是丟。網(wǎng)上很多集中日志方案都遇到過機房間 0.1% 到 1% 的丟包率這不是網(wǎng)線問題是網(wǎng)卡緩沖、socket 緩沖和接收端處理速度三者不匹配造成。把日志都改 TCP日志流量一大TCP 的隊頭阻塞反而會讓堆積更嚴重。先做個壓測看清楚丟包。發(fā)送端用 bash 的 linux 腳本就行#!/bin/bash # 發(fā)送 20000 條 UDP 日志到本機 5514 total20000 start$(date %s%N) for ((i1; itotal; i)); do printf 14$(date %b %e %T) perf seq%d\n $i \ | nc -u -w1 127.0.0.1 5514 done end$(date %s%N) echo sent $total in $(( (end-start)/1000000 )) ms接收端用 python 統(tǒng)計序號空洞import socket import re s socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.bind((127.0.0.1, 5514)) seen set() while True: data, _ s.recvfrom(2048) m re.search(rbseq(\d), data) if m: seen.add(int(m.group(1))) if len(seen) % 1000 0: missing len(seen) and (max(seen) - min(seen) 1 - len(seen)) print(fgot {len(seen)}, missing {missing})參數(shù)里nc -u走 UDP-w1是等待收尾的超時防止循環(huán)卡死。這個腳本會把內(nèi)核 socket 緩沖打滿丟包率會真實暴露???missing 值如果穩(wěn)定增長說明要么發(fā)送端太快要么接收端處理不過來。先調(diào)接收端緩沖參數(shù)sysctl -w net.core.rmem_max8388608 sysctl -w net.core.rmem_default8388608再不行就要考慮在發(fā)送端做批量合并。真正關(guān)鍵的高價值日志直接走 TCP 或者 RELP不要指望 UDP 重傳日志場景下重傳只會加劇擁塞。4.4 嵌入式 Linux 下的 syslog 差異嵌入式系統(tǒng)資源少rsyslog 太重常見的是 busybox syslogd。它沒有 rsyslog 的規(guī)則引擎facility 和 severity 過濾能力很弱所以程序內(nèi)自己做級別裁剪更重要。busybox syslogd 常用參數(shù)syslogd -n -s 64 -b 1 -R 192.168.1.10:5514-n表示不 fork 到后臺適合交給 init 或 systemd 管理-s 64限制單個日志文件最大 64KB-b 1保留 1 個輪轉(zhuǎn)備份-R指定遠端日志服務器。嵌入式 Flash 存儲有限別貪心設大日志文件否則設備跑幾個月后壞塊先找上門。內(nèi)核日志和用戶日志在嵌入式上很容易混在一起。dmesg看的是內(nèi)核日志來自 /proc/kmsg用戶的 printk 由 console_loglevel 控制落不落串口。程序里的 syslog 消息別往 /dev/kmsg 寫那是內(nèi)核專屬權(quán)限要求也高。調(diào)試串口日志太多時調(diào)dmesg -n而不是去停業(yè)務程序的日志輸出。5. syslog 編程避坑5 個讓日志丟在路上的真實場景5.1 syslog() 返回 0系統(tǒng)日志里卻什么都沒有現(xiàn)象C 程序調(diào)用 syslog() 一切正常返回值是 0但 tail /var/log/syslog 看不到一條自己的消息。原因rsyslog 的規(guī)則把該 facility 定向到了別的文件*.info的默認規(guī)則根本沒匹配上你寫的 facility或者等級低于規(guī)則門檻比如規(guī)則只收 info你打的是 debug。日志從應用進 /dev/log 只是第一步后面 rsyslog 過濾是第二個黑匣子。解決先用 logger 做對照實驗區(qū)分是應用問題還是系統(tǒng)配置問題。logger -p user.info probe from logger logger -p local0.info probe local0 tail -f /var/log/syslog如果 logger 的 user.info 能看見local0 看不見就去查 local0 被哪條規(guī)則接管grep -rn local0 /etc/rsyslog.conf /etc/rsyslog.d/常見處理是把規(guī)則指到業(yè)務自己的日志文件比如local0.* /var/log/myapp.log。改了配置記得systemctl restart rsyslog。5.2 跨年后時間錯亂遠程日志相差 8 小時現(xiàn)象日志里時間顯示無年份跨年的兩天日志翻起來順序顛倒內(nèi)網(wǎng)多臺機器日志時間差一個時區(qū)。原因RFC3164 的頭部沒有年份和時區(qū)。設備時間如果是 UTC接收端按本地時間解讀東八區(qū)自然差 8 小時。這個坑在 syslog.rar 這類老工程里幾乎是必踩的。解決盡量讓發(fā)送端直接發(fā) RFC5424 格式時間戳帶時區(qū)或者高價值日志在消息體里自己拼一個 epoch 字段。統(tǒng)一所有服務器系統(tǒng)時區(qū)為 UTC展示時再轉(zhuǎn)本地時間這是集中日志平臺的標準做法。不要在應用層把時間先轉(zhuǎn)成字符串再發(fā)接收端格式化才是正路。5.3 日志一多業(yè)務調(diào)用跟著變慢現(xiàn)象日志量從每分鐘幾百條漲到幾萬條后業(yè)務接口耗時漲了三分之一strace 發(fā)現(xiàn)卡在 sendto 附近。原因syslog() 默認是阻塞寫 /dev/log內(nèi)核緩沖滿后寫操作等待glibc 內(nèi)部還有鎖日志風暴時所有調(diào)用 syslog() 的線程互相排隊。rsyslog 接收端如果解析慢連鎖反應又讓緩沖堆積。解決先看實際緩沖壓力。cat /proc/net/unix | grep /dev/log ss -lnp | grep :5514臨時調(diào)內(nèi)核緩沖只能緩解sysctl -w net.core.wmem_max4194304 sysctl -w net.core.wmem_default4194304根治是 4.2 的隊列方案業(yè)務線程只入隊發(fā)送線程批量處理發(fā)送 socket 設 O_NONBLOCK緩沖滿直接丟并記 dropped 計數(shù)。記住一個原則日志可以丟業(yè)務不能卡。5.4 容器或新環(huán)境里連 /dev/log 報 Permission denied現(xiàn)象程序部署進容器后syslog() 打通了但系統(tǒng)日志目錄里收不到strace 顯示打開 /dev/log 時 Permission denied。原因容器里沒有宿主機的 /dev/log或者掛載了但權(quán)限不對。宿主機 /dev/log 通常是 socket 文件屬主 root:root權(quán)限 622普通用戶能寫嗎很多場景是不能的??釉谌萜骼飸门茉诜?root 用戶又沒有把宿主機的 /dev/log 掛進來。解決臨時方案是容器啟動時掛載宿主路徑docker run -v /dev/log:/dev/log ...但這會把宿主日志 socket 直接暴露給容器干凈的做法是容器內(nèi)應用把日志寫 stdout交給 docker logging driver要進系統(tǒng)日志就起一個輕量 syslog 代理進程把容器內(nèi) /dev/log 轉(zhuǎn)發(fā)到宿主機 rsyslog 的 5514 端口。注意容器內(nèi)起 syslogd 前先確認 socket 路徑不同基礎鏡像的 /dev/log 位置不一致。5.5 代碼在 Linux 編譯通過換個 Unix 就鏈接失敗現(xiàn)象同一個工程在 Linux 上gcc -o sender sender.c順利產(chǎn)出放到 Solaris 或老 AIX 上編譯鏈接階段報 undefined reference tosocket、bind。原因Linux 把網(wǎng)絡函數(shù)全塞在 libc 里傳統(tǒng) Unix 不是它們把 socket 相關(guān)函數(shù)放在 libsocket網(wǎng)絡解析相關(guān)放在 libnslMakefile 里沒鏈接這兩個庫。解決Makefile 里加一行。LIBS -lsocket -lnsl對應代碼里syslog()本身在 libc真正需要這兩個庫的是 3.3 那種直接建 socket 的收發(fā)端。順帶提一個同源坑壓縮包里的源碼如果從 Windows 解壓出來CRLF 行尾會讓 syslog 消息的 tag 后面多一個\r接收端正則匹配 tag 全失敗日志看起來是亂的。批量sed -i s/\r$//之后再對工程做一次 diff確認沒有內(nèi)容被誤傷。6. 用端到端時間戳驗證 syslog 鏈路一套能堅持到第二年的檢查習慣驗證 syslog 工程不能只看“消息出來了”還要看消息花了多久、有沒有靜默丟失。我的做法是給發(fā)送端打上本地納秒時間戳和自增序號接收端記錄差值。發(fā)送端關(guān)鍵行struct timespec ts; clock_gettime(CLOCK_REALTIME, ts); syslog(LOG_INFO, benchmark ts%ld.%09ld seq%d, ts.tv_sec, ts.tv_nsec, seq);接收端不要靠肉眼直接統(tǒng)計# 接收端命令過濾 bench 行算當前時間與 ts 的差值 tail -f /var/log/syslog | grep benchmark | \ awk {print $NF} | head -1000真正的鏈路延遲應該是發(fā)送端調(diào) syslog 到接收端磁盤落盤的間隔只有同一臺機器上同時跑收發(fā)端才能近似測出跨機器測的是網(wǎng)絡延遲加接收端處理延遲中間有時間校準誤差別把數(shù)字報得太精確。我現(xiàn)在的習慣是每改完一版日志代碼先跑十分鐘壓測留下 CSV 記錄再看 99 分位延遲而不是平均延遲。平均延遲會把定時批量發(fā)送攤得很平掩蓋偶發(fā)的緩沖打滿。壓測腳本就是第 4 章那個 bash 循環(huán)稍微收一下速率改成每秒 5000 條跑到穩(wěn)定再算 missing。另一個堅持到現(xiàn)在的習慣升級 rsyslog、換內(nèi)核版本、調(diào)整過 socket 緩沖參數(shù)之后必然用logger -n做一次冒煙回歸否則這類黑匣子會在半年后某次大促時突然發(fā)作。日志鏈路不值得炫技但它能決定你排障時是十分鐘定位還是熬一個通宵。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99久久综合网| 欧美婷婷| WWW.99热| 五月丁香美女视频| 99精品女人天堂| 99久久9| 99成人精品| 日本丰满久久| 免费观看欧美成人AA片爱我多深| 久久 婷婷 五月天| 色色色.COM| 啪啪 综合网| 99久久婷婷国产综合| www,五月丁,com| 青青久久大香蕉| 天天草天天爽| 五月天婷婷网站888| 色婷婷丁香五月在线| 色色丁香色五月| AV在线观看网站| 天干干夜夜操| Se.婷婷五月天| 欧美人人草草| 涩丁香| 91碰视频| 日韩久久色| 五月天性色| 久9久成人精品视频| 久久丝丝热| 欧洲区自拍| 天天肏在线观看| 天天插夜夜爽| 婷婷五月激情六月丁香| 99久久婷婷国产综合精品草原| 婷婷综合在线网| 五月天婷婷丁香| www五月| 五月总合激情网| 亚洲欧洲一二| 青青草Avb在线| 色五月大香蕉| 国产XXXX搡XXXXX搡麻豆| 狠狠干五月丁香综合网| 五月婷婷欧美激情| 99爱视频在线| 婷婷五月综合激情免费| 思思热精品在线| 久久视这里只有精品| 五月丁香综合中文| 亚洲色人妻| 久热视频97AV在线观看| 爽tv | 老司机伊人| 婷婷丁香色情| 成人精品在线观看| 91精品91久久久中77777| 色婷婷啪啪啪啪啪啪| 91九色PORNY中文啦| 少妇伦子伦精品无吗| 天天插天天干| 黑人巨粗进入警花疼哭A片| www.99热| 97干干干丁香| 婷婷新网址| 六月丁花香啪啪激情欧美| 五月婷婷色播| www。久久久久一b。Cc| 一起操 91N.com| 日韩AC在线免费观看| 丁香五月影院| 综合福利网| 精品夜夜澡人妻无码AV| 99亚洲精品视频| 婷婷五月六月激情| 99热综合色图| 五月丁香色婷婷| 五月丁香激情六月| 色激情五月| 91大屁股精品| 久久久久久久人妻| a性生活久久无| 极品嫩草| 色综天天综合| 婷婷丁香在线播放| 影音先锋色婷婷| 九九自拍网| 色色日本| 综合网精品99| 色欲av伊人久久大香线蕉影院| 色香蕉影院| 国产夫妻操逼内射视频| 99热这里只有精品3| 久久精品99久久| 欧美 日韩 成人 在线| 九九久久五月天综合伊人| 丁香五月久久| 欧美性色五月天| 欧美激情综合色丁香婷婷五月天| 日本高清久久| 91精品久| 秋霞午夜理论| 亚洲综合草草| 九九色黄色| 综合玖玖偷拍| 国产综合激情五月久久| 五月丁香激情四射| 五月丁香花激情啪啪网| ay2区| 婷婷激情丁香六月| 色色婷婷丁香| 岛囯综合激情网| 丁香五月网址| 万月丁香狠狠爱| 中文字幕亚洲-区久久99婷婷| 在线中文av| 99热这里只有精品23| 亚洲欧州色情在线观看| 午夜成人网站在线观看| 99热欲| 久久久人妻人伦| 久久性爱视频| 五月婷婷六月丁香免费| 先锋资源婷婷| 99免费视频久久| 成人色情五月天婷婷丁香| 操大屄五月天视频| 99热这里只有精彩| A片一曲| 婷婷丁香五月天在线| 99热在线播放| 免费V片在线| 九月丁香| 99精品久久久久| 99热这里有精品| 激情五月婷婷色色| 婷婷五月激情欧美大胆视频| aaaaa不卡| 五月婷婷综合色啪首页| 午夜69成人做爰视频| 婷婷五月综合基地| 色噜噜在线| 日本五月婷婷| 日韩精品超碰在线观看| 影音先锋91资源站| 99热精品观看| 99在线免费视频| 超碰妻人人| 色五月成人婷婷| 婷婷va| 超碰在线日夜| 日本 @ va 免费| 色99色| 婷婷五月激情的图片| 六月婷婷七月丁香| 国产偷人爽久久久久久老妇APP| 欧美大肥婆大肥BBBBB| 九色激情网| 五月天婷婷丁香社区| 俺也去色| 五月天玖玖狠狠色色| www婷婷| 91色久| 激情性爱五月| 热的五码久久精品| 日韩五月丁香| 丁香五月区| 五月婷婷导航| 五月丁香手机在线| 青柠影视免费高清电视剧| 精热在线综合网| 99九九视频| a在线观看| 日本五月婷| 91尤物九色在线| 婷婷五月精品中文字幕| 色婷婷综合丁香五月天| 91婷婷丁香五月| 久草a片| 青草五月天| 国产综合A片| 色婷婷五月天视频网站| 久久久人妻| 日韩一级片| 欧洲毛片基地c区| 久久久.COM| 久久婷综合| 97色婷| 99只有精品| 婷婷五月成人有| 成人国产欧美大片一区| 国产激情综合五月久久| 天天爽夜夜爽夜夜爽精品| 婷婷俺去也| www,8050,午夜三级| 亚洲操逼网| 激情综合网,婷婷| 久久婷婷原创视频| 色5月婷婷| 99爱免费在线观看| 婷婷五月色情| 国产人妻777人伦精品HD| 色色色精品无码区| 人人综合91网| 人妻熟女一区二区AV| 99热最新网址| 97人人干人人操| 99这里只有精品| 男女久久婷婷五月天| 欧美日韩五月婷婷| 日逼影音先锋男人AV资源站| 爆乳熟妇一区二区三区爆乳照片| 亚洲色欲AAAAAA| 欧美日本高清视频99| 成人婷99最新| 亚洲最大五月天成人网| 激情婷婷五月| 人操91在线| 五月丁香成人| 婷婷五月18永久免费视频| 久久久99免费视频| 色色97丁香婷婷五月天| 99天堂网| 亚洲AV日韩无码| 久久性爱视频免费| 色色免费网站| 久久女伦| 免费看成人AA片无码视频吃奶| 久久精热| 婷婷五月天激情影片| BT综合在线视频观看| 五月婷三级片| 成人做爰高潮A片免费视频 | 婷婷五月天久久久| 99成人精品六| 成人va在线观看视频| 丁香五月五月婷婷欧美大香蕉| 色色色婷婷| 天天摸日日舔狠狠添婷婷婷| 久久 婷婷 五月天| 婷婷激情视频| 97精品综合久久内射| 午夜69成人做爰视频| 在线中文亚洲| 操逼六区| 天天色噜| 激情婷婷丁香| 噜一噜在线| 色高清无码视频| 99热成人永久免费| 久久这里精彩免费在线观看| 人人操AV| 99ri在线视频| 色播丁香| 色婷婷内射| 欧美色色色色色| 五月婷婷色白丝| 草草女人亚洲| 久婷婷视平| 国产乱妇无乱码大黄AA片| 午夜色婷婷| 五月天婷婷成人网| 亚洲五月天婷婷| 天天色天天日| 欧美性猛交99久久久99| 人人操五月天| 色日本综合| 九九热精品视频| 天天操夜夜橾| 色在线99| 色区久久| 另类图片五月天| 99热精品在线观看| 五月天成人综合| 国产综合色婷婷精品久久| 日婷婷| 五月天六月婷婷| 五月亭亭六月天| 婷婷五月天成人基地| 婷婷免费无视频| 91啪级电影| 六月色丁香中文字幕| 九九九九九九九热| 亚洲免费婷婷| 丁香五月婷婷超碰在线| 99久久久99久久91熟女| 狠狠色丁香乆乆| 艹B高清无码| 精品少妇人妻AV无码专区偷人| 亚洲乱码日产精品BD| 国产又爽又猛又粗的视频A片| 202丰满熟女妇大| 五月开心播播网| www99精品在线观看| 日韩久久日| 免费观看2018www黄色操逼网站| 婷婷久久天堂网| 9热在线| 婷婷色一二三区波多野结衣| 97在线/亚洲| 99热网站| 5月婷婷五月天| 色婷婷电影网| 成人精品视频99在线观看免费| 亚洲色就是色色色| 大香蕉狼人久久| 五月婷婷另类| 99日这里只有精品| 99热这里只有精品3| 99热这里只有精品在线| 91九色 熟| 五月婷婷丁香啪啪| 日日干五月天婷婷| 婷婷五月天在线观看免费| www.maotanji.com| 久久久久久久久月丁| 久热伊人在91| 天天爽天天日人人爱| 五月网网站| 日本久久婷| 国产午夜成人AV在线播放| 久久婷婷色综合老司机| 另类图片激情五月天| 黄色激情五月天| 99色在线视频| 国内精品99| 五月丁香亭亭操逼| 五月婷婷六月综合| 国产五月视频| 丁香亭亭久久| 9精品在线| 久久婷婷老| 丁香激情网| 夜夜爽天天日| 欧美成人AAA片一区国产精品| 97人妻碰碰碰久久久久-最近国语高清| 99色这里| 亚洲激情在线| 欧美视频五区| 五月婷婷色五月| 亚洲国产精品二二三三区| 亚洲秘 无码一区二区三区妃光/1| 六月丁香婷婷五月天| 五月花免费视频| 色婷婷小说| 91se在线视频| 国产激情在线| 成人免费网站免费看| 国产精品色色666| 久久精品五月天| 国产精产国品一二三在观看| 五月天激情站| 99精品综合视频| 色色综合激情| 欧美色色色色色色色色色色| 我去色色网五雨天| 99精品综合视频| 久久人人看| 综合精品99| 婷婷五月天com| 丁香五月天社区| 91人操人人人操人| 日韩色五月| 欧美啪啪五月天| av五月天婷婷丁香| 国产精品99久久久久久久女警| 婷婷丁香在线| 久久伊人五月天| 99亚洲天堂| 婷色五月天| 亚洲乱码w在线观看| 五月天精品视频| 91干婷婷| 天天日,天天射,天天舔| 久9草在线观看视频| 手机激情网| 91欧美| 丁香五月天人体| av九九| aaaaaa片| 欧美性猛交99久久久久99按摩| 99热精品10| 亚洲精品又粗又大又爽A片 | 丁香婷婷五月份| 黄网在线免费观看| 国产精品第一国产精品| 狠狠狠五月婷婷六月丁香| 色色网站毛片| 亚洲激情网| 婷婷九月综合| 丁香五月大香蕉| 亚洲色9| 国产成人精品亚洲线观看| 日本婷婷丁香五月| 99re资源在线视频导航| 五月天婷婷色色网| 亚洲五月天第一综合干| 五月婷九月| 婷婷色丁香六月| 一区三区视频有限公司| 开心五月网 | 97久久视频| 亚洲激情视频网| 天天操夜夜操| 亚洲天堂aaaa| 天天做天天爱天天日| 风流少妇A片一区二区蜜桃| 天天摸天天日天天舔| 婷婷五月丁香A∨| 欧美色色色色色色色| 亚洲婷婷五月天综合| 久久XX| 五月天影院| 91婷婷色| 日韩野外 无套| 天天干电影| 开心婷婷中文字慕| 97碰碰免费.视频| 超碰国产AV| 九九爱这里只有精品| 丁香六月综合| 啪啪91| 天天插天天插天天插天天插 | 婷丁香五月天| 免费黄色AV| 99热综合| 五月婷av| 激情五月婷婷欧美极品| 超级碰碰91| 国产成人片| 天天透天天爱| 九九热这里只有精品556| 99A片| 天天噜| 五月激情另类| 色五月天丁香| 综合色激情| 国产精品久久..4399| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久99久精品视频| 开心婷婷中文字慕| 久久色五月| 久久婷婷五月综合色区| 六月亭亭久久综合激情| 可以免费观看的av网址| 99干视频| 婷婷国产欧美97| 九九99九九精品免费| 色九月婷婷综合| 伊人AV五月婷| 日本不卡五月婷婷丁香| 人妻狠狠操| 激情九月天天天天婷婷| 青青操日本摸摸看看| 另类在线| 天天爽夜夜操| 久热九九| 97视频久久| 亚洲色99| 丁香六月成人| 婷婷五月花西瓜| 狠狠色婷婷丁香六月| 五月久久网| 韩日另类| 国产69久久久欧美黑人A片| 婷婷五月花| 79色色| 亚洲99在线视频| 色婷婷五月天天天天天| 综合激情啪啪| 99热久只有| 色综合婷婷| 99热网址| 久久婷狠狠色| 91日本在线| 色综合中文色综合网| 99色免费| 996er热| 天天看片日日夜夜| 日操熟女| 桃色成人网| 99色看这里只有精品| 久久综合55| 大香蕉五月天婷婷| 六月 丁香 视频| 超碰在线精品| 99热在线观看精品| 99精品网| 日韩啪啪视品| 久久婷五月影院| 99丁香婷婷综合网| 五月婷视频在线观看| 区啪精品| 九九热视频精品| 欧美英丁香开心快乐六月天网| 色九九中文字幕| www.五月天| 婷婷六月天| 婷婷开心深爱五月天| 综合久久99| 亚洲综合1024| 亚洲AV成人一区二区在线观看| 久色| 六月婷婷无码| 日曰躁夜夜躁2026| 久久99草五月婷婷| 99ri精品| 丁香五月婷婷成人色区| 玖玖激情五月天| 丁香婷婷六月| 人妻久久久| 欧美色播综合在线观看| 成人在线不卡| 热婷婷av| 激情深爱五月天| 思思热高清在线观看| 99色激| 国产黄色大片| 欧美大片免费观看| 亚洲色综合| 桃色五月婷婷| 久久婷婷五月天激情| 少妇高潮呻吟A片免费看软件| 色色色在线观看| 密桃激情五月天综合网| 秋霞黄色一级久久| 欧美大香蕉视频| 激情玖玖综合网| 99精品在线| 人妻久久婷婷| 日本色综合| 99aese| 国产一级片| 百度4399有码精品V在线观看 | 五月色亚洲| 激情五月婷婷伊人| 天天爽天天爽天天爽天天爽天天爽天天爽天天 | 五月婷婷在线视频观看| 青青草原福利在线| 欧美性爱5月天天天看| 在线五月婷婷小电影| 亚洲婷婷久久综合| 色99在线看| 伊人大香蕉毛片| 婷婷五月综合国产精品| 久久久婷丁香五月| 色色色色色日韩午夜激情 | 久久五月六月| 久久成人性爱| 午夜丁香六月婷| 五月婷婷六月丁香免费| 婷婷六月色| 91大屁股精品| 人人操人人干AV| 欧美色碰| 国产色网站| 午夜在线成人网站免费观看| 综合色图婷婷| 久久加勤综合| 婷婷六月天| 1024在线观看免费视频| 久久综合五月婷婷| 国产精品国产| 91互操| 天天干在线播放| 精品成人久久久久久久_一二三四视| 色欲五月婷婷| 久久婷婷精品| 99色色网| 97色色色| 欧美性猛交AAAA片黑人 | 996热| 天天日天天爽| 色吧婷婷五月亚洲| 久久丁香五月天| 天天摸天天做天天爱天天爽| 亚洲天堂aaa| 狠狠色综合精品视频在线| 婷婷性爱五月天| 亚洲人人操| 丁香久久AV| 婷婷五月丁香激情色情| WWW.桔色成人.COM| 五月婷婷亚洲色视频| 婷婷内射视频在线| 亚洲人人操| 五月丁香人妻| 97热91| 99欧美精品99日本精品| 婷婷香蕉视频| 99精品国产在热久久婷婷| 97碰久久| 丁香5月啪啪| 美女丁香五婷婷| 99精品小视频| 91日本在线观看| 五月婷婷激情网| 亚洲经典三级| 91超级碰| 国产精品天天狠天天看| 九九成人电影婷婷| 丁香婷婷色色| 啪啪丁香五月| 678五月丁香亚洲综合| 99热精地址| 午夜丁香婷婷| 久久婷婷亚洲| 五月天婷婷综合| www免费在线视频| 久久婷婷综合国产| 五月花婷婷在线精品视频| 久久人妻视步| 国产激情综合五月久久| 97干在线观看| 激情五月丁香综合网站| www夜夜操| 欧美日韩国产成人在线| 婷婷五月天播| 中文字幕av在线播放| 黄色片久久| 99re66热这里只有精品| 丁香五月成人网| 双性美人被调教到喷水A片| 欧美天天搞| 春色激情第四色| 欧美99热| 5五月综合网亚洲| 九九九九九无码| 色私五月婷婷| 99ri国产在线| 五月丁香毛片| 五月婷婷综合精品| 国产精品涩涩涩视频网站| www..999热久| 五月综合婷婷五月| 狼人伊人天堂| 五月丁香六月婷婷亚洲| 色色国产| 热的国产99热| av网址在线| 69精品人人人人人人| 思思热热久久| 中国无码av| 色婷婷久久综合久色| 五月婷婷色| 亚洲无码性爱| 五月丁香六月婷婷a v| 五月天激情小说| av网址在线| 人人色婷婷| 日韩人人操| 五月丁香婷婷中文网| 天天爽天天干| 丁香综合婷婷开心激情网| 婷婷娌伦网| 色爱综合五月| www,天天干| 人妻视频一区而且二区| 色欲久久久久| 六月婷婷操逼| 亚洲熟女色| 丁香五月婷婷大香蕉| 五月婷婷亚洲色图| 日日日天天干| 射琪琪| 五月婷婷丁香婷婷| 五月婷婷9| 啄木鸟丝袜美女福利视频| 99精品丁香五月| 亚洲综合色丁香婷婷六月| 天天操天天插| 亚州视频九九99| 9热成人在线视频| 亚洲狠狠操| 人人操超碰| 91人人爽久久涩噜噜噜| 国产44页| 综合激情在线视频| 五月丁香综合网色欲| 国产超碰在线| 大伊久久| 五月激情婷婷四射| 欧美 日韩 成人| 婷婷欧美激情综合| 亚洲综合色婷婷| 开心婷婷五月花| 色色欧美色色色| 97五月婷婷| 狠狠久久婷五月| www久久99| 五月天开心网| 人人色AV| 97伊人综合婷婷| 色热久| 欧洲激情五月天婷婷| 99热 精品在线| 五月天网站亭亭| 日本一级一片免费视频| 人人操av| 婷婷五月天成人综合网| 亚洲秘 无码一区二区三区妃光/1| 影音先锋四区| 国熟女视频| 色婷婷影视99| 亚洲综合99| 狠狠五月激情在线| 90色免费视频| 久久超视频| 丁香五月婷婷色综合基地| 激情婷婷五月社区| 五月丁香婷婷中文| 国产美女最新VA在线免费观看| 色都都狠狠色都都色综合色| 另类激情五月| 91呦呦呦| 国产成人+综合亚洲+天堂| 99热99免费| www.久久9| 色婷婷小说网| 九九在线这里只有精品视频 | 色99xx| 99啪啪| 婷婷五月天首页| 久青操| 亚洲色图欧美色图日本视频| 婷婷五月激情的图片| 色欲丁香| 色婷婷另类| 五月婷在线| 另类激情五月在线视频欧美| 天天草天天爱| 碰97久久| 国产欧美大香蕉一区| 色婷婷久久| 天天舔天天摸视频| 色五月天影视| 四射综合网| 9久久精品| 丁香婷婷九月| 亚洲色激情| 久草九一| 91ncm视频| site:ornaments52.com| 黄网在线播放| www99xxxx五月丁| 丁香五月婷婷基地| 人人干99| 婷婷丁香五月六月激情| 激情综合网络插| 婷婷五月综合中文字幕| 色色婷| 色婷婷久久综合| 婷婷婷婷婷开心无码播放| 99这里精品| 人人澡玖玖一| 精品九九网| 五月丁香婷婷成人网| 色香欲综合| 久久久久婷| 舔色婷婷| 日韩十国产极品久久| 五月婷婷深深爱爱| 中文字幕婷婷9月天| 五月天婷婷成人网| 五月激情啪啪啪| 伊人激情影院| 夜夜躁爽日| 热的无码综合视频| 色婷婷五月天天天天天天天天天| 三男玩一女三A片| 97丁香婷婷| 色色色色色网| 五月婷婷AV| 久久网思思| 天天拍夜夜爽日日| 午夜色色色极品视频| 婷婷99狠狠| 丁香婷婷五月六月久久| 国产精品国产| 久热re在线视频| 97婷婷五月丁香| 青草青草视频2免费观看| 亚洲激情久久| 久久婷婷六月综合综合| 99爱视频在线| 六月婷婷开心| 中文字幕 中文字幕明步| 天天干天天干天天操| 久久婷婷热| 国产在这里只有精品| www99热| 九九99精品视频在线观看| 国产成人综合网| 婷婷五月丁香久久| 99精品无码| 伊人婷婷五月天| 六月丁香久久| 丁香五月天视频| 婷婷色影院| 久久精彩综合视频| 26uuu欧美日韩| 性爱AV天堂| 五月丁香久久网| 99热国产国产| 色天天久婷婷| 99成人免费热视频| 色情成人五月天| 97碰在线| 五月天婷婷色| 开心五月天激情网| 91.www综合| 婷婷94s| 婷婷va| 色丁香婷婷| 婷婷综合色| 欧美狠狠草| 日韩无码人妻一区二区三区综合 | 欧美一级a| 免费操超碰| 黄网在线免费播放| 亚洲色综合| 丁香婷婷精品视频| 桔色成人官方网站| 26uuu另类亚洲欧美日本一| 狠狠草狠狠草| 日本欧美在线| 五月天婷婷激情| 五月天婷婷青青草| 特级操b片| 五月丁香A片| 婷婷五月天99| 五月婷婷中文字幕AV| 久99视频在线观看| 美国色五月天婷婷资源站| 日本五月天激情| 97操操| AV在线不卡播放| 日日噜噜久久婷婷五月天| 亚洲AV免费在线| www·五月天| 色色色在线观看| 亚洲精品亚洲人成人网| 激情网五月天| 另类亚洲电影| 色色五月婷婷| 五月丁香色狠狠干大屄| 五月丁香婷婷爱| 亚洲妇女熟BBW| 91久久国产综合久久| 婷婷五月色| 艾小青av| 久久精品婷婷| 久久九九激情五月天| 9l视频自拍9l视频自拍九色学生| 日本美女上人| 久久这里只有精品16| 色九九九九| 欧美性做爰大片免费看办公室 | 丁香午月AV中文字幕| 丁香婷在线| 99在线精品视频| 欧美成人AAA片一区国产精品| 日本三日本三级少妇三级66| 熟女色专区| 日本超碰在线| 另类视频丁香五月| 综合五月天| 九月色婷婷| 久久免费干| 激情婷婷五月天网址| 欧美性色视频| 99热 日韩| 成人在线日韩| 99热| www,setingting| 九月色婷婷| 亚洲国产99| 极品人妻VIDEOSSS人妻 | 日韩无码人妻一区二区三区综合 | 先锋资源996| 影音先锋色婷婷| 色婷婷狠狠18yy| 婷婷激情五月天网站| 综合XX网| 黄色录像网点| 色婷婷黄色网络| 六月色婷婷| 在线超碰免费| 情五月亚洲婷婷| 久久综合五月天| 婷婷色五月开心五月| 五月婷婷六月丁香色| 婷婷成人基地| 91操人| 97香蕉碰碰人妻国产欧美| 9在线9在线婷婷在线国产| 成人VAV视频在线观看| 五月人妻婷婷| 婷婷综合五月天| 九九热99免费视频| 丁香五月在线播放| 日本丰满久久| 99.色| 8090在线影视少妇| 美女亚洲五月丁香| 婷婷成人五月天成人文学| 91丨九色丨熟女丰满| www.婷婷,com| www激情网站| 色欧洲| 丁香九月婷婷综合| 日韩综合久| 夜夜夜夜撸夜夜操| 丁香五月婷婷影视先锋| 91久久婷婷人人澡草| 九八Av| 五月丁香婷婷伊人| 国产91资源在线| 青青草蜜臀| 成人无码精品1区2区3区免费看| 国产色丁香| 亚洲九九视频| 琪琪理论片| 91久久99久久91熟女精品| 日本妈妈乱| 久操福利| 色婷婷av在线| 五月丁香成人网| 国产一级片| 日韩一级片| 五月天激日本色情在线| SESE无码AV| 九月丁香婷婷网| 丁香五月综合网亚洲综合欧美狠狠| 亚洲网站观看视频| 久久综合天天综合| 亚洲一二三网| 婷婷五月天精品| 99色视| 五月丁香六月婷婷久久肏| 日韩黄色AV无码| 婷婷色综合| 99日韩| 色99视频| VA婷婷亚洲| 天天肏视奸| 天天爱天天吃狠天天透| 久久99激情| 啊v视频在线观看| 99在线观看视频免费| 国产成人+综合亚洲+天堂| 婷婷五月天va| httpwww色com日本| 日韩aaa| 亲子乱AV一区二区三区下载| 五月天综合| 激情小说之五月| WWW·色色色·COM| 久99热| xfplayav在线| 综合日本婷婷| 五月婷婷啪啪啪| 包操45分钟网站| 五月天婷婷无码| 丁香六月婷| 99这里精品| 成人无码精品1区2区3区免费看| 色丁香六月| 非洲一级AV| 亚洲午夜电影| 国产乱轮一区二区三区| 五月婷婷婷| 亚洲综合99| 久久久99精品免费观看| 九热视频| 成人网站在线观看视频| 色婷婷在线电影| 久久九九国产精品怡红院| 国产五月丁香在线| 婷婷丁香六月天激情四射网| a在线观看| 26UUU精品一区二区c〇m| 久久久久婷| 天天插天天干| 五月六月婷婷| 婷婷五月天成人网| AV网址大全在| 狠狠操狠狠操| 日本五月天婷婷丁香| 天天做天天爱天天搞| a级毛片一区二区免费视频| 欧美人人操| 婷婷五月久久| 色99在线视频| 婷婷五月欧美| 色色色99| 九艹在线| 深爱激情网噜噜色| 四虎成人精品永久免费AV九九| 91精品久久久久久久久久| 亚洲av综合网| 婷婷五月天资源| 丁香五月六月久久综合| 一区二区传媒视频| 久久婷婷五月天| 99热亚洲| 骚货艹网站视频| 久久婷婷五月综合97色一本| 日本乱论99| 日比网免费国产| 婷婷五月天av| 99这里只有| 婷婷99丁香| 日本不卡高字幕在线2019| 激情五月天色网站| 婷婷五月天,影院| 性一交一乱一交A片久久四色| 五月天婷婷激情四射综合| www.zbzhongsen.com| 亚洲国产成人综合| 五月丁香无码视频| 婷婷丁香六月影视| 色婷婷在线播放| 综合网网欲色| www.丁香六月婷婷久久天堂影院.con| 欧美激情综合色综合啪啪五月| 开心婷婷中文字幕| Www.狠狠| 色色婷婷综合网| 亚洲日本激情| 97干欧美| 超级97碰碰| 久久综合26p| 熟妇人妻中文字幕无码老熟妇| 激情文学久久| 日韩久久色| 婷婷色导航| 色综合激情| 六月色国内综合| 丁香婷停五月激情综合深爱| 婷婷伊人久久| 91|九色|动漫| 日韩日比视频| 丁香五月WWW| 久草五月婷| 在线一起草av| 天天色综网| 欧美槡BBBB槡BBB少妇| 色五月婷婷综合| 91黄址| 色导航色婷婷五月天在线观看| 绿色小导航AV| 超碰人人妻| 婷婷中文综合网| 九九在线91| 亚洲人操亚洲人| 91在线人| 91干99| 久婷婷视平| 97色五月婷婷在线| 日韩性爱AV| 中文成人在线| 成人做爰高潮A片免费视频| 丁香网五月天| 国产视频色色色色色色色| 欧美丰满熟妇BBB久久久| 丰满人妻一区二区三区| 欧美日韩成人| 高清一区二区三区日本久| 亚洲无码99| 久久思思热| 精国产品一区二区三区A片 | 五月天激情图片| 激情五月天综合网| www.久久久.com| 日本片日本片祼观看网站在线看中文版网页在线看 | 国产精品成人AV在线| 亚洲a色| 丁香色婷婷| 99精品在线观看| 婷婷成人基地| 日本综合九九| 91刘玥视频在线观看| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 色婷精品91| 五月丁香激情综合啪| 狠狠五月丁香色婷| 国产高清RV综合aVa| 亚洲国产精品成人va在线观看| 色色亚卅| 婷婷综合一二三| 超碰操网| 亚洲日韩乱码一区二区三区四区| 激情五月天视频| AA片在线观看视频在线播放| 91色欲综合| 97丁香五月| 热的国产,热的综合,热的有码 | 六月婷婷九月丁香亚洲综合| 婷婷亚洲综合| 精品激情| 国自产拍偷拍精品啪啪一区二区| 婷婷丁香熟女| 操操熟女| ww亚洲ww在线观看| 亚洲中文丁香| 开心五月婷婷99| 色五月激情网| 六月婷婷五月天| 影音先锋男人女人| 欧美婷婷精品激| 噜噜噜狠狠色综| 91婷婷在线| WWW、日本色丁香、co m| 色色色.COM| 久久XX| 玖玖爱伊人网| 操碰99| 婷婷久久夜| 91九色中文字幕女在线观看| 婷婷五月色| 国内熟女黄色系列| 色婷婷综合久久久久| 五月亚洲激情| 99色| 亚洲激情久久| 91色色色视频| 久色网| 五月婷婷丁香在线视频| 丁香五月影视| 鲁鲁色五月| 日韩精品成人在线| 天天狠狠插| 五月天色五月| 狠狠狠狠狠| 色五月97| 丁香桃色综合网| 婷婷亚洲综合| www.五月天| 91人人操.COM| 五月色丁香激情| 尔尔AV一区| 激情综合另类| 丁香五月大片| 婷婷五月综合社区| 婷婷色色综合| 九九精品网站| 天天日人人爽| 五月天六月色| 久久在线视频免费观看| 大香蕉综合在线| 婷婷欧美激情| 婷婷五月成人| 九九热大香蕉| 婷婷丁香色情五月天| 亚洲精品亚洲人成人网| 久久大香蕉同僚| 色五月丁香六月婷婷| 少妇人妻人伦A片| 99热69| 色区域网站视频| 五月激情综合网| 天堂综合久| 伊人9999| 久久精品一区二区三区四区| 久9视频| 久99久在线观看| 久久受www免费人成| 色五月婷婷五月久久| 久久伊人大香蕉| www.99久久久久99| 天天久久综合| 丁香五月天堂| 一区二区成人电影| 九热视频| co超碰在线观看| 丁香五月激情啪啪| 丁香五月婷婷亚洲色图| 97在线天堂| 婷婷六月色播| 久久久国产精品黄毛片| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 免费婷婷| 五月间天堂综合| 26uuu另类亚洲欧美日本一| 99精品偷自拍| 欧日美女Va| 综合久| 99热九九这里只有精品| 婷婷五月av| 激情九色| 激情九色| 伊人色五月| 玖玖热视频| 五月九九综合| 17.c黄色| 97干在线视频精品店| 亚洲男人的天堂婷婷色五月| 欧美操人| 五月婷婷成人w| 国产精品美女久久久久AV超清| aaaaa黄色| 91人人操人人| 色丁香久久| 亚洲另类电影| www.婷婷五月天,com| 91久久久久久久| 欧美久久婷婷| 97啪啪| 国产亚洲色婷婷久久99精品91| 亚洲日日操| 日韩肏屄网| 99视频只有精品| 1区2区视频| 九九aV| 久久久久久欧美精品se一二三四| 婷婷五月天成人网| 五月天另类图片区99| 激情久久丁香| 五月丁香啪啪综合网| 国产 亚洲 在线| 日本色色图| www99热| 五月婷婷丁香大陆免费| 亚洲AV影片在线观看| 久久人妻高清中文| www色哟哟| 天天做天天爱天天爽综合网| 超碰男人色| 99riAV国产精品视频| 色大综合| 亚洲激情综| 久九色| 天天爽天天干| 色丁香综合影院| 小香蕉av| 99热在线观看精品免费| 丁香六月| 成人网址在线观看| 人人舔人人色人人高潮| 666555。COm毛片| 丁香五月a| 久久天堂婷婷五月| 人妻无码精品一区| 青青草搞屄视频网站| 九九丁香社区欧美激情| 五月丁香激情综合网| 色综合色五月| 国产性爱在线| 五月成人网站| 99ri在线视频| 亚洲精品白浆高清久久久久久| 午夜激情五月天| 性热视频99精品| 另类小说五月天| 啪啪六月婷婷| 99大香蕉| 操碰色一区就去操| 日婷婷| 丁香五月综合高清在线| 亚洲妇女熟BBW| 性爱视频久久| 婷婷色播婷婷| 91久久久久久久久久18| 综合99视频| 日韩一66精品| 啪色综合|