戰(zhàn)：用Jpcap解析網(wǎng)絡(luò)數(shù)據(jù)包與HTTP流量統(tǒng)計(jì))
寫(xiě)Java寫(xiě)過(guò)一陣子的人多少都會(huì)遇到一個(gè)尷尬時(shí)刻代碼調(diào)得沒(méi)問(wèn)題但網(wǎng)絡(luò)請(qǐng)求就是不對(duì)懷疑數(shù)據(jù)發(fā)錯(cuò)了、端口不對(duì)、報(bào)文沒(méi)出來(lái)可手里沒(méi)有趁手的工具。Wireshark能抓包可那玩意主要是給人交互分析的沒(méi)法直接集成到你自己的Java服務(wù)里。我之前接了一個(gè)校園網(wǎng)設(shè)備在線監(jiān)測(cè)的小工具需求是要實(shí)時(shí)看局域網(wǎng)內(nèi)哪些終端在向外發(fā)請(qǐng)求、訪問(wèn)了哪些域名當(dāng)時(shí)第一反應(yīng)就是抓包分析但Wireshark把包抓下來(lái)還得人工看根本沒(méi)法跟后臺(tái)系統(tǒng)對(duì)接。后來(lái)翻了一圈發(fā)現(xiàn)Java生態(tài)里做抓包用得最多的就是Jpcap。這庫(kù)確實(shí)有些年頭了但勝在夠簡(jiǎn)單、夠直接底層通過(guò)JNI調(diào)用libpcap/WinPcap上層直接給你封裝好的TCPPacket、UDPPacket、ARPPacket對(duì)象你不用手寫(xiě)二進(jìn)制報(bào)文解析拿包就能讀端口、讀IP、讀Host。這篇教程就是我一整周踩坑的經(jīng)驗(yàn)匯總從環(huán)境搭建、網(wǎng)卡選擇到過(guò)濾規(guī)則、數(shù)據(jù)包解剖最后帶一個(gè)完整的HTTP Host統(tǒng)計(jì)器適合第一次接觸網(wǎng)絡(luò)抓包、想在Java程序里直接分析流量的開(kāi)發(fā)者。內(nèi)容會(huì)比較長(zhǎng)建議先收藏再照著敲。1. Java抓包為什么我會(huì)選Jpcap先把方案看明白1.1 Jpcap在技術(shù)棧里的位置計(jì)算機(jī)流量本質(zhì)上是網(wǎng)卡上流過(guò)的一串字節(jié)要拿到這串字節(jié)操作系統(tǒng)層面得提供抓包能力。Unix-like系統(tǒng)普遍支持libpcapWindows老牌方案是WinPcap后來(lái)Npcap接棒。但這些庫(kù)都是C寫(xiě)的Java程序沒(méi)法直接調(diào)用必須有一層JNI橋接。Jpcap就是那個(gè)橋。它在Java側(cè)暴露出JpcapCaptor、JpcapSender、NetworkInterface、Packet這些類底層把libpcap/WinPcap的能力包了起來(lái)。你寫(xiě)Java代碼時(shí)根本不用碰C只需要調(diào)用JpcapCaptor.getDeviceList()拿到網(wǎng)卡列表用openDevice打開(kāi)某張網(wǎng)卡設(shè)置過(guò)濾條件在回調(diào)里接收Packet對(duì)象用instanceof判斷是TCP還是UDP直接讀字段也就是說(shuō)Jpcap幫我們把“從網(wǎng)卡上扒原始字節(jié)”和“按協(xié)議棧解析字節(jié)”這兩件事都做了你拿到手的是已經(jīng)按協(xié)議分好類的Java對(duì)象。對(duì)于教學(xué)、快速原型、中小流量的業(yè)務(wù)工具來(lái)說(shuō)這層封裝非常值。1.2 和Wireshark、tcpdump的定位差異很多人一聽(tīng)說(shuō)抓包就想到Wireshark但Wireshark解決的是“人工分析”問(wèn)題它不適合你寫(xiě)一段程序然后每天凌晨自動(dòng)抓一段流量做統(tǒng)計(jì)。tcpdump適合命令行操作但你要把它嵌入到Java業(yè)務(wù)代碼里靠ProcessBuilder起子進(jìn)程然后再去解析文本輸出又繞又脆報(bào)文里一個(gè)轉(zhuǎn)義字符就能把解析搞崩。Jpcap的正確使用場(chǎng)景是抓包邏輯是你自己程序的一部分。比如我在那個(gè)校園網(wǎng)工具里就是啟動(dòng)一個(gè)后臺(tái)線程loopPacket持續(xù)抓包按目標(biāo)域名做計(jì)數(shù)再把結(jié)果寫(xiě)進(jìn)數(shù)據(jù)庫(kù)展示。這類需求用Wireshark根本沒(méi)法自動(dòng)完成用tcpdump又要來(lái)回傳數(shù)據(jù)用Jpcap則一切都在JVM里閉環(huán)。1.3 同類庫(kù)對(duì)比為什么教學(xué)首選它Java抓包庫(kù)還有JNetPcap、Pcap4J等。Pcap4J確實(shí)更新、支持更多新特性但它的抽象層次更底層寫(xiě)起來(lái)要關(guān)心很多pcap細(xì)節(jié)對(duì)新手并不友好。JNetPcap功能強(qiáng)但API復(fù)雜中文資料也少。Jpcap最大的優(yōu)勢(shì)是核心類很少全庫(kù)加起來(lái)幾十個(gè)類而已用到的就那幾個(gè)。對(duì)第一次接觸抓包的人來(lái)說(shuō)心智負(fù)擔(dān)小一個(gè)下午就能跑通。網(wǎng)上相關(guān)例子非常多出了問(wèn)題也好搜。等你會(huì)了Jpcap再去玩Pcap4J理解成本會(huì)低很多。2. 環(huán)境搭建是最容易翻車(chē)的環(huán)節(jié)驅(qū)動(dòng)、dll、JDK版本逐項(xiàng)說(shuō)很多新手抓包代碼明明照著抄的一運(yùn)行就報(bào)UnsatisfiedLinkError問(wèn)題基本都出在環(huán)境這一層。這一節(jié)把Windows環(huán)境下的搭建順序完整走一遍。2.1 裝驅(qū)動(dòng)WinPcap還是NpcapJpcap底層依賴pcap接口Windows裝機(jī)必須裝一個(gè)抓包驅(qū)動(dòng)。老教程都讓你裝WinPcap 4.1.3但WinPcap已經(jīng)停止維護(hù)很多年新系統(tǒng)上可能出現(xiàn)兼容問(wèn)題?，F(xiàn)在更推薦裝Npcap但有一個(gè)關(guān)鍵選項(xiàng)安裝到最后一步時(shí)一定要勾選“Install Npcap in WinPcap API-compatible Mode”。Jpcap是通過(guò)WinPcap API去調(diào)用底層驅(qū)動(dòng)的不勾這個(gè)兼容模式它可能根本找不到設(shè)備getDeviceList()返回空數(shù)組。這個(gè)坑我第一次裝的時(shí)候就踩了排查了半天最后發(fā)現(xiàn)是安裝選項(xiàng)的問(wèn)題。裝完之后可以在命令行確認(rèn)驅(qū)動(dòng)狀態(tài)如果能看到網(wǎng)絡(luò)接口信息說(shuō)明底層抓包能力已經(jīng)就緒。2.2 拿到j(luò)pcap.jar和jpcap.dll這兩個(gè)文件驅(qū)動(dòng)搞定后需要準(zhǔn)備兩個(gè)東西Java代碼編譯運(yùn)行要用的jpcap.jar以及JVM加載native方法時(shí)要用的jpcap.dll。網(wǎng)上能下載到官方發(fā)布的壓縮包里面通常包含jpcap.jar、jpcap.dll、示例代碼和文檔。注意版本號(hào)不用刻意追新老版本配合老驅(qū)動(dòng)反而更穩(wěn)。下載后先解壓到一個(gè)固定目錄我習(xí)慣放在D:\lib\jpcap\下面后面配置和排查都方便。2.3 jpcap.dll加載的三種姿勢(shì)以及JDK版本的大坑Java代碼里想加載native動(dòng)態(tài)庫(kù)可以用System.loadLibrary(jpcap)它會(huì)按java.library.path去搜索jpcap.dll。也可以直接用絕對(duì)路徑加載System.load(D:/lib/jpcap/jpcap.dll);這兩種寫(xiě)法都行但實(shí)際用起來(lái)差別很大姿勢(shì)一把jpcap.dll復(fù)制到JAVA_HOME/jre/bin目錄下。JDK 8及以前可以這么干JDK 9之后默認(rèn)沒(méi)有獨(dú)立的jre目錄了這個(gè)姿勢(shì)就廢了。姿勢(shì)二用System.load(完整路徑)。我推薦這種方式路徑寫(xiě)在你自己的配置里換機(jī)器改一下配置就行不污染JDK目錄。姿勢(shì)三啟動(dòng)參數(shù)加-Djava.library.pathD:/lib/jpcap然后代碼里System.loadLibrary(jpcap)。這種方式也靈活但要注意java.library.path如果沒(méi)設(shè)置好會(huì)覆蓋默認(rèn)搜索路徑反而影響其他native庫(kù)加載。還有一個(gè)大坑Jpcap官方發(fā)布的dll是老古董很多是32位的。如果你本機(jī)裝的是64位JDK加載32位dll會(huì)直接報(bào)錯(cuò)提示native library版本不匹配。穩(wěn)妥的做法是學(xué)習(xí)階段用32位JDK配合官方包全部按32位環(huán)境跑這樣最省心。如果你非要用64位JDK就得自己找第三方編譯的64位dll或者自己編譯Jpcap源碼難度直線上升新手不建議在這個(gè)階段搞。2.4 環(huán)境是否就緒一個(gè)10行的自檢程序配置完之后建議先跑一個(gè)最小驗(yàn)證別急著寫(xiě)抓包邏輯import jpcap.JpcapCaptor; import jpcap.NetworkInterface; public class JpcapEnvCheck { public static void main(String[] args) { try { System.load(D:/lib/jpcap/jpcap.dll); } catch (UnsatisfiedLinkError e) { System.out.println(dll路徑不對(duì)或位數(shù)不匹配: e.getMessage()); return; } NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(發(fā)現(xiàn)網(wǎng)卡數(shù)量: devices.length); for (NetworkInterface nif : devices) { System.out.println(名稱: nif.name , 描述: nif.description); } } }如果能看到網(wǎng)卡數(shù)量大于0環(huán)境就通了。如果卡在第一步的異常上優(yōu)先檢查dll路徑和位數(shù)。3. 抓包前先搞清網(wǎng)卡NetworkInterface到底能告訴你什么許多初學(xué)者上來(lái)就抓包結(jié)果抓到一堆莫名其妙的流量或者干脆抓不到原因就是沒(méi)選對(duì)網(wǎng)卡。Jpcap把本機(jī)網(wǎng)卡抽象成NetworkInterface對(duì)象里面信息不少先看懂它再動(dòng)手。3.1 一張網(wǎng)卡對(duì)象里有什么NetworkInterface的關(guān)鍵字段有name底層設(shè)備名Windows下通常類似\Device\NPF_{一段GUID}Linux下是eth0、ens33之類的。description驅(qū)動(dòng)給的描述文案能看出是無(wú)線還是有線。mac_address網(wǎng)卡MAC地址就是一個(gè)byte數(shù)組打印時(shí)需要自己轉(zhuǎn)十六進(jìn)制。addresses這個(gè)網(wǎng)卡上綁定的IP地址列表元素是NetworkInterfaceAddress對(duì)象。NetworkInterfaceAddress對(duì)象里包含addressIP地址、broadcast廣播地址、subnet子網(wǎng)掩碼三部分。注意一張網(wǎng)卡可能綁定多個(gè)IP遍歷時(shí)要全部看一遍。3.2 遍歷網(wǎng)卡并打印信息的完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; public class ListDevices { public static void main(String[] args) { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(本機(jī)網(wǎng)卡數(shù)量: devices.length); for (int i 0; i devices.length; i) { NetworkInterface nif devices[i]; System.out.println(索引: i); System.out.println( 名稱: nif.name); System.out.println( 描述: nif.description); System.out.println( MAC: bytesToHex(nif.mac_address)); for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null) { System.out.println( IP: addr.address.getHostAddress() 廣播: (addr.broadcast null ? 無(wú) : addr.broadcast.getHostAddress()) 掩碼: (addr.subnet null ? 無(wú) : addr.subnet.getHostAddress())); } } } } private static String bytesToHex(byte[] bytes) { if (bytes null) { return 未知; } StringBuilder sb new StringBuilder(); for (byte b : bytes) { sb.append(String.format(%02X, b)); if (sb.length() bytes.length * 3 - 1) { sb.append(:); } } return sb.toString(); } }實(shí)際輸出會(huì)類似這樣本機(jī)網(wǎng)卡數(shù)量: 3 索引: 0 名稱: \Device\NPF_{...} 描述: 有線網(wǎng)卡設(shè)備 MAC: AA:BB:CC:DD:EE:FF IP: 192.168.1.101 廣播: 192.168.1.255 掩碼: 255.255.255.0在多網(wǎng)卡機(jī)器上這個(gè)列表尤其重要因?yàn)閂Box虛擬網(wǎng)卡、Docker虛擬網(wǎng)卡、藍(lán)牙網(wǎng)卡都會(huì)占一個(gè)索引抓錯(cuò)網(wǎng)卡要么什么都抓不到要么抓到一堆虛擬化流量。3.3 代碼里自動(dòng)選擇網(wǎng)卡的正確姿勢(shì)人工看索引可以但程序里不可能每次啟動(dòng)都讓你手輸。我常用的選擇思路是按IP前綴匹配比如只關(guān)心192.168.x.x內(nèi)網(wǎng)流量就遍歷網(wǎng)卡找第一個(gè)攜帶這個(gè)網(wǎng)段IP的設(shè)備。NetworkInterface target null; for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { target nif; break; } } if (target ! null) { break; } } if (target null) { System.out.println(沒(méi)找到內(nèi)網(wǎng)網(wǎng)卡); return; }這個(gè)邏輯很土但很實(shí)用。真在云服務(wù)器上跑的時(shí)候網(wǎng)卡可能是內(nèi)網(wǎng)地址也可能是公網(wǎng)直通你需要根據(jù)實(shí)際環(huán)境改成匹配規(guī)則但思路是一致的別讓用戶切網(wǎng)卡讓代碼自己認(rèn)。4. 打開(kāi)設(shè)備開(kāi)始收包openDevice參數(shù)、三種取包方式、過(guò)濾規(guī)則4.1 openDevice的四個(gè)參數(shù)怎么給選好網(wǎng)卡后下一步就是通過(guò)JpcapCaptor.openDevice打開(kāi)它。方法簽名大概是JpcapCaptor captor JpcapCaptor.openDevice( NetworkInterface intf, // 網(wǎng)卡對(duì)象 int snaplen, // 抓取的最大字節(jié)數(shù) boolean promisc, // 是否混雜模式 int to_ms // 超時(shí)時(shí)間毫秒 );四個(gè)參數(shù)里最需要注意的是snaplen和promisc。snaplen是“快照長(zhǎng)度”意思是每個(gè)包最多抓前多少字節(jié)。如果不關(guān)心應(yīng)用層載荷只要TCP/IP頭抓個(gè)前64字節(jié)就夠了效率高。但如果要解析HTTP Host就得抓全包我一般直接給65535這是以太網(wǎng)MTU加協(xié)議頭后的常見(jiàn)上限基本能保證一個(gè)包完整拿下來(lái)。promisc是混雜模式true表示網(wǎng)卡會(huì)接收所有經(jīng)過(guò)它的包而不僅僅發(fā)給本機(jī)的包。讀取真正的流量時(shí)開(kāi)true才能看到局域網(wǎng)內(nèi)其他終端的包只分析本機(jī)自己訪問(wèn)外網(wǎng)的流量開(kāi)不開(kāi)都行但為了通用性我還是習(xí)慣開(kāi)true。to_ms是超時(shí)時(shí)間單位毫秒。這個(gè)值太小可能導(dǎo)致抓包函數(shù)頻繁返回太大會(huì)讓程序響應(yīng)遲鈍。我常用50到100兼顧實(shí)時(shí)性和CPU占用。4.2 用processPacket抓指定數(shù)量的包最簡(jiǎn)單的一次性抓包是用processPacket傳入數(shù)量和一個(gè)回調(diào)接口Jpcap收到指定數(shù)量的包后自動(dòng)停止JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(tcp and dst port 80, true); captor.processPacket(10, packet - { System.out.println(抓到第 count.incrementAndGet() 個(gè)包類名: packet.getClass().getName()); }); captor.close();注意這里的回調(diào)是PacketReceiver接口寫(xiě)成lambda完全沒(méi)問(wèn)題。processPacket是阻塞方法在它返回之前只會(huì)回調(diào)你傳進(jìn)來(lái)的次數(shù)上限個(gè)包。適合做“抓幾個(gè)看看”的驗(yàn)證場(chǎng)景。4.3 用loopPacket持續(xù)抓包但如果要做監(jiān)控工具processPacket顯然不夠你必須讓程序一直掛著收包。這時(shí)用loopPacket傳-1表示無(wú)限循環(huán)JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(udp port 53, true); captor.loopPacket(-1, packet - { // 每收到一個(gè)包都會(huì)走到這里 }); // loopPacket也是阻塞的后面的代碼不會(huì)立即執(zhí)行l(wèi)oopPacket阻塞在當(dāng)前線程里所以一般會(huì)單獨(dú)起一個(gè)線程跑主線程負(fù)責(zé)UI、控制臺(tái)輸出或者其他業(yè)務(wù)邏輯。想停止時(shí)調(diào)用captor.close()或者中斷線程具體看你的設(shè)計(jì)方式。4.4 過(guò)濾規(guī)則別亂寫(xiě)B(tài)PF表達(dá)式是效率關(guān)鍵抓包最怕流量太大Java層處理不過(guò)來(lái)。Jpcap底層支持BPF過(guò)濾器也就是setFilter的第一個(gè)參數(shù)用好了能擋掉90%的無(wú)關(guān)流量。常用過(guò)濾器表達(dá)式我列了一個(gè)表需求BPF表達(dá)式只看IP包ip只看TCP包tcp只看UDP的53端口包udp port 53只看訪問(wèn)本機(jī)80端口的TCP包tcp and dst port 80只看與某個(gè)IP有關(guān)聯(lián)的包host 192.168.1.1排除ARP包not arp組合條件tcp and dst port 80 and host 192.168.1.1setFilter的第二個(gè)參數(shù)是optimizebool類型我一般直接傳true讓底層優(yōu)化表達(dá)式。過(guò)濾器是在內(nèi)核驅(qū)動(dòng)層執(zhí)行的不是先抓上來(lái)再丟棄所以能大幅降低用戶態(tài)處理壓力。寫(xiě)監(jiān)控工具時(shí)能過(guò)濾的盡量過(guò)濾別貪多否則后端的packet回調(diào)會(huì)瞬間被刷爆。5. 數(shù)據(jù)包解剖課從IP到端口再到HTTP載荷逐層拆拿到Packet對(duì)象后很多人會(huì)不知所措不知道這個(gè)對(duì)象到底是什么。Jpcap的回調(diào)返回的其實(shí)是一個(gè)已經(jīng)被解析過(guò)的最內(nèi)層協(xié)議對(duì)象不像Wireshark那樣給你一棵完整的協(xié)議樹(shù)。你需要通過(guò)instanceof逐層判斷。5.1 從instanceof開(kāi)始TCP、UDP、ICMP怎么區(qū)分Jpcap的協(xié)議類之間是有繼承關(guān)系的TCPPacket和UDPPacket都繼承自IPPacketIPPacket本身又是一種網(wǎng)絡(luò)層包。所以判斷順序一定要先特殊后通用if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; System.out.println(TCP包: tcp.src_ip.getHostAddress() : tcp.src_port - tcp.dst_ip.getHostAddress() : tcp.dst_port); } else if (packet instanceof UDPPacket) { UDPPacket udp (UDPPacket) packet; System.out.println(UDP包: udp.src_ip.getHostAddress() : udp.src_port - udp.dst_ip.getHostAddress() : udp.dst_port); } else if (packet instanceof ICMPPacket) { ICMPPacket icmp (ICMPPacket) packet; System.out.println(ICMP包: icmp.src_ip.getHostAddress() - icmp.dst_ip.getHostAddress()); } else if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(ARP包: 請(qǐng)求或者應(yīng)答); }TCPPacket和UDPPacket上直接有src_port和dst_port字段類型是int用起來(lái)非常直觀。IP層的ttl、protocol、length這些字段也都掛在IPPacket上不用自己解析二進(jìn)制頭。5.2 以太網(wǎng)幀的問(wèn)題回調(diào)里為什么拿不到MAC地址很多新手會(huì)問(wèn)那源MAC地址、目的MAC地址呢這正是Jpcap一個(gè)容易讓人困惑的地方。回調(diào)返回的已經(jīng)是網(wǎng)絡(luò)層或傳輸層對(duì)象鏈路層的以太網(wǎng)頭被Jpcap內(nèi)部處理掉了不像某些庫(kù)會(huì)把整個(gè)鏈路層對(duì)象包裹在最外層。所以你直接看TCPPacket是拿不到MAC地址的。如果想拿MAC一般有兩個(gè)思路一是抓到ARPPacket里面天然有MAC和IP的映射二是用鏈路層原始數(shù)據(jù)重新自行解析。保姆級(jí)入門(mén)階段我建議先別糾結(jié)MAC先把IP、端口、協(xié)議類型玩明白后面做局域網(wǎng)設(shè)備探測(cè)時(shí)自然會(huì)在ARP里見(jiàn)到MAC。5.3 從TCP載荷里摳出HTTP請(qǐng)求的Host抓包最實(shí)用的場(chǎng)景之一就是看本機(jī)或局域網(wǎng)設(shè)備訪問(wèn)了哪些域名。HTTP請(qǐng)求是明文協(xié)議TCP包里的data字段就是應(yīng)用層載荷我們可以直接按字符串搜。TCPPacket繼承自Packetdata字段就是TCP payload的字節(jié)數(shù)組。完整解析HTTP報(bào)文涉及TCP粘包、分片和亂序但最簡(jiǎn)單的場(chǎng)景——一個(gè)請(qǐng)求剛好落在一個(gè)包里——可以直接這么干if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; // ACK包沒(méi)有載荷 } String payload new String(data, StandardCharsets.UTF_8); if (payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT )) { String[] lines payload.split(\\r?\\n); for (String line : lines) { if (line.toLowerCase().startsWith(host:)) { System.out.println(訪問(wèn)域名: line.substring(5).trim()); } } } }這里有個(gè)經(jīng)驗(yàn)不要用contains去搜“Host:”萬(wàn)一HTTP響應(yīng)頭里也帶了這個(gè)字段會(huì)把響應(yīng)包誤判成請(qǐng)求。我上面的寫(xiě)法先判斷payload是不是以HTTP方法開(kāi)頭再逐行找Host準(zhǔn)確性高很多。5.4 ARP包局域網(wǎng)設(shè)備探測(cè)的基礎(chǔ)局域網(wǎng)內(nèi)要檢測(cè)誰(shuí)在線最常用的手段是發(fā)ARP請(qǐng)求。Jpcap的ARPPacket把ARP協(xié)議的字段直接暴露出來(lái)了if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(操作類型: (arp.operation ARPPacket.ARP_REQUEST ? 請(qǐng)求 : 應(yīng)答)); System.out.println(源IP: arp.getSenderProtocolAddress()); System.out.println(源MAC: arp.getSenderHardwareAddress()); System.out.println(目標(biāo)IP: arp.getTargetProtocolAddress()); System.out.println(目標(biāo)MAC: arp.getTargetHardwareAddress()); }那段打印MAC的代碼我寫(xiě)的是方法形式實(shí)際Jpcap的ARPPacket確實(shí)提供了類似getSenderHardwareAddress這樣的方法也會(huì)用byte數(shù)組存儲(chǔ)打印時(shí)注意轉(zhuǎn)成十六進(jìn)制。ARP能反映局域網(wǎng)里誰(shuí)在互相找誰(shuí)比單純的IP掃描更接近真實(shí)網(wǎng)絡(luò)行為。6. 綜合實(shí)戰(zhàn)寫(xiě)一個(gè)本機(jī)HTTP請(qǐng)求Host統(tǒng)計(jì)器講到這里知識(shí)點(diǎn)已經(jīng)鋪開(kāi)了但很多觀眾反饋“單獨(dú)看都會(huì)合起來(lái)不知道怎么寫(xiě)”。所以我把之前給校園網(wǎng)工具做的簡(jiǎn)化版拿過(guò)來(lái)完整展示一個(gè)能用的小工具統(tǒng)計(jì)本機(jī)所有訪問(wèn)外網(wǎng)的HTTP請(qǐng)求按Host排序輸出。6.1 需求拆解與設(shè)計(jì)思路這個(gè)工具要解決三個(gè)問(wèn)題啟動(dòng)后自動(dòng)選擇內(nèi)網(wǎng)網(wǎng)卡不靠人工輸入索引。持續(xù)抓取TCP請(qǐng)求包從payload里提取Host。每5秒打印一次統(tǒng)計(jì)結(jié)果Host出現(xiàn)次數(shù)越多排越前。關(guān)鍵過(guò)濾條件為什么是tcp and dst port 80因?yàn)镠TTP請(qǐng)求從本機(jī)出去時(shí)目的端口是80而響應(yīng)包回來(lái)時(shí)目的端口是本機(jī)高位端口。只看dst port 80等于只抓請(qǐng)求方向流量這樣既能減少處理量又天然規(guī)避了把響應(yīng)包里的“Host”字段統(tǒng)計(jì)進(jìn)去的問(wèn)題。設(shè)計(jì)過(guò)濾器時(shí)先想清楚方向能省不少事。6.2 完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; import jpcap.packet.TCPPacket; import java.nio.charset.StandardCharsets; import java.util.HashMap; import java.util.Map; public class HttpHostStat { private static final MapString, Integer HOST_COUNT new HashMap(); public static void main(String[] args) throws Exception { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface target findInternalInterface(); if (target null) { System.err.println(未找到內(nèi)網(wǎng)網(wǎng)卡請(qǐng)檢查網(wǎng)卡IP是否為192.168.x.x); return; } JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 100); captor.setFilter(tcp and dst port 80, true); Thread timerThread new Thread(() - { while (true) { try { Thread.sleep(5000); } catch (InterruptedException e) { return; } System.out.println( HTTP Host 統(tǒng)計(jì) Top 10 ); HOST_COUNT.entrySet().stream() .sorted(Map.Entry.String, IntegercomparingByValue().reversed()) .limit(10) .forEach(e - System.out.println(e.getKey() - e.getValue() 次)); } }); timerThread.setDaemon(true); timerThread.start(); captor.loopPacket(-1, packet - { if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; } String payload new String(data, StandardCharsets.UTF_8); if (isHttpRequest(payload)) { String host extractHost(payload); if (host ! null !host.isEmpty()) { HOST_COUNT.merge(host, 1, Integer::sum); } } } }); } private static NetworkInterface findInternalInterface() { for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { return nif; } } } return null; } private static boolean isHttpRequest(String payload) { return payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT ) || payload.startsWith(DELETE ); } private static String extractHost(String payload) { String[] lines payload.split(\\r?\\n); for (String line : lines) { String lower line.toLowerCase(); if (lower.startsWith(host:)) { return line.substring(5).trim(); } } return null; } }這段代碼本身可以直接跑但請(qǐng)注意我寫(xiě)死的dll路徑到你機(jī)器上需要改成你自己的路徑。另外loopPacket是阻塞的所以統(tǒng)計(jì)線程用Daemon方式提前啟動(dòng)避免主線程卡死。6.3 跑起來(lái)后的現(xiàn)象和幾個(gè)值得注意的點(diǎn)運(yùn)行后每5秒會(huì)輸出一次統(tǒng)計(jì)效果類似 HTTP Host 統(tǒng)計(jì) Top 10 www.abc.com - 12 次 api.example.org - 8 次 cdn.news-site.net - 5 次第一個(gè)要注意的點(diǎn)HTTPS流量看不到Host。因?yàn)镠TTP over TLS之后TCP payload里全是密文只有通過(guò)TLS握手時(shí)的SNI擴(kuò)展才能看到域名但那需要額外解析不在本文范圍內(nèi)。所以這個(gè)工具只能統(tǒng)計(jì)明文HTTP站點(diǎn)。第二個(gè)要注意的點(diǎn)如果本機(jī)開(kāi)了代理Host字段可能不是目標(biāo)站點(diǎn)域名而是代理服務(wù)器的域名因?yàn)镠TTP請(qǐng)求里的URL是完整路徑Host寫(xiě)的是代理地址。這在企業(yè)代理環(huán)境下很常見(jiàn)。第三個(gè)要注意的點(diǎn)TCP分段和粘包。如果請(qǐng)求很大一個(gè)包沒(méi)裝完你可能只拿到了HTTP請(qǐng)求頭的一部分Host那一行可能沒(méi)到如果多個(gè)小請(qǐng)求拼在一個(gè)包又可能一個(gè)payload里出現(xiàn)多個(gè)Host行。Jpcap本身不做TCP流重組我上面這段只是教學(xué)級(jí)簡(jiǎn)化實(shí)現(xiàn)。真要做完整的流量分析得自己維護(hù)一個(gè)按四元組區(qū)分的TCP流緩沖區(qū)把亂序和分段數(shù)據(jù)拼起來(lái)再解析。7. 實(shí)戰(zhàn)排錯(cuò)與性能邊界那些坑我替你踩過(guò)了7.1 高頻報(bào)錯(cuò)速查表報(bào)錯(cuò)信息最常見(jiàn)原因解決思路no jpcap in java.library.pathdll沒(méi)有加入加載路徑用System.load絕對(duì)路徑加載或把dll放到JAVA_HOME/jre/binUnsatisfiedLinkError ... 32-bitdll位數(shù)和JDK位數(shù)不匹配統(tǒng)一用32位JDK官方dll或?qū)ふ铱捎玫?4位編譯包getDeviceList返回長(zhǎng)度為0驅(qū)動(dòng)沒(méi)裝好或Npcap沒(méi)勾兼容模式重裝驅(qū)動(dòng)確認(rèn)WinPcap API兼容選項(xiàng)被勾選openDevice拋出NoSuchDevice網(wǎng)卡索引填寫(xiě)不對(duì)或網(wǎng)卡被禁用先跑一遍L(zhǎng)istDevices打印索引再填processPacket回調(diào)里包數(shù)量很少過(guò)濾條件太嚴(yán)格或網(wǎng)卡選錯(cuò)先不過(guò)濾抓幾個(gè)包看網(wǎng)卡是否正確程序內(nèi)存漲得很快回調(diào)里處理太慢包被堆積增強(qiáng)過(guò)濾、降低抓包范圍、簡(jiǎn)化業(yè)務(wù)邏輯7.2 為什么你抓到的包經(jīng)常沒(méi)有應(yīng)用層數(shù)據(jù)這個(gè)問(wèn)題幾乎每個(gè)用Jpcap的人都遇到過(guò)。TCPPacket的data字段為空或者只有幾字節(jié)就以為代碼寫(xiě)錯(cuò)了。其實(shí)這是TCP機(jī)制的正?，F(xiàn)象三次握手里的純ACK包根本沒(méi)有載荷大請(qǐng)求被拆成多個(gè)TCP段你抓到的某個(gè)包可能只包含一段數(shù)據(jù)包在網(wǎng)絡(luò)中亂序到達(dá)也會(huì)出現(xiàn)先抓到的包不完整。所以判斷數(shù)據(jù)完整性的經(jīng)驗(yàn)法則是先過(guò)濾那些data為空或長(zhǎng)度小于20字節(jié)的包再看前幾個(gè)字節(jié)是不是可打印的HTTP方法名。如果一整個(gè)請(qǐng)求頭都不在同一個(gè)包里就得搬出前文說(shuō)的TCP流重組方案那已經(jīng)不是入門(mén)內(nèi)容了。7.3 什么時(shí)候Jpcap該退場(chǎng)我做過(guò)一個(gè)壓力測(cè)試在百兆流量的局域網(wǎng)里用Jpcap連續(xù)抓包回調(diào)里只做統(tǒng)計(jì)不做復(fù)雜解析底層有時(shí)候還會(huì)丟包。用JpcapCaptor的統(tǒng)計(jì)接口能看到已接收包數(shù)和丟包數(shù)差距大的時(shí)候就要警惕了。Jpcap適合的場(chǎng)景是個(gè)人電腦上分析自己的流量、校園網(wǎng)/辦公網(wǎng)里小規(guī)模流量統(tǒng)計(jì)、教學(xué)實(shí)驗(yàn)、協(xié)議學(xué)習(xí)。它不適合做核心交換機(jī)上的全量流量分析也不適合做生產(chǎn)級(jí)安全監(jiān)控。真要上量級(jí)建議去看Pcap4J或者直接用C語(yǔ)言寫(xiě)采集端數(shù)據(jù)先落盤(pán)再分析。工具選型要量力而行這是做抓包項(xiàng)目最重要的一點(diǎn)。7.4 我自己的一個(gè)工作習(xí)慣最后分享一個(gè)讓抓包效率翻倍的習(xí)慣寫(xiě)代碼前先用Wireshark抓一段真實(shí)流量確認(rèn)目標(biāo)端口、協(xié)議特征、Host所在位置然后再寫(xiě)Jpcap的過(guò)濾條件和解析邏輯。不知道為什么很多人會(huì)跳過(guò)人工觀察這一步直接上代碼抓然后又回來(lái)調(diào)半天。先看先想再寫(xiě)能省至少一半時(shí)間。我現(xiàn)在做任何抓包小工具都是這個(gè)流程已經(jīng)成肌肉記憶了。另外抓包分析涉及網(wǎng)絡(luò)隱私練習(xí)時(shí)盡量用自己的流量、自己的設(shè)備別拿這套能力去抓別人網(wǎng)絡(luò)里的數(shù)據(jù)。技術(shù)本身是用來(lái)做事和解決問(wèn)題的這底線得守住。 Java抓包實(shí)戰(zhàn)：用Jpcap解析網(wǎng)絡(luò)數(shù)據(jù)包與HTTP流量統(tǒng)計(jì)
寫(xiě)Java寫(xiě)過(guò)一陣子的人多少都會(huì)遇到一個(gè)尷尬時(shí)刻代碼調(diào)得沒(méi)問(wèn)題但網(wǎng)絡(luò)請(qǐng)求就是不對(duì)懷疑數(shù)據(jù)發(fā)錯(cuò)了、端口不對(duì)、報(bào)文沒(méi)出來(lái)可手里沒(méi)有趁手的工具。Wireshark能抓包可那玩意主要是給人交互分析的沒(méi)法直接集成到你自己的Java服務(wù)里。我之前接了一個(gè)校園網(wǎng)設(shè)備在線監(jiān)測(cè)的小工具需求是要實(shí)時(shí)看局域網(wǎng)內(nèi)哪些終端在向外發(fā)請(qǐng)求、訪問(wèn)了哪些域名當(dāng)時(shí)第一反應(yīng)就是抓包分析但Wireshark把包抓下來(lái)還得人工看根本沒(méi)法跟后臺(tái)系統(tǒng)對(duì)接。后來(lái)翻了一圈發(fā)現(xiàn)Java生態(tài)里做抓包用得最多的就是Jpcap。這庫(kù)確實(shí)有些年頭了但勝在夠簡(jiǎn)單、夠直接底層通過(guò)JNI調(diào)用libpcap/WinPcap上層直接給你封裝好的TCPPacket、UDPPacket、ARPPacket對(duì)象你不用手寫(xiě)二進(jìn)制報(bào)文解析拿包就能讀端口、讀IP、讀Host。這篇教程就是我一整周踩坑的經(jīng)驗(yàn)匯總從環(huán)境搭建、網(wǎng)卡選擇到過(guò)濾規(guī)則、數(shù)據(jù)包解剖最后帶一個(gè)完整的HTTP Host統(tǒng)計(jì)器適合第一次接觸網(wǎng)絡(luò)抓包、想在Java程序里直接分析流量的開(kāi)發(fā)者。內(nèi)容會(huì)比較長(zhǎng)建議先收藏再照著敲。1. Java抓包為什么我會(huì)選Jpcap先把方案看明白1.1 Jpcap在技術(shù)棧里的位置計(jì)算機(jī)流量本質(zhì)上是網(wǎng)卡上流過(guò)的一串字節(jié)要拿到這串字節(jié)操作系統(tǒng)層面得提供抓包能力。Unix-like系統(tǒng)普遍支持libpcapWindows老牌方案是WinPcap后來(lái)Npcap接棒。但這些庫(kù)都是C寫(xiě)的Java程序沒(méi)法直接調(diào)用必須有一層JNI橋接。Jpcap就是那個(gè)橋。它在Java側(cè)暴露出JpcapCaptor、JpcapSender、NetworkInterface、Packet這些類底層把libpcap/WinPcap的能力包了起來(lái)。你寫(xiě)Java代碼時(shí)根本不用碰C只需要調(diào)用JpcapCaptor.getDeviceList()拿到網(wǎng)卡列表用openDevice打開(kāi)某張網(wǎng)卡設(shè)置過(guò)濾條件在回調(diào)里接收Packet對(duì)象用instanceof判斷是TCP還是UDP直接讀字段也就是說(shuō)Jpcap幫我們把“從網(wǎng)卡上扒原始字節(jié)”和“按協(xié)議棧解析字節(jié)”這兩件事都做了你拿到手的是已經(jīng)按協(xié)議分好類的Java對(duì)象。對(duì)于教學(xué)、快速原型、中小流量的業(yè)務(wù)工具來(lái)說(shuō)這層封裝非常值。1.2 和Wireshark、tcpdump的定位差異很多人一聽(tīng)說(shuō)抓包就想到Wireshark但Wireshark解決的是“人工分析”問(wèn)題它不適合你寫(xiě)一段程序然后每天凌晨自動(dòng)抓一段流量做統(tǒng)計(jì)。tcpdump適合命令行操作但你要把它嵌入到Java業(yè)務(wù)代碼里靠ProcessBuilder起子進(jìn)程然后再去解析文本輸出又繞又脆報(bào)文里一個(gè)轉(zhuǎn)義字符就能把解析搞崩。Jpcap的正確使用場(chǎng)景是抓包邏輯是你自己程序的一部分。比如我在那個(gè)校園網(wǎng)工具里就是啟動(dòng)一個(gè)后臺(tái)線程loopPacket持續(xù)抓包按目標(biāo)域名做計(jì)數(shù)再把結(jié)果寫(xiě)進(jìn)數(shù)據(jù)庫(kù)展示。這類需求用Wireshark根本沒(méi)法自動(dòng)完成用tcpdump又要來(lái)回傳數(shù)據(jù)用Jpcap則一切都在JVM里閉環(huán)。1.3 同類庫(kù)對(duì)比為什么教學(xué)首選它Java抓包庫(kù)還有JNetPcap、Pcap4J等。Pcap4J確實(shí)更新、支持更多新特性但它的抽象層次更底層寫(xiě)起來(lái)要關(guān)心很多pcap細(xì)節(jié)對(duì)新手并不友好。JNetPcap功能強(qiáng)但API復(fù)雜中文資料也少。Jpcap最大的優(yōu)勢(shì)是核心類很少全庫(kù)加起來(lái)幾十個(gè)類而已用到的就那幾個(gè)。對(duì)第一次接觸抓包的人來(lái)說(shuō)心智負(fù)擔(dān)小一個(gè)下午就能跑通。網(wǎng)上相關(guān)例子非常多出了問(wèn)題也好搜。等你會(huì)了Jpcap再去玩Pcap4J理解成本會(huì)低很多。2. 環(huán)境搭建是最容易翻車(chē)的環(huán)節(jié)驅(qū)動(dòng)、dll、JDK版本逐項(xiàng)說(shuō)很多新手抓包代碼明明照著抄的一運(yùn)行就報(bào)UnsatisfiedLinkError問(wèn)題基本都出在環(huán)境這一層。這一節(jié)把Windows環(huán)境下的搭建順序完整走一遍。2.1 裝驅(qū)動(dòng)WinPcap還是NpcapJpcap底層依賴pcap接口Windows裝機(jī)必須裝一個(gè)抓包驅(qū)動(dòng)。老教程都讓你裝WinPcap 4.1.3但WinPcap已經(jīng)停止維護(hù)很多年新系統(tǒng)上可能出現(xiàn)兼容問(wèn)題?，F(xiàn)在更推薦裝Npcap但有一個(gè)關(guān)鍵選項(xiàng)安裝到最后一步時(shí)一定要勾選“Install Npcap in WinPcap API-compatible Mode”。Jpcap是通過(guò)WinPcap API去調(diào)用底層驅(qū)動(dòng)的不勾這個(gè)兼容模式它可能根本找不到設(shè)備getDeviceList()返回空數(shù)組。這個(gè)坑我第一次裝的時(shí)候就踩了排查了半天最后發(fā)現(xiàn)是安裝選項(xiàng)的問(wèn)題。裝完之后可以在命令行確認(rèn)驅(qū)動(dòng)狀態(tài)如果能看到網(wǎng)絡(luò)接口信息說(shuō)明底層抓包能力已經(jīng)就緒。2.2 拿到j(luò)pcap.jar和jpcap.dll這兩個(gè)文件驅(qū)動(dòng)搞定后需要準(zhǔn)備兩個(gè)東西Java代碼編譯運(yùn)行要用的jpcap.jar以及JVM加載native方法時(shí)要用的jpcap.dll。網(wǎng)上能下載到官方發(fā)布的壓縮包里面通常包含jpcap.jar、jpcap.dll、示例代碼和文檔。注意版本號(hào)不用刻意追新老版本配合老驅(qū)動(dòng)反而更穩(wěn)。下載后先解壓到一個(gè)固定目錄我習(xí)慣放在D:\lib\jpcap\下面后面配置和排查都方便。2.3 jpcap.dll加載的三種姿勢(shì)以及JDK版本的大坑Java代碼里想加載native動(dòng)態(tài)庫(kù)可以用System.loadLibrary(jpcap)它會(huì)按java.library.path去搜索jpcap.dll。也可以直接用絕對(duì)路徑加載System.load(D:/lib/jpcap/jpcap.dll);這兩種寫(xiě)法都行但實(shí)際用起來(lái)差別很大姿勢(shì)一把jpcap.dll復(fù)制到JAVA_HOME/jre/bin目錄下。JDK 8及以前可以這么干JDK 9之后默認(rèn)沒(méi)有獨(dú)立的jre目錄了這個(gè)姿勢(shì)就廢了。姿勢(shì)二用System.load(完整路徑)。我推薦這種方式路徑寫(xiě)在你自己的配置里換機(jī)器改一下配置就行不污染JDK目錄。姿勢(shì)三啟動(dòng)參數(shù)加-Djava.library.pathD:/lib/jpcap然后代碼里System.loadLibrary(jpcap)。這種方式也靈活但要注意java.library.path如果沒(méi)設(shè)置好會(huì)覆蓋默認(rèn)搜索路徑反而影響其他native庫(kù)加載。還有一個(gè)大坑Jpcap官方發(fā)布的dll是老古董很多是32位的。如果你本機(jī)裝的是64位JDK加載32位dll會(huì)直接報(bào)錯(cuò)提示native library版本不匹配。穩(wěn)妥的做法是學(xué)習(xí)階段用32位JDK配合官方包全部按32位環(huán)境跑這樣最省心。如果你非要用64位JDK就得自己找第三方編譯的64位dll或者自己編譯Jpcap源碼難度直線上升新手不建議在這個(gè)階段搞。2.4 環(huán)境是否就緒一個(gè)10行的自檢程序配置完之后建議先跑一個(gè)最小驗(yàn)證別急著寫(xiě)抓包邏輯import jpcap.JpcapCaptor; import jpcap.NetworkInterface; public class JpcapEnvCheck { public static void main(String[] args) { try { System.load(D:/lib/jpcap/jpcap.dll); } catch (UnsatisfiedLinkError e) { System.out.println(dll路徑不對(duì)或位數(shù)不匹配: e.getMessage()); return; } NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(發(fā)現(xiàn)網(wǎng)卡數(shù)量: devices.length); for (NetworkInterface nif : devices) { System.out.println(名稱: nif.name , 描述: nif.description); } } }如果能看到網(wǎng)卡數(shù)量大于0環(huán)境就通了。如果卡在第一步的異常上優(yōu)先檢查dll路徑和位數(shù)。3. 抓包前先搞清網(wǎng)卡NetworkInterface到底能告訴你什么許多初學(xué)者上來(lái)就抓包結(jié)果抓到一堆莫名其妙的流量或者干脆抓不到原因就是沒(méi)選對(duì)網(wǎng)卡。Jpcap把本機(jī)網(wǎng)卡抽象成NetworkInterface對(duì)象里面信息不少先看懂它再動(dòng)手。3.1 一張網(wǎng)卡對(duì)象里有什么NetworkInterface的關(guān)鍵字段有name底層設(shè)備名Windows下通常類似\Device\NPF_{一段GUID}Linux下是eth0、ens33之類的。description驅(qū)動(dòng)給的描述文案能看出是無(wú)線還是有線。mac_address網(wǎng)卡MAC地址就是一個(gè)byte數(shù)組打印時(shí)需要自己轉(zhuǎn)十六進(jìn)制。addresses這個(gè)網(wǎng)卡上綁定的IP地址列表元素是NetworkInterfaceAddress對(duì)象。NetworkInterfaceAddress對(duì)象里包含addressIP地址、broadcast廣播地址、subnet子網(wǎng)掩碼三部分。注意一張網(wǎng)卡可能綁定多個(gè)IP遍歷時(shí)要全部看一遍。3.2 遍歷網(wǎng)卡并打印信息的完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; public class ListDevices { public static void main(String[] args) { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(本機(jī)網(wǎng)卡數(shù)量: devices.length); for (int i 0; i devices.length; i) { NetworkInterface nif devices[i]; System.out.println(索引: i); System.out.println( 名稱: nif.name); System.out.println( 描述: nif.description); System.out.println( MAC: bytesToHex(nif.mac_address)); for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null) { System.out.println( IP: addr.address.getHostAddress() 廣播: (addr.broadcast null ? 無(wú) : addr.broadcast.getHostAddress()) 掩碼: (addr.subnet null ? 無(wú) : addr.subnet.getHostAddress())); } } } } private static String bytesToHex(byte[] bytes) { if (bytes null) { return 未知; } StringBuilder sb new StringBuilder(); for (byte b : bytes) { sb.append(String.format(%02X, b)); if (sb.length() bytes.length * 3 - 1) { sb.append(:); } } return sb.toString(); } }實(shí)際輸出會(huì)類似這樣本機(jī)網(wǎng)卡數(shù)量: 3 索引: 0 名稱: \Device\NPF_{...} 描述: 有線網(wǎng)卡設(shè)備 MAC: AA:BB:CC:DD:EE:FF IP: 192.168.1.101 廣播: 192.168.1.255 掩碼: 255.255.255.0在多網(wǎng)卡機(jī)器上這個(gè)列表尤其重要因?yàn)閂Box虛擬網(wǎng)卡、Docker虛擬網(wǎng)卡、藍(lán)牙網(wǎng)卡都會(huì)占一個(gè)索引抓錯(cuò)網(wǎng)卡要么什么都抓不到要么抓到一堆虛擬化流量。3.3 代碼里自動(dòng)選擇網(wǎng)卡的正確姿勢(shì)人工看索引可以但程序里不可能每次啟動(dòng)都讓你手輸。我常用的選擇思路是按IP前綴匹配比如只關(guān)心192.168.x.x內(nèi)網(wǎng)流量就遍歷網(wǎng)卡找第一個(gè)攜帶這個(gè)網(wǎng)段IP的設(shè)備。NetworkInterface target null; for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { target nif; break; } } if (target ! null) { break; } } if (target null) { System.out.println(沒(méi)找到內(nèi)網(wǎng)網(wǎng)卡); return; }這個(gè)邏輯很土但很實(shí)用。真在云服務(wù)器上跑的時(shí)候網(wǎng)卡可能是內(nèi)網(wǎng)地址也可能是公網(wǎng)直通你需要根據(jù)實(shí)際環(huán)境改成匹配規(guī)則但思路是一致的別讓用戶切網(wǎng)卡讓代碼自己認(rèn)。4. 打開(kāi)設(shè)備開(kāi)始收包openDevice參數(shù)、三種取包方式、過(guò)濾規(guī)則4.1 openDevice的四個(gè)參數(shù)怎么給選好網(wǎng)卡后下一步就是通過(guò)JpcapCaptor.openDevice打開(kāi)它。方法簽名大概是JpcapCaptor captor JpcapCaptor.openDevice( NetworkInterface intf, // 網(wǎng)卡對(duì)象 int snaplen, // 抓取的最大字節(jié)數(shù) boolean promisc, // 是否混雜模式 int to_ms // 超時(shí)時(shí)間毫秒 );四個(gè)參數(shù)里最需要注意的是snaplen和promisc。snaplen是“快照長(zhǎng)度”意思是每個(gè)包最多抓前多少字節(jié)。如果不關(guān)心應(yīng)用層載荷只要TCP/IP頭抓個(gè)前64字節(jié)就夠了效率高。但如果要解析HTTP Host就得抓全包我一般直接給65535這是以太網(wǎng)MTU加協(xié)議頭后的常見(jiàn)上限基本能保證一個(gè)包完整拿下來(lái)。promisc是混雜模式true表示網(wǎng)卡會(huì)接收所有經(jīng)過(guò)它的包而不僅僅發(fā)給本機(jī)的包。讀取真正的流量時(shí)開(kāi)true才能看到局域網(wǎng)內(nèi)其他終端的包只分析本機(jī)自己訪問(wèn)外網(wǎng)的流量開(kāi)不開(kāi)都行但為了通用性我還是習(xí)慣開(kāi)true。to_ms是超時(shí)時(shí)間單位毫秒。這個(gè)值太小可能導(dǎo)致抓包函數(shù)頻繁返回太大會(huì)讓程序響應(yīng)遲鈍。我常用50到100兼顧實(shí)時(shí)性和CPU占用。4.2 用processPacket抓指定數(shù)量的包最簡(jiǎn)單的一次性抓包是用processPacket傳入數(shù)量和一個(gè)回調(diào)接口Jpcap收到指定數(shù)量的包后自動(dòng)停止JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(tcp and dst port 80, true); captor.processPacket(10, packet - { System.out.println(抓到第 count.incrementAndGet() 個(gè)包類名: packet.getClass().getName()); }); captor.close();注意這里的回調(diào)是PacketReceiver接口寫(xiě)成lambda完全沒(méi)問(wèn)題。processPacket是阻塞方法在它返回之前只會(huì)回調(diào)你傳進(jìn)來(lái)的次數(shù)上限個(gè)包。適合做“抓幾個(gè)看看”的驗(yàn)證場(chǎng)景。4.3 用loopPacket持續(xù)抓包但如果要做監(jiān)控工具processPacket顯然不夠你必須讓程序一直掛著收包。這時(shí)用loopPacket傳-1表示無(wú)限循環(huán)JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(udp port 53, true); captor.loopPacket(-1, packet - { // 每收到一個(gè)包都會(huì)走到這里 }); // loopPacket也是阻塞的后面的代碼不會(huì)立即執(zhí)行l(wèi)oopPacket阻塞在當(dāng)前線程里所以一般會(huì)單獨(dú)起一個(gè)線程跑主線程負(fù)責(zé)UI、控制臺(tái)輸出或者其他業(yè)務(wù)邏輯。想停止時(shí)調(diào)用captor.close()或者中斷線程具體看你的設(shè)計(jì)方式。4.4 過(guò)濾規(guī)則別亂寫(xiě)B(tài)PF表達(dá)式是效率關(guān)鍵抓包最怕流量太大Java層處理不過(guò)來(lái)。Jpcap底層支持BPF過(guò)濾器也就是setFilter的第一個(gè)參數(shù)用好了能擋掉90%的無(wú)關(guān)流量。常用過(guò)濾器表達(dá)式我列了一個(gè)表需求BPF表達(dá)式只看IP包ip只看TCP包tcp只看UDP的53端口包udp port 53只看訪問(wèn)本機(jī)80端口的TCP包tcp and dst port 80只看與某個(gè)IP有關(guān)聯(lián)的包host 192.168.1.1排除ARP包not arp組合條件tcp and dst port 80 and host 192.168.1.1setFilter的第二個(gè)參數(shù)是optimizebool類型我一般直接傳true讓底層優(yōu)化表達(dá)式。過(guò)濾器是在內(nèi)核驅(qū)動(dòng)層執(zhí)行的不是先抓上來(lái)再丟棄所以能大幅降低用戶態(tài)處理壓力。寫(xiě)監(jiān)控工具時(shí)能過(guò)濾的盡量過(guò)濾別貪多否則后端的packet回調(diào)會(huì)瞬間被刷爆。5. 數(shù)據(jù)包解剖課從IP到端口再到HTTP載荷逐層拆拿到Packet對(duì)象后很多人會(huì)不知所措不知道這個(gè)對(duì)象到底是什么。Jpcap的回調(diào)返回的其實(shí)是一個(gè)已經(jīng)被解析過(guò)的最內(nèi)層協(xié)議對(duì)象不像Wireshark那樣給你一棵完整的協(xié)議樹(shù)。你需要通過(guò)instanceof逐層判斷。5.1 從instanceof開(kāi)始TCP、UDP、ICMP怎么區(qū)分Jpcap的協(xié)議類之間是有繼承關(guān)系的TCPPacket和UDPPacket都繼承自IPPacketIPPacket本身又是一種網(wǎng)絡(luò)層包。所以判斷順序一定要先特殊后通用if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; System.out.println(TCP包: tcp.src_ip.getHostAddress() : tcp.src_port - tcp.dst_ip.getHostAddress() : tcp.dst_port); } else if (packet instanceof UDPPacket) { UDPPacket udp (UDPPacket) packet; System.out.println(UDP包: udp.src_ip.getHostAddress() : udp.src_port - udp.dst_ip.getHostAddress() : udp.dst_port); } else if (packet instanceof ICMPPacket) { ICMPPacket icmp (ICMPPacket) packet; System.out.println(ICMP包: icmp.src_ip.getHostAddress() - icmp.dst_ip.getHostAddress()); } else if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(ARP包: 請(qǐng)求或者應(yīng)答); }TCPPacket和UDPPacket上直接有src_port和dst_port字段類型是int用起來(lái)非常直觀。IP層的ttl、protocol、length這些字段也都掛在IPPacket上不用自己解析二進(jìn)制頭。5.2 以太網(wǎng)幀的問(wèn)題回調(diào)里為什么拿不到MAC地址很多新手會(huì)問(wèn)那源MAC地址、目的MAC地址呢這正是Jpcap一個(gè)容易讓人困惑的地方。回調(diào)返回的已經(jīng)是網(wǎng)絡(luò)層或傳輸層對(duì)象鏈路層的以太網(wǎng)頭被Jpcap內(nèi)部處理掉了不像某些庫(kù)會(huì)把整個(gè)鏈路層對(duì)象包裹在最外層。所以你直接看TCPPacket是拿不到MAC地址的。如果想拿MAC一般有兩個(gè)思路一是抓到ARPPacket里面天然有MAC和IP的映射二是用鏈路層原始數(shù)據(jù)重新自行解析。保姆級(jí)入門(mén)階段我建議先別糾結(jié)MAC先把IP、端口、協(xié)議類型玩明白后面做局域網(wǎng)設(shè)備探測(cè)時(shí)自然會(huì)在ARP里見(jiàn)到MAC。5.3 從TCP載荷里摳出HTTP請(qǐng)求的Host抓包最實(shí)用的場(chǎng)景之一就是看本機(jī)或局域網(wǎng)設(shè)備訪問(wèn)了哪些域名。HTTP請(qǐng)求是明文協(xié)議TCP包里的data字段就是應(yīng)用層載荷我們可以直接按字符串搜。TCPPacket繼承自Packetdata字段就是TCP payload的字節(jié)數(shù)組。完整解析HTTP報(bào)文涉及TCP粘包、分片和亂序但最簡(jiǎn)單的場(chǎng)景——一個(gè)請(qǐng)求剛好落在一個(gè)包里——可以直接這么干if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; // ACK包沒(méi)有載荷 } String payload new String(data, StandardCharsets.UTF_8); if (payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT )) { String[] lines payload.split(\\r?\\n); for (String line : lines) { if (line.toLowerCase().startsWith(host:)) { System.out.println(訪問(wèn)域名: line.substring(5).trim()); } } } }這里有個(gè)經(jīng)驗(yàn)不要用contains去搜“Host:”萬(wàn)一HTTP響應(yīng)頭里也帶了這個(gè)字段會(huì)把響應(yīng)包誤判成請(qǐng)求。我上面的寫(xiě)法先判斷payload是不是以HTTP方法開(kāi)頭再逐行找Host準(zhǔn)確性高很多。5.4 ARP包局域網(wǎng)設(shè)備探測(cè)的基礎(chǔ)局域網(wǎng)內(nèi)要檢測(cè)誰(shuí)在線最常用的手段是發(fā)ARP請(qǐng)求。Jpcap的ARPPacket把ARP協(xié)議的字段直接暴露出來(lái)了if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(操作類型: (arp.operation ARPPacket.ARP_REQUEST ? 請(qǐng)求 : 應(yīng)答)); System.out.println(源IP: arp.getSenderProtocolAddress()); System.out.println(源MAC: arp.getSenderHardwareAddress()); System.out.println(目標(biāo)IP: arp.getTargetProtocolAddress()); System.out.println(目標(biāo)MAC: arp.getTargetHardwareAddress()); }那段打印MAC的代碼我寫(xiě)的是方法形式實(shí)際Jpcap的ARPPacket確實(shí)提供了類似getSenderHardwareAddress這樣的方法也會(huì)用byte數(shù)組存儲(chǔ)打印時(shí)注意轉(zhuǎn)成十六進(jìn)制。ARP能反映局域網(wǎng)里誰(shuí)在互相找誰(shuí)比單純的IP掃描更接近真實(shí)網(wǎng)絡(luò)行為。6. 綜合實(shí)戰(zhàn)寫(xiě)一個(gè)本機(jī)HTTP請(qǐng)求Host統(tǒng)計(jì)器講到這里知識(shí)點(diǎn)已經(jīng)鋪開(kāi)了但很多觀眾反饋“單獨(dú)看都會(huì)合起來(lái)不知道怎么寫(xiě)”。所以我把之前給校園網(wǎng)工具做的簡(jiǎn)化版拿過(guò)來(lái)完整展示一個(gè)能用的小工具統(tǒng)計(jì)本機(jī)所有訪問(wèn)外網(wǎng)的HTTP請(qǐng)求按Host排序輸出。6.1 需求拆解與設(shè)計(jì)思路這個(gè)工具要解決三個(gè)問(wèn)題啟動(dòng)后自動(dòng)選擇內(nèi)網(wǎng)網(wǎng)卡不靠人工輸入索引。持續(xù)抓取TCP請(qǐng)求包從payload里提取Host。每5秒打印一次統(tǒng)計(jì)結(jié)果Host出現(xiàn)次數(shù)越多排越前。關(guān)鍵過(guò)濾條件為什么是tcp and dst port 80因?yàn)镠TTP請(qǐng)求從本機(jī)出去時(shí)目的端口是80而響應(yīng)包回來(lái)時(shí)目的端口是本機(jī)高位端口。只看dst port 80等于只抓請(qǐng)求方向流量這樣既能減少處理量又天然規(guī)避了把響應(yīng)包里的“Host”字段統(tǒng)計(jì)進(jìn)去的問(wèn)題。設(shè)計(jì)過(guò)濾器時(shí)先想清楚方向能省不少事。6.2 完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; import jpcap.packet.TCPPacket; import java.nio.charset.StandardCharsets; import java.util.HashMap; import java.util.Map; public class HttpHostStat { private static final MapString, Integer HOST_COUNT new HashMap(); public static void main(String[] args) throws Exception { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface target findInternalInterface(); if (target null) { System.err.println(未找到內(nèi)網(wǎng)網(wǎng)卡請(qǐng)檢查網(wǎng)卡IP是否為192.168.x.x); return; } JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 100); captor.setFilter(tcp and dst port 80, true); Thread timerThread new Thread(() - { while (true) { try { Thread.sleep(5000); } catch (InterruptedException e) { return; } System.out.println( HTTP Host 統(tǒng)計(jì) Top 10 ); HOST_COUNT.entrySet().stream() .sorted(Map.Entry.String, IntegercomparingByValue().reversed()) .limit(10) .forEach(e - System.out.println(e.getKey() - e.getValue() 次)); } }); timerThread.setDaemon(true); timerThread.start(); captor.loopPacket(-1, packet - { if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; } String payload new String(data, StandardCharsets.UTF_8); if (isHttpRequest(payload)) { String host extractHost(payload); if (host ! null !host.isEmpty()) { HOST_COUNT.merge(host, 1, Integer::sum); } } } }); } private static NetworkInterface findInternalInterface() { for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { return nif; } } } return null; } private static boolean isHttpRequest(String payload) { return payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT ) || payload.startsWith(DELETE ); } private static String extractHost(String payload) { String[] lines payload.split(\\r?\\n); for (String line : lines) { String lower line.toLowerCase(); if (lower.startsWith(host:)) { return line.substring(5).trim(); } } return null; } }這段代碼本身可以直接跑但請(qǐng)注意我寫(xiě)死的dll路徑到你機(jī)器上需要改成你自己的路徑。另外loopPacket是阻塞的所以統(tǒng)計(jì)線程用Daemon方式提前啟動(dòng)避免主線程卡死。6.3 跑起來(lái)后的現(xiàn)象和幾個(gè)值得注意的點(diǎn)運(yùn)行后每5秒會(huì)輸出一次統(tǒng)計(jì)效果類似 HTTP Host 統(tǒng)計(jì) Top 10 www.abc.com - 12 次 api.example.org - 8 次 cdn.news-site.net - 5 次第一個(gè)要注意的點(diǎn)HTTPS流量看不到Host。因?yàn)镠TTP over TLS之后TCP payload里全是密文只有通過(guò)TLS握手時(shí)的SNI擴(kuò)展才能看到域名但那需要額外解析不在本文范圍內(nèi)。所以這個(gè)工具只能統(tǒng)計(jì)明文HTTP站點(diǎn)。第二個(gè)要注意的點(diǎn)如果本機(jī)開(kāi)了代理Host字段可能不是目標(biāo)站點(diǎn)域名而是代理服務(wù)器的域名因?yàn)镠TTP請(qǐng)求里的URL是完整路徑Host寫(xiě)的是代理地址。這在企業(yè)代理環(huán)境下很常見(jiàn)。第三個(gè)要注意的點(diǎn)TCP分段和粘包。如果請(qǐng)求很大一個(gè)包沒(méi)裝完你可能只拿到了HTTP請(qǐng)求頭的一部分Host那一行可能沒(méi)到如果多個(gè)小請(qǐng)求拼在一個(gè)包又可能一個(gè)payload里出現(xiàn)多個(gè)Host行。Jpcap本身不做TCP流重組我上面這段只是教學(xué)級(jí)簡(jiǎn)化實(shí)現(xiàn)。真要做完整的流量分析得自己維護(hù)一個(gè)按四元組區(qū)分的TCP流緩沖區(qū)把亂序和分段數(shù)據(jù)拼起來(lái)再解析。7. 實(shí)戰(zhàn)排錯(cuò)與性能邊界那些坑我替你踩過(guò)了7.1 高頻報(bào)錯(cuò)速查表報(bào)錯(cuò)信息最常見(jiàn)原因解決思路no jpcap in java.library.pathdll沒(méi)有加入加載路徑用System.load絕對(duì)路徑加載或把dll放到JAVA_HOME/jre/binUnsatisfiedLinkError ... 32-bitdll位數(shù)和JDK位數(shù)不匹配統(tǒng)一用32位JDK官方dll或?qū)ふ铱捎玫?4位編譯包getDeviceList返回長(zhǎng)度為0驅(qū)動(dòng)沒(méi)裝好或Npcap沒(méi)勾兼容模式重裝驅(qū)動(dòng)確認(rèn)WinPcap API兼容選項(xiàng)被勾選openDevice拋出NoSuchDevice網(wǎng)卡索引填寫(xiě)不對(duì)或網(wǎng)卡被禁用先跑一遍L(zhǎng)istDevices打印索引再填processPacket回調(diào)里包數(shù)量很少過(guò)濾條件太嚴(yán)格或網(wǎng)卡選錯(cuò)先不過(guò)濾抓幾個(gè)包看網(wǎng)卡是否正確程序內(nèi)存漲得很快回調(diào)里處理太慢包被堆積增強(qiáng)過(guò)濾、降低抓包范圍、簡(jiǎn)化業(yè)務(wù)邏輯7.2 為什么你抓到的包經(jīng)常沒(méi)有應(yīng)用層數(shù)據(jù)這個(gè)問(wèn)題幾乎每個(gè)用Jpcap的人都遇到過(guò)。TCPPacket的data字段為空或者只有幾字節(jié)就以為代碼寫(xiě)錯(cuò)了。其實(shí)這是TCP機(jī)制的正?，F(xiàn)象三次握手里的純ACK包根本沒(méi)有載荷大請(qǐng)求被拆成多個(gè)TCP段你抓到的某個(gè)包可能只包含一段數(shù)據(jù)包在網(wǎng)絡(luò)中亂序到達(dá)也會(huì)出現(xiàn)先抓到的包不完整。所以判斷數(shù)據(jù)完整性的經(jīng)驗(yàn)法則是先過(guò)濾那些data為空或長(zhǎng)度小于20字節(jié)的包再看前幾個(gè)字節(jié)是不是可打印的HTTP方法名。如果一整個(gè)請(qǐng)求頭都不在同一個(gè)包里就得搬出前文說(shuō)的TCP流重組方案那已經(jīng)不是入門(mén)內(nèi)容了。7.3 什么時(shí)候Jpcap該退場(chǎng)我做過(guò)一個(gè)壓力測(cè)試在百兆流量的局域網(wǎng)里用Jpcap連續(xù)抓包回調(diào)里只做統(tǒng)計(jì)不做復(fù)雜解析底層有時(shí)候還會(huì)丟包。用JpcapCaptor的統(tǒng)計(jì)接口能看到已接收包數(shù)和丟包數(shù)差距大的時(shí)候就要警惕了。Jpcap適合的場(chǎng)景是個(gè)人電腦上分析自己的流量、校園網(wǎng)/辦公網(wǎng)里小規(guī)模流量統(tǒng)計(jì)、教學(xué)實(shí)驗(yàn)、協(xié)議學(xué)習(xí)。它不適合做核心交換機(jī)上的全量流量分析也不適合做生產(chǎn)級(jí)安全監(jiān)控。真要上量級(jí)建議去看Pcap4J或者直接用C語(yǔ)言寫(xiě)采集端數(shù)據(jù)先落盤(pán)再分析。工具選型要量力而行這是做抓包項(xiàng)目最重要的一點(diǎn)。7.4 我自己的一個(gè)工作習(xí)慣最后分享一個(gè)讓抓包效率翻倍的習(xí)慣寫(xiě)代碼前先用Wireshark抓一段真實(shí)流量確認(rèn)目標(biāo)端口、協(xié)議特征、Host所在位置然后再寫(xiě)Jpcap的過(guò)濾條件和解析邏輯。不知道為什么很多人會(huì)跳過(guò)人工觀察這一步直接上代碼抓然后又回來(lái)調(diào)半天。先看先想再寫(xiě)能省至少一半時(shí)間。我現(xiàn)在做任何抓包小工具都是這個(gè)流程已經(jīng)成肌肉記憶了。另外抓包分析涉及網(wǎng)絡(luò)隱私練習(xí)時(shí)盡量用自己的流量、自己的設(shè)備別拿這套能力去抓別人網(wǎng)絡(luò)里的數(shù)據(jù)。技術(shù)本身是用來(lái)做事和解決問(wèn)題的這底線得守住。