先理清兩個概念I(lǐng)O多路復(fù)用epoll/select內(nèi)核層面單一線程監(jiān)聽上萬連接解決「多連接多線程」的線程爆炸問題用戶態(tài)線程協(xié)程、輕量級線程如Java虛擬線程、Go goroutine、libco切換邏輯不進(jìn)入操作系統(tǒng)內(nèi)核完全在用戶空間完成上下文切換。二者結(jié)合后形成雙重性能優(yōu)化核心原因分6點(diǎn)一、普通內(nèi)核線程的致命開銷對比襯托優(yōu)勢傳統(tǒng)OS內(nèi)核線程Thread切換流程線程阻塞/時間片耗盡 → 觸發(fā)系統(tǒng)調(diào)用/時鐘中斷CPU切換內(nèi)核態(tài)保存全套硬件寄存器、頁表、PCBOS調(diào)度器選新線程恢復(fù)現(xiàn)場切回用戶態(tài)整個過程涉及用戶態(tài)?內(nèi)核態(tài)切換、PCB內(nèi)存讀寫、CPU緩存失效一次切換微秒級開銷上萬線程頻繁切換CPU直接打滿。而用戶態(tài)線程切換全程不進(jìn)內(nèi)核僅保存少量自定義棧/局部變量無中斷、無系統(tǒng)調(diào)用切換納秒級開銷相差幾十上百倍。二、IO多路復(fù)用天然適配用戶態(tài)線程的調(diào)度模型IO多路復(fù)用的工作模式線程大部分時間阻塞在epoll_wait內(nèi)核阻塞無事件時完全不占用CPU。結(jié)合用戶態(tài)線程后流程多個用戶態(tài)協(xié)程共享同一個OS內(nèi)核線程協(xié)程發(fā)起socket讀寫 → 調(diào)用epoll注冊fd主動讓出執(zhí)行權(quán)內(nèi)核線程阻塞在epoll_wait等待IO就緒內(nèi)核通知有fd就緒喚醒內(nèi)核線程調(diào)度器在用戶態(tài)切換到對應(yīng)協(xié)程處理數(shù)據(jù)。關(guān)鍵所有IO等待交給內(nèi)核epoll線程空閑時直接阻塞在內(nèi)核不會出現(xiàn)協(xié)程空輪詢協(xié)程切換只在有IO事件時發(fā)生切換次數(shù)極少。三、內(nèi)存占用差距巨大能支撐超高并發(fā)連接OS內(nèi)核線程每個線程默認(rèn)分配MB級棧Linux默認(rèn)8MB1萬線程就要占用80GB內(nèi)存機(jī)器直接OOM用戶態(tài)協(xié)程棧按需動態(tài)擴(kuò)容初始僅幾KB上萬協(xié)程內(nèi)存消耗僅幾十MBIO多路復(fù)用負(fù)責(zé)承載海量文件描述符用戶態(tài)線程負(fù)責(zé)輕量執(zhí)行業(yè)務(wù)邏輯二者疊加可以單機(jī)輕松支持十萬、百萬TCP長連接網(wǎng)關(guān)、IM、RPC場景。四、規(guī)避昂貴的「系統(tǒng)調(diào)用上下文切換」雙重?fù)p耗如果只用IO多路復(fù)用、純內(nèi)核線程開發(fā)多業(yè)務(wù)場景下需要創(chuàng)建多個OS線程處理就緒事件IO頻繁時會大量觸發(fā)線程搶占切換。用戶態(tài)線程把調(diào)度邏輯搬到用戶空間IO等待交給epoll一次內(nèi)核阻塞業(yè)務(wù)切換用戶態(tài)完成不觸發(fā)內(nèi)核調(diào)度大幅減少用戶態(tài)/內(nèi)核態(tài)往返次數(shù)CPU緩存命中率更高。五、無鎖調(diào)度并發(fā)處理成本更低內(nèi)核線程之間并發(fā)訪問共享資源必須加互斥鎖鎖競爭會頻繁觸發(fā)內(nèi)核阻塞同一OS線程上的所有用戶態(tài)協(xié)程是串行執(zhí)行不存在多核競爭業(yè)務(wù)代碼可以大幅減少鎖使用只有協(xié)程主動讓出CPUIO阻塞時才切換臨界區(qū)代碼執(zhí)行中途不會被強(qiáng)制搶占規(guī)避大量鎖開銷。六、分層模型各司其職性能最大化組件負(fù)責(zé)工作優(yōu)勢IO多路復(fù)用(epoll)內(nèi)核批量監(jiān)聽海量連接阻塞等待IO事件解決C10K萬連接問題無空輪詢用戶態(tài)線程(協(xié)程)業(yè)務(wù)邏輯執(zhí)行、用戶態(tài)輕量切換極低切換開銷、極小內(nèi)存、無內(nèi)核調(diào)度損耗反面對比兩種差方案只用內(nèi)核線程不用IO多路復(fù)用BIO一連接一線程線程數(shù)量爆炸內(nèi)存切換開銷拉滿并發(fā)上限極低。只用IO多路復(fù)用單線程同步處理Nginx單進(jìn)程模型所有業(yè)務(wù)串行執(zhí)行一旦某個業(yè)務(wù)有CPU密集操作會阻塞全部連接無法利用多核引入用戶態(tài)多協(xié)程后可在單內(nèi)核線程內(nèi)并發(fā)處理多個IO業(yè)務(wù)同時多內(nèi)核線程綁定多核充分利用CPU。一句話總結(jié)IO多路復(fù)用讓大量連接阻塞在內(nèi)核、避免空輪詢用戶態(tài)線程把線程切換放到用戶空間省去內(nèi)核中斷、PCB調(diào)度的巨大開銷二者結(jié)合既支持百萬級并發(fā)連接又擁有極低CPU、內(nèi)存損耗是高性能網(wǎng)絡(luò)服務(wù)的標(biāo)準(zhǔn)方案。