天天在終端里跟文本文件打交道的人一定繞不開這個(gè)場景配置文件里幾十個(gè)IP要換日志文件里某段格式要改或者一組文件里同一個(gè)關(guān)鍵詞要批量替換。手寫編輯器逐個(gè)文件去打那效率太低人也遭罪。這時(shí)候sed替換命令就是最順手的那把刀。我用了十幾年Linux接觸sed到現(xiàn)在最常用的就是它的替換功能。這工具說白了就是專職處理文本的自動(dòng)化流水線你給它輸入文本流它按照你設(shè)好的規(guī)則逐行處理再把結(jié)果輸出。不管是單文件修改、多文件批量處理還是嵌在shell腳本里做數(shù)據(jù)處理它都能頂上去。這篇就圍繞sed替換命令把用法、原理、坑點(diǎn)一次理清楚適合剛開始接觸命令行、被文本處理折磨過的開發(fā)者也適合想提升日常效率的運(yùn)維和數(shù)據(jù)分析朋友。1. 先搞清楚sed到底在干什么很多人用sed時(shí)容易懵就是因?yàn)橹苯颖硡?shù)、抄命令卻不知道它背后是怎么工作的。結(jié)果換個(gè)場景就不會(huì)用了或者遇到意外行為完全摸不著頭腦。1.1 不是文本替換器是流式工廠流水線我第一次接觸sed時(shí)以為它就是一個(gè)按下按鈕就全局替換文本的工具。實(shí)際上它是一臺(tái)流式處理流水線。sed這個(gè)名字的含義就是流編輯器Stream Editor和vim這種交互式編輯器完全不同。它的工作方式可以這樣理解有一條傳送帶文本文件的每一行都是一個(gè)被傳送的物品。sed程序站在傳送帶旁邊把物品一件一件拿下來檢查這一行內(nèi)容是否符合你設(shè)定的條件。如果符合就按照指定操作處理一下比如替換內(nèi)容然后放到輸出傳送帶上如果不符合就直接原樣放行。整條流水線從頭走到尾sed一次處理一行處理完立刻輸出內(nèi)存里永遠(yuǎn)只保留當(dāng)前正在處理的行。這個(gè)機(jī)制解釋了很多現(xiàn)象。比如為什么sed處理大文件很快因?yàn)樗恍枰颜麄€(gè)文件都裝進(jìn)內(nèi)存哪怕是幾個(gè)GB的日志文件也能平穩(wěn)處理。為什么sed默認(rèn)只替換每行的第一個(gè)匹配結(jié)果而不是全部因?yàn)檫@是設(shè)計(jì)者認(rèn)為最常用的需求想要全換加個(gè)g標(biāo)志就行。這些行為不是bug是流式處理設(shè)計(jì)下的必然特征。我打個(gè)比方一臺(tái)流水線機(jī)器上有個(gè)檢測探頭檢查每個(gè)經(jīng)過的零件上有沒有劃痕有就翻新一下然后放行沒有就直接放走。這個(gè)探頭不可能回頭看已經(jīng)走過的零件也不關(guān)心下一個(gè)零件長什么樣它只對(duì)當(dāng)前手上的這個(gè)零件負(fù)責(zé)。sed就是這個(gè)探頭。1.2 什么時(shí)候應(yīng)該用sed什么時(shí)候不該用用熟了之后你會(huì)發(fā)現(xiàn)sed不是銀彈。知道它的邊界能讓工作更高效。適合用sed的場景有這些批量修改多個(gè)文件的同一處內(nèi)容比如把項(xiàng)目里所有配置文件里的IP地址換成新的。在管道命令鏈里充當(dāng)文本處理中間環(huán)節(jié)比如從某個(gè)命令的輸出中提取、清洗需要的信息。對(duì)日志文件做快速格式化或脫敏比如把時(shí)間戳去掉、把敏感ID打碼。需要寫進(jìn)shell腳本里做自動(dòng)化文本處理sed命令輕量、隨處可用不像Perl或Python還需要依賴環(huán)境。不太適合用sed的情況需要跨多行進(jìn)行復(fù)雜邏輯判斷的文本處理。sed雖然支持范圍尋址比如從第10行到第20行之間操作但對(duì)于如果這一行是A那接下來三行忽略直到遇到B才恢復(fù)這種有狀態(tài)邏輯寫起來很痛苦遠(yuǎn)不如awk甚至Python清晰。對(duì)CSV或JSON這類結(jié)構(gòu)化數(shù)據(jù)進(jìn)行解析和提取。CSV要處理引號(hào)轉(zhuǎn)義、字段邊界JSON要處理嵌套層級(jí)這些用專門的工具比如jq、Python的csv模塊會(huì)穩(wěn)妥得多。涉及浮點(diǎn)運(yùn)算、復(fù)雜的數(shù)值變換。sed只認(rèn)文本不做數(shù)學(xué)計(jì)算這種場景交給awk更合理。給新手一個(gè)判斷標(biāo)準(zhǔn)如果你發(fā)現(xiàn)自己為了一個(gè)任務(wù)在sed上憋了超過十分鐘或者寫出來的sed命令長度快要超過半行屏幕了這時(shí)候就該停下來想想awk是不是更合適或者直接用Python寫個(gè)一次性腳本。2. 替換命令的基礎(chǔ)操作與細(xì)節(jié)真正上手首先要把s命令的底子打牢。這個(gè)命令是sed里應(yīng)用最頻繁的值得把每個(gè)細(xì)節(jié)都搞清楚。2.1 最經(jīng)典的s命令從每行第一個(gè)到全部替換s命令的完整結(jié)構(gòu)是sed s/舊內(nèi)容/新內(nèi)容/標(biāo)志。默認(rèn)情況下sed s/舊/新/只會(huì)替換每一行中第一個(gè)匹配到的內(nèi)容。我舉一個(gè)非常容易踩坑的小例子。有一個(gè)文本apple banana apple cherry apple pie執(zhí)行sed s/apple/orange/輸出結(jié)果是orange banana apple cherry orange pie注意第一行第二個(gè)apple沒有變。原因我在前面說過sed逐行處理默認(rèn)處理完第一個(gè)匹配就移動(dòng)到下一行。如果想每一行的所有匹配都換掉加上g標(biāo)志就行sed s/apple/orange/g輸出orange banana orange cherry orange pie這里給一個(gè)參數(shù)速查表標(biāo)志作用使用場景g全局替換一行內(nèi)所有匹配都換最常用幾乎默認(rèn)必加數(shù)字如2只替換每行第指定個(gè)匹配只需要改第二個(gè)出現(xiàn)的舊詞時(shí)p打印處理后的行一般配-n用只想查看被替換的行i忽略大小寫替換時(shí)不區(qū)分大小寫w 文件把替換結(jié)果寫入指定文件需要單獨(dú)保存匹配行組合使用也常見比如sed -n s/error/警告/p這個(gè)命令只打印發(fā)生替換的那幾行在日志文件中快速定位包含關(guān)鍵字的記錄非常好用。2.2 定界符的秘密不止斜杠s命令默認(rèn)用/做定界符但如果你要替換的內(nèi)容本身包含/比如路徑就會(huì)寫得很痛苦。像這樣sed s/\/usr\/local\/bin/\/opt\/bin/g這一堆斜杠轉(zhuǎn)義可讀性極差稍不注意就多寫或者少寫一個(gè)反斜杠。其實(shí)sed的定界符可以是任意字符。替換路徑時(shí)換成#或者|就清爽多了sed s#/usr/local/bin#/opt/bin#g也可以在替換URL時(shí)用比如sed shttp://old.example.comp https://new.example.compg這算是一個(gè)隱藏技巧很多用了多年命令行的人都未必注意到。但是要提醒一點(diǎn)選了哪個(gè)字符做定界符內(nèi)容里如果再出現(xiàn)這個(gè)字符就必須轉(zhuǎn)義。所以選定界符時(shí)先看看你要處理的文本里哪個(gè)字符出現(xiàn)得最少。處理路徑用#處理帶#號(hào)的文本就用/處理網(wǎng)址用根據(jù)內(nèi)容靈活選擇。2.3 原地修改-i參數(shù)順手但危險(xiǎn)sed默認(rèn)把處理結(jié)果輸出到標(biāo)準(zhǔn)輸出原文件不動(dòng)。如果想要直接修改原文件加-i選項(xiàng)。第一次看到這個(gè)功能我腦海里彈出一個(gè)詞真方便。但有一次操作失誤體驗(yàn)了它的真危險(xiǎn)。事情是這樣的當(dāng)時(shí)有一個(gè)項(xiàng)目里面幾十個(gè)yaml配置文件都要改某個(gè)縮進(jìn)我寫了一條命令把^兩個(gè)空格縮進(jìn)換成^四個(gè)空格縮進(jìn)。結(jié)果因?yàn)檎齽t沒寫對(duì)把所有的行首空格都刪掉了。文件全亂了好在當(dāng)時(shí)有用版本控制一條回滾命令才救了回來。從那以后我養(yǎng)成了三個(gè)習(xí)慣分享給你第一使用-i之前先不帶-i跑一遍把輸出檢查一遍再動(dòng)手。 第二重要文件先備份。sed -i.bak s/舊/新/ 文件這條命令會(huì)生成一個(gè)后綴為.bak的備份文件修改原文件。所有配置類文件、代碼文件都應(yīng)該這樣操作。 第三盡量不要在不確定的場景直接對(duì)多個(gè)文件執(zhí)行-i。先拿單個(gè)文件驗(yàn)證再推廣到全部文件。另外還有個(gè)跨平臺(tái)的區(qū)別。Linux上的GNU sed-i后面可以直接跟替換表達(dá)式。但macOS上的BSD sed-i需要額外的備份后綴參數(shù)如果沒有提供后綴要這樣寫sed -i s/舊/新/ 文件注意-i和之間有一個(gè)空格。3. 正則表達(dá)式與sed替換的深度配合sed的真正威力藏在和正則表達(dá)式的配合里。掌握了正則替換命令才能說是真正入門。3.1 基礎(chǔ)正則和擴(kuò)展正則一個(gè)轉(zhuǎn)義符的差距sed默認(rèn)使用基礎(chǔ)正則表達(dá)式BRE在這種模式下一些在別的正則引擎里可以直接用的元字符比如、?、{、}、(、)都必須加上反斜杠才能發(fā)揮特殊作用。舉例來說想把連續(xù)出現(xiàn)兩次以上的字母a替換成A在基礎(chǔ)正則下要寫sed s/a\/A/g注意那個(gè)\。如果不加反斜杠a在基礎(chǔ)正則里就是普通字符a后面跟一個(gè)加號(hào)。這確實(shí)容易忘。好在GNU sed提供了-E選項(xiàng)有些版本也支持-r不過-E已經(jīng)成為POSIX標(biāo)準(zhǔn)啟用擴(kuò)展正則ERE后寫正則的方式和大多數(shù)編程語言一致sed -E s/a/A/g我個(gè)人強(qiáng)烈建議只要正則稍微復(fù)雜一點(diǎn)就加上-E。不是顯得專業(yè)而是\、\?這種轉(zhuǎn)義寫法太反直覺容易出錯(cuò)。特別是管道上的命令錯(cuò)一個(gè)字符就會(huì)導(dǎo)致替換結(jié)果完全不對(duì)。延展一下在擴(kuò)展正則模式下分組符號(hào)直接()次數(shù)量詞直接{m,n}就不再需要轉(zhuǎn)義。但注意這時(shí)候如果想要匹配字面意義上的()反而要普通字符本身就是說要匹配括號(hào)就要寫成\(。3.2 分組捕獲與反向引用把替換玩出花樣這是sed替換最精彩的部分。正則里的括號(hào)不僅能分組還能把匹配到的內(nèi)容記住然后在替換部分引用。舉一個(gè)最常見的例子交換兩列內(nèi)容。有一行文本是姓氏,名字zhang,san li,si wang,wu執(zhí)行sed -E s/(^[^,]),([^,]$)/\2,\1/這條命令中第一個(gè)(^[^,])捕獲姓氏第二個(gè)([^,]$)捕獲名字替換部分\2,\1就把兩者順序調(diào)換了。輸出san,zhang si,li wu,wang分組捕獲的價(jià)值在于你不需要知道具體內(nèi)容是什么只要知道它的格式就能提取、重組、重排。這個(gè)能力在處理批量數(shù)據(jù)時(shí)節(jié)省時(shí)間的效果非常顯著。另一個(gè)實(shí)用的引用是符號(hào)。在替換部分代表整個(gè)匹配到的內(nèi)容。用它來給匹配內(nèi)容加前綴或后綴比分組要方便得多。比如想給文中所有出現(xiàn)的版本號(hào)加上引號(hào)sed -E s/v[0-9]\.[0-9]//g如果文本是version v2.3 released執(zhí)行后就是version v2.3 released。把整段匹配內(nèi)容直接原樣放到了引號(hào)中間不用寫分組。和\1各有適用場景需要部分引用時(shí)用分組反向引用需要整段引用時(shí)用。有一個(gè)小組節(jié)需要特別注意如果你的替換文本里需要出現(xiàn)字面意義上的字符那就要寫成\進(jìn)行轉(zhuǎn)義否則它會(huì)被sed展開成整個(gè)匹配內(nèi)容結(jié)果會(huì)完全出乎你的意料。3.3 實(shí)戰(zhàn)nginx訪問日志中的信息提取這里我用一個(gè)實(shí)際場景演示正則與sed結(jié)合的完整操作。假設(shè)現(xiàn)在要分析一份nginx訪問日志每一行格式大概長這樣127.0.0.1 - - [12/Oct/2023:08:10:22 0000] GET /api/users HTTP/1.1 200 1024需求是把所有請(qǐng)求中/api/后面的路徑部分提取出來去掉時(shí)間戳。直接看這個(gè)需求用單條sed命令就能完成sed -E s/^([0-9.]).*GET ([^ ]).*/\1 \2/這條命令分組的思路是第一組([0-9.])抓取IP地址第二組([^ ])抓取請(qǐng)求路徑由于[^ ]可以匹配到空格前的所有字符正好截取完整的URI。替換時(shí)把IP和路徑用空格連接輸出。實(shí)際場景中如果你還需要把狀態(tài)碼提取出來可以擴(kuò)展成三組sed -E s/^([0-9.]).*GET ([^ ]).* [0-9] ([0-9])$/\1 \2 \3/執(zhí)行結(jié)果就是IP 路徑 狀態(tài)碼的緊湊格式。這種操作在分析日志時(shí)非常順手比打開Excel慢慢篩選要快得多。4. 實(shí)戰(zhàn)案例從配置批量修改到日志清洗紙上談兵沒有說服力。這里走一遍幾個(gè)真實(shí)場景從單文件到多文件從簡單替換到組合處理。4.1 批量替換配置文件里的IP與端口假設(shè)某個(gè)測試環(huán)境的服務(wù)配置分散在多個(gè)目錄的config文件中舊的數(shù)據(jù)庫IP是192.168.1.100端口是3306現(xiàn)在要換成新環(huán)境的192.168.1.200和3307。先在單個(gè)文件上驗(yàn)證命令是否正確sed s/192\.168\.1\.100/192.168.1.200/g; s/:3306/:3307/g 文件名.conf注意這里有兩處細(xì)節(jié)第一正則中的.要寫成\.。因?yàn)樵谡齽t表達(dá)式里.是任意字符的通配符如果寫192.168.1.100而不轉(zhuǎn)義它會(huì)匹配192x168y1z100這種意外內(nèi)容。雖然數(shù)字環(huán)境里這種意外出現(xiàn)的概率低但養(yǎng)成正確轉(zhuǎn)義習(xí)慣很重要。第二端口替換時(shí)我在3306前面加了:這是刻意為之。避免把數(shù)據(jù)庫配置中可能出現(xiàn)的其他數(shù)字串里包含的3306也替換掉。加限定字符縮小匹配范圍是降低替換風(fēng)險(xiǎn)的有效手段。驗(yàn)證輸出沒問題后執(zhí)行原地修改并備份sed -i.bak s/192\.168\.1\.100/192.168.1.200/g; s/:3306/:3307/g 文件名.conf注意分號(hào)的使用sed支持在同一條命令里用分號(hào)分隔多個(gè)操作表達(dá)式這比寫多條sed管道效率高可讀性也好。如果要對(duì)整個(gè)目錄下所有conf文件做同樣操作find . -name *.conf -exec sed -i.bak s/192\.168\.1\.100/192.168.1.200/g; s/:3306/:3307/g {} \;這里用find找到所有符合條件的文件再通過-exec對(duì)每個(gè)文件執(zhí)行一次sed。好處是規(guī)則清晰、可控性強(qiáng)比直接sed接多個(gè)文件名更安全而且find可以附帶更多過濾條件比如按時(shí)間只處理最近修改過的文件。4.2 日志清洗去掉噪音、統(tǒng)一格式日志文件往往格式混亂混合了時(shí)間戳、來源模塊、各種括號(hào)信息想快速提取關(guān)鍵內(nèi)容就得靠sed連番清洗。一個(gè)常見場景某服務(wù)日志每一行都帶方括號(hào)包裹的時(shí)間戳和線程名類似[2023-10-12 08:10:22] [main] INFO 用戶登錄成功 usernamejohndoe [2023-10-12 08:11:45] [worker-1] ERROR 連接超時(shí) ip10.0.0.5現(xiàn)在只想保留日志級(jí)別、事件描述、關(guān)鍵參數(shù)去掉時(shí)間戳和線程名。一條命令搞定sed -E s/^\[[^]]\] \[[^]]\] ([A-Z]) (.*)$/\1 \2/執(zhí)行后INFO 用戶登錄成功 usernamejohndoe ERROR 連接超時(shí) ip10.0.0.5這個(gè)模式中\(zhòng)[[^]]\]專門匹配方括號(hào)開頭 若干非右方括號(hào)字符 右方括號(hào)用它來跳過時(shí)間戳這段噪音。如果你需要進(jìn)一步把冒號(hào)前后的參數(shù)拆成鍵值對(duì)格式可以疊加后續(xù)sed處理。注意-E在這里的必要性如果不用擴(kuò)展正則[^]]這種寫法中的必須轉(zhuǎn)義命令變成sed s/^\[[^]]\\] \[[^]]\\] ...寫起來和心理負(fù)擔(dān)都會(huì)大很多。4.3 與管道和其他命令的組合用法sed最常見的位置其實(shí)是在命令管道中間。比如從一個(gè)命令的輸出中提取信息查看系統(tǒng)某進(jìn)程及其啟動(dòng)命令過濾出需要的字段ps aux | sed -n s/.*python3 \(.*\.py\).*/\1/p | sort -u這條命令從ps aux輸出里抓取所有python3進(jìn)程啟動(dòng)時(shí)攜帶的腳本文件名去重排序后展示。-n加上末尾的p標(biāo)志讓sed只輸出匹配的行不打印其他進(jìn)程信息。再比如配合grep先篩選再替換grep ERROR app.log | sed -E s/.*ip([0-9.]).*/\1/ | sort | uniq -c這段組合的含義是先從日志中篩出所有ERROR行然后從每行提取ip后面的IP地址最后統(tǒng)計(jì)每個(gè)IP出現(xiàn)的次數(shù)。一條管道下來就把哪些IP引發(fā)了最多錯(cuò)誤給統(tǒng)計(jì)出來了沒有多余文件也沒有中間狀態(tài)。sed在這里扮演的就是提取器的角色。5. 常見問題與排查技巧實(shí)錄最后這部分是我的踩坑合集。有些問題遇到過兩三次才徹底想明白寫出來幫各位減少試錯(cuò)時(shí)間。5.1 替換沒生效的五個(gè)原因原因一忘了加g標(biāo)志。這是最常見的。以為替換了所有的結(jié)果每一行只換了第一個(gè)。判斷方法很簡單把輸出全部打印出來看一遍如果每行第二個(gè)舊值還在那就是這個(gè)原因。原因二正則匹配不到。尤其是想匹配行尾內(nèi)容時(shí)容易忘記$錨點(diǎn)。比如你想刪掉每行末尾的日期寫成sed s/2023-10-12//如果日期不在行首這個(gè)命令可能碰巧替換了別處的文本而不是行尾的。正確寫法應(yīng)該是sed s/2023-10-12$//。原因三特殊字符沒轉(zhuǎn)義。替換文本或者模式中的.、、/、\這些字符該轉(zhuǎn)義的沒轉(zhuǎn)義。排查方法推薦一個(gè)二分定位法先用最簡單的字符串比如只替換一個(gè)單詞做測試確認(rèn)基礎(chǔ)命令沒有問題再逐步加入正則和特殊字符很快能找到哪一步出了問題。原因四引號(hào)混用導(dǎo)致變量沒展開。在shell腳本里sed s/舊/$變量/和sed s/舊/$變量/的結(jié)果可以是完全不同的。單引號(hào)內(nèi)的內(nèi)容原樣傳給sed$變量不會(huì)被shell解析雙引號(hào)內(nèi)的$變量會(huì)被shell展開成變量的值。想用外部變量做替換內(nèi)容必須用雙引號(hào)包住整個(gè)表達(dá)式并且內(nèi)部如果有其他字符需要轉(zhuǎn)義時(shí)要注意處理。做一個(gè)對(duì)比就更清楚了NAMEjohndoe sed s/用戶/$NAME/ log.txt # 結(jié)果輸出里的用戶被替換成了字面量 $NAME sed s/用戶/$NAME/ log.txt # 結(jié)果輸出里的用戶被替換成了 johndoe原因五編碼或不可見字符問題。文本里有\(zhòng)rWindows換行符殘留或者\(yùn)t你看上去是空格或者行尾但正則匹配不上。排查方法用cat -A 文件查看隱藏字符或者用sed -n l 文件讓sed把不可見字符以轉(zhuǎn)義形式顯示出來。5.2 macOS與Linux的差異同一套sed命令在兩套系統(tǒng)上行為可能不同。最典型的差異是-i參數(shù)Linux上-i直接接命令macOS上-i必須接備份后綴參數(shù)哪怕為空即sed -i ...。另一個(gè)差異是部分正則元字符的支持度BSD sed對(duì)\t這類轉(zhuǎn)義的支持不如GNU sed穩(wěn)定。如果你寫的腳本需要在兩個(gè)平臺(tái)上跑兩條建議一是用-E而不是-r開啟擴(kuò)展正則二是先小范圍驗(yàn)證再全量執(zhí)行。5.3 我的幾個(gè)使用習(xí)慣文章最后分享幾個(gè)實(shí)踐經(jīng)驗(yàn)基本上是花了不少冤枉時(shí)間才養(yǎng)成的習(xí)慣。第一重要操作必做備份。要么配合版本控制要么用-i.bak要么先cp 文件 文件.bak。成本很低但能救命。第二能一步到位就不要繞彎。一條sed命令能解決的事不要拆成五條管道。不是追求炫技而是減少中間環(huán)節(jié)出錯(cuò)的概率也讓之后的維護(hù)者很可能就是兩個(gè)月后的自己更容易理解。第三善用s///g;t這種循環(huán)替換技巧。sed默認(rèn)替換不重疊匹配如果文本里有aaaa你想把a(bǔ)a替換成a一次sed s/aa/a/g的結(jié)果是aa而不是a。想要徹底替換到無重疊為止可以寫成sed :a; s/aa/a/g; ta這是利用t標(biāo)簽實(shí)現(xiàn)循環(huán)跳轉(zhuǎn)。這種技巧平時(shí)用得不多但真遇到時(shí)極其有用。第四也是最重要的一條習(xí)慣先打印后修改。任何一條sed命令都先不加-i跑一次看著輸出確認(rèn)是預(yù)期效果再加-i真正執(zhí)行。這個(gè)習(xí)慣幫我避過了無數(shù)次災(zāi)難性的批量替換。sed命令的學(xué)習(xí)曲線不算陡峭基礎(chǔ)的替換功能半天就能上手但想要用得行云流水還是得在實(shí)戰(zhàn)中不斷積累。碰到文本處理的活兒多想一想這條能不能用sed來切一刀用著用著就順手了。畢竟對(duì)天天泡在終端里的人少浪費(fèi)幾分鐘就能多喝一口咖啡。