spiders中的正則表達(dá)式藝術(shù)高效提取視頻、音頻與圖片鏈接的10個(gè)技巧【免費(fèi)下載鏈接】spidersPython爬蟲返回一定格式的信息下載使用flask提供簡易api。抖音無水印、皮皮蝦、快手、網(wǎng)易云音樂、qq音樂、咪咕音樂、荔枝FM音頻、知乎視頻、最右語音、視頻、微博......項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spiders提到Python 爬蟲很多新手第一反應(yīng)是請求網(wǎng)頁、解析 HTML。但你打開這個(gè)開源的spiders 爬蟲項(xiàng)目就會(huì)發(fā)現(xiàn)它既不依賴笨重的解析框架也不靠點(diǎn)擊右鍵檢查而是用輕巧的正則表達(dá)式從抖音、快手、微博、知乎、網(wǎng)易云音樂、QQ 音樂、皮皮蝦等平臺(tái)的頁面里精準(zhǔn)提取無水印視頻、音頻與圖片鏈接再交給 Flask 接口返回標(biāo)準(zhǔn)格式、批量下載。正則表達(dá)式看似老派卻是這套多平臺(tái)提取器的靈魂。這篇文章就帶你拆解項(xiàng)目里 10 個(gè)真實(shí)在用的正則技巧學(xué)會(huì)它們你也能寫出一行正則抓一個(gè)平臺(tái)的優(yōu)雅爬蟲。上圖是項(xiàng)目運(yùn)行時(shí)的交互界面支持平臺(tái)與可提取內(nèi)容一目了然所有解析邏輯都集中在 extractor 目錄下。1. 一條萬能鏈接正則完成輸入初篩在主入口 extract.py 中parse_urls用一條超長正則把用戶輸入里的所有 URL 一次性撈出來urls re.findall( rhttps?://[-A-Za-z0-9#/%?~_|!:,.;][-A-Za-z0-9#/%~_|]\.[-A-Za-z][-A-Za-z0-9#/%?~_|!:,.;][-A-Za-z0-9#/%~_|], text)它先匹配http://或https://協(xié)議頭再用字符類[...]匹配域名、路徑和查詢參數(shù)中的常見字符。技巧核心把可能出現(xiàn)的字符全部收進(jìn)字符類配合首尾的[-A-Za-z0-9#/%~_|]收尾字符保證匹配不會(huì)把標(biāo)點(diǎn)切碎。這是提取視頻、音頻、圖片鏈接前的第一道過濾器。2. 從分享鏈接的重定向里抓 IDvideo/(\d)抖音分享鏈接往往帶參數(shù)真正的視頻 ID 藏在重定向后的 URL 里?？?extractor/douyin.pyrep requests.get(share_url, headersheaders, timeout10) item_id re.findall(rvideo/(\d), rep.url)用\d匹配數(shù)字序列分組(...)只取出 ID 本身。技巧在于請求后先讀rep.url而不是死磕原始分享文本——正則要匹配變化后的真實(shí)數(shù)據(jù)源。3. 懶惰匹配(.*?)從 JSON 字符串里精準(zhǔn)取值頁面返回的數(shù)據(jù)常是藏在 HTML 里的 JSON 字符串用貪婪.*會(huì)一路吃到結(jié)尾。項(xiàng)目大量使用懶惰匹配(.*?)如 extractor/weibo.pytitle_re rtitle: (.*?), mp4_720p_mp4_re rmp4_720p_mp4: (.*?),(.*?)表示能少匹配就少匹配遇到第一個(gè),就停正好截住字段值。提取視頻鏈接、音頻鏈接、標(biāo)題都靠這一招。4. 多檔清晰度正則 or回退自動(dòng)降級選最優(yōu)微博視頻有 720p、高清、低清三檔。項(xiàng)目做法很聰明data[videos] mp4_720p_mp4 or mp4_hd_mp4 or mp4_ld_mp4三條正則分別匹配不同清晰度的視頻鏈接字段再用or鏈?zhǔn)交赝擞?720p 就取 720p沒有就降級。這是提取視頻鏈接時(shí)的經(jīng)典兜底策略避免因單個(gè)字段缺失而空手而歸。5. 正則找到鏈接后用replace去掉水印抖音無水印視頻的秘訣不止是正則還有一步偷天換日play_url info[video][play_addr][url_list][0].replace(playwm, play) data[videos] [play_url]先用正則拿到帶水印的playwm地址再字符串替換成play得到無水印視頻鏈接。正則負(fù)責(zé)定位字符串處理負(fù)責(zé)變形兩者配合效果翻倍。6. 多視頻頁面用set()去重再逐個(gè)解析知乎回答里可能嵌多個(gè)視頻extractor/zhihu_video.py 這樣處理ids re.findall(rwww.zhihu.com/video/(\d{1,}), rep.text) ids list(set(ids)) # 去掉重復(fù)元素正則匹配全部 IDset()去重后轉(zhuǎn)回列表。提取多個(gè)視頻、音頻、圖片鏈接時(shí)去重能避免同一資源被重復(fù)下載。7. 用正則改寫URL讓不同端頁面統(tǒng)一入口快手桌面版和 App 版 URL 格式不同extractor/kuaishou.py 先用正則識(shí)別并重寫temp re.findall(rlive\.kuaishou\.com/u/\w/(\w), url) if temp: url https://c.kuaishou.com/fw/photo/{}.format(temp[0])提取出\w作品 ID 后拼成新 URL再請求統(tǒng)一入口。正則不僅提取還能改寫這是多平臺(tái)爬蟲常用的一招。8. 從script里摳出 JSON再用json.loads解析快手頁面把核心數(shù)據(jù)塞進(jìn)window.pageData項(xiàng)目用正則整段抓取page_data re.findall(rscript typetext/javascriptwindow\.pageData (\{.*?\})/script, rep.text) page_data json.loads(page_data[0])注意這里轉(zhuǎn)義了點(diǎn)號(hào)\.匹配字面量.并用(\{.*?\})懶惰匹配整段 JSON最后交給json.loads結(jié)構(gòu)化解析。視頻鏈接、圖片鏈接就從解析后的對象里取出。正則負(fù)責(zé)框選范圍JSON 負(fù)責(zé)精細(xì)取值。9. 字符類 轉(zhuǎn)義正則也能當(dāng)文件名清潔工下載前要清理文件名里的非法字符utils.py 的filter_name就是個(gè)小正則工具regexp re.compile(r(/|\\|:|\?|\*|\|||\|||\$)) space re.compile(r\s{2,}) return space.sub( , regexp.sub(, name))把/、\、:、?、*等統(tǒng)統(tǒng)轉(zhuǎn)義后放進(jìn)分組re.sub替換為空再把連續(xù)空格\s{2,}壓成單個(gè)?？梢娬齽t不止于匹配鏈接還能保障提取后的資源安全落盤。10. 多條正則分工協(xié)作一套代碼吃透音樂平臺(tái)QQ 音樂的 extractor/qqmusic.py 把正則用到了極致——歌名、歌手、ID 各配一條songid re.findall(rsongid:(\d),, html) songmid re.findall(rsongmid:(.*?),, html) data[audioName] re.findall(rsongname:(.*?), html)[0] data[author] re.findall(rname:(.*?),, html)[0]提取出songmid后再拼接 vkey 接口參數(shù)獲取真實(shí)音頻鏈接。技巧把提取 ID和拼接 API拆成兩步正則只負(fù)責(zé)第一跳后續(xù)用接口二次取真實(shí)鏈接是音樂類平臺(tái)的通用打法。寫在最后正則只是起點(diǎn)組合才是藝術(shù)回顧這 10 個(gè)技巧你會(huì)發(fā)現(xiàn)正則表達(dá)式提取鏈接的真正魅力在于組合先篩 URL、再抓 ID、然后降級選清晰度、最后去水印落盤。這套思路貫穿整個(gè) extract.py 主流程和 extractor 下 30 多個(gè)平臺(tái)的爬蟲文件每個(gè)文件都是一個(gè)可復(fù)用的正則提取模板。如果你想親自跑一遍克隆倉庫后pip3 install -r requirements.txt運(yùn)行python3 extract.py輸入鏈接即可體驗(yàn)。動(dòng)手改一改每條正則你會(huì)比看一百篇教程更懂正則的藝術(shù)?！久赓M(fèi)下載鏈接】spidersPython爬蟲返回一定格式的信息下載使用flask提供簡易api。抖音無水印、皮皮蝦、快手、網(wǎng)易云音樂、qq音樂、咪咕音樂、荔枝FM音頻、知乎視頻、最右語音、視頻、微博......項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spiders創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考