參！StarNet卷積神經(jīng)網(wǎng)絡(luò)星點(diǎn)檢測實(shí)戰(zhàn))
做天文圖像處理的人大多有過被SExtractor參數(shù)折騰到懷疑人生的經(jīng)歷背景網(wǎng)格尺寸、檢測閾值、最小面積、去混淆……一套參數(shù)換一架望遠(yuǎn)鏡就要從頭調(diào)。后來我在一條數(shù)據(jù)處理流水線里試了StarNet——一個(gè)直接拿卷積神經(jīng)網(wǎng)絡(luò)找星點(diǎn)的開源項(xiàng)目才意識(shí)到源檢測這一步完全可以用深度學(xué)習(xí)做得更穩(wěn)。StarNet的核心思路很直接給網(wǎng)絡(luò)喂進(jìn)去一塊天空?qǐng)D像塊讓它回歸出其中所有星點(diǎn)的坐標(biāo)和亮度而不是去猜一堆閾值參數(shù)。這篇文章不講論文只講我從項(xiàng)目里讀到的、跑起來踩過的、以及與經(jīng)典工具搭配使用的那些事。1. 傳統(tǒng)摳星一團(tuán)亂麻StarNet用什么思路破局1.1 傳統(tǒng)源探測的痛點(diǎn)SExtractor參數(shù)不是萬能的搞過觀測數(shù)據(jù)處理的人都知道SExtractorSource Extractor是經(jīng)典中的經(jīng)典到現(xiàn)在仍然是測光、星表生成的主力工具。它本質(zhì)上走的是傳統(tǒng)CV的路子先估計(jì)背景再做閾值分割最后對(duì)檢測到的連通區(qū)域做去混淆和參數(shù)測量。聽起來很成熟但實(shí)際用起來非常依賴參數(shù)整定。背景網(wǎng)格大小MESH_SIZE、檢測閾值DETECT_THRESH、最小面積DETECT_MINAREA、去混淆參數(shù)DEBLEND_NTHRESH每一個(gè)都直接影響最終星表質(zhì)量。我用同一套參數(shù)處理過不同望遠(yuǎn)鏡的數(shù)據(jù)效果落差極大。一臺(tái)口徑小、視場寬的巡天相機(jī)和一臺(tái)大口徑窄視場望遠(yuǎn)鏡在背景噪聲統(tǒng)計(jì)、PSF采樣、源密度上完全不同。SExtractor里最容易被低估的是那些“你以為設(shè)好了就沒關(guān)系”的參數(shù)。比如BACK_SIZE設(shè)置得過小會(huì)把亮星周圍的彌散光當(dāng)成背景漲落導(dǎo)致暗弱源全部檢不出來設(shè)置得過大又會(huì)把真實(shí)的大尺度天光變化抹平讓背景估計(jì)產(chǎn)生系統(tǒng)性偏差。這些調(diào)參試錯(cuò)在單張圖像上可能只是幾分鐘的事一旦落到整批自動(dòng)化流水線里就是無休止的運(yùn)維噩夢。更加麻煩的是擁擠星場。球狀星團(tuán)、星系密集區(qū)里星象互相重疊SExtractor必須靠去混淆參數(shù)小心翼翼地把混在一起的源拆開。參數(shù)偏保守亮星周圍的伴星就丟參數(shù)偏激進(jìn)又會(huì)在噪聲里給你“拆”出一堆假源。我一度懷疑自己是在調(diào)參數(shù)還是在煉丹。而StarNet的出現(xiàn)讓我第一次覺得“找源”這件事可以不用這么多旋鈕。1.2 StarNet的定位它不是去挑戰(zhàn)SExtractor而是補(bǔ)位StarNet的目標(biāo)非常聚焦從天文圖像塊中回歸出星點(diǎn)的位置、亮度、背景和PSF寬度。它把“找源”重新定義成學(xué)習(xí)問題不依賴手工設(shè)計(jì)的背景網(wǎng)格和閾值分割。輸入是一塊局部圖像比如31×31像素或51×51像素的小圖輸出是一組張量包括星點(diǎn)的x、y坐標(biāo)相對(duì)于圖塊中心的偏移、總流量、局部背景以及模型對(duì)自身預(yù)測的不確定性。這里要強(qiáng)調(diào)一下StarNet不是要完全取代SExtractor。傳統(tǒng)工具在測光、星表輸出、圖像拼接等成熟領(lǐng)域仍然有不可替代的價(jià)值。StarNet更適合放在流水線最前端做高召回率的候選源檢測。它把“天空中哪里有星”這個(gè)判斷交給網(wǎng)絡(luò)而后續(xù)的精確測光、PSF擬合可以繼續(xù)交給SExtractor或photutils。這種“檢測測量分離”的做法在工程上非常清爽網(wǎng)絡(luò)只干自己擅長的活測量精度高的活交給專業(yè)工具。從我實(shí)際測試的效果看StarNet最打動(dòng)我的地方是它的“鈍感力”。同一套權(quán)重在不同信噪比、不同背景亮度的圖像上表現(xiàn)很穩(wěn)定。傳統(tǒng)算法需要反復(fù)調(diào)節(jié)的閾值分割在StarNet這里被網(wǎng)絡(luò)內(nèi)部的非線性特征提取替代了。它天然適應(yīng)不同視寧度、不同像素尺度的圖像不再需要為每臺(tái)望遠(yuǎn)鏡單獨(dú)準(zhǔn)備一整套參數(shù)模板。這對(duì)我來說意味著流水線的維護(hù)成本直線下降。1.3 為什么要用“星圖塊回歸”而不是“全圖目標(biāo)檢測”很多做深度學(xué)習(xí)的人都問過我為什么不做成端到端的目標(biāo)檢測像YOLO那樣直接在全圖上畫框這個(gè)問題的答案和天文圖像的特性有關(guān)。天文星點(diǎn)本質(zhì)上是局部點(diǎn)擴(kuò)散函數(shù)一個(gè)星點(diǎn)只占幾個(gè)到幾十個(gè)像素遠(yuǎn)沒有自然圖像里那種豐富的上下文語義。用全圖目標(biāo)檢測框架來處理尺度跨度極大的星點(diǎn)會(huì)引入大量不必要的計(jì)算和復(fù)雜后處理。YOLO、Faster R-CNN的優(yōu)勢在于識(shí)別“物體”而天文源檢測更像是“參數(shù)回歸”沒有必要去做區(qū)域分類。把圖像切塊后做回歸有幾個(gè)好處。第一局部圖塊更容易歸一化PSF在幾十像素范圍內(nèi)可以近似看成平移不變的網(wǎng)絡(luò)學(xué)起來更簡單。第二切塊天然解決了類不平衡問題。全圖中暗弱源數(shù)量極少直接訓(xùn)練全局檢測器容易偏向亮源而切塊可以按需要做采樣均衡該補(bǔ)多少暗弱源就補(bǔ)多少。第三輸出可以直接映射到源參數(shù)上后續(xù)再與星表交叉匹配時(shí)非常順滑。所以StarNet選擇了“回歸小圖塊中心星點(diǎn)參數(shù)”這條路。它不輸出邊框不輸出類別只輸出天測和測光最關(guān)心的連續(xù)量。這讓網(wǎng)絡(luò)結(jié)構(gòu)可以設(shè)計(jì)得非常輕量單張圖塊的推理速度極快。實(shí)踐下來一張2048×2048的CCD圖像用GPU推理不到半秒CPU上也就幾秒鐘完全能滿足日常處理需求。2. 網(wǎng)絡(luò)結(jié)構(gòu)怎么設(shè)計(jì)從圖像塊到星點(diǎn)坐標(biāo)的映射2.1 輸入圖像塊與預(yù)處理先把數(shù)據(jù)拉扯齊整不管網(wǎng)絡(luò)怎么寫第一步永遠(yuǎn)是輸入格式。StarNet的訓(xùn)練輸入以星點(diǎn)為中心的奇數(shù)尺寸圖塊常見是31×31或51×51。奇數(shù)尺寸方便定義中心像素也方便把預(yù)測的偏移量換算回絕對(duì)坐標(biāo)。輸入通道數(shù)一般是1也就是單波段灰度圖如果你手里有彩色或多波段合成圖也可以把多個(gè)波段堆疊成多個(gè)通道輸入但要注意各波段的PSF尺度和配準(zhǔn)必須一致。預(yù)處理通常包括四步減背景、壞像素掩膜、歸一化、必要時(shí)做PSF歸一。背景估計(jì)最簡單的方法是用中值濾波或SExtractor先算一次粗背景然后將圖塊減去背景。壞像素和宇宙線如果不處理會(huì)被網(wǎng)絡(luò)當(dāng)成真實(shí)源我在訓(xùn)練初期就吃過這個(gè)虧。把壞像素位置做成掩膜在切塊時(shí)跳過或者用鄰域插值填掉都能顯著降低誤檢。歸一化的方式我推薦用圖塊內(nèi)的噪聲標(biāo)準(zhǔn)差σ做z-score而不是簡單除以最大值。因?yàn)樘炜請(qǐng)D像里亮星和暗星的亮度差異極大最大值歸一化會(huì)把暗弱星壓到接近于0網(wǎng)絡(luò)根本學(xué)不到信息。除以σ可以讓點(diǎn)源的亮度變成“信噪比”的形式在物理上有明確含義。比如一顆20σ的星和一顆5σ的星網(wǎng)絡(luò)輸出流量的相對(duì)比例是穩(wěn)定的。這也是我在調(diào)參過程中覺得最重要的一步。2.2 骨干網(wǎng)絡(luò)不要一開始就上ResNet大模型很多初次接觸這個(gè)項(xiàng)目的同學(xué)會(huì)慣性地上一個(gè)ResNet50或者更深的結(jié)構(gòu)其實(shí)沒有必要。星點(diǎn)檢測本質(zhì)上是局部特征回歸一個(gè)星象的核心信息集中在PSF的半徑范圍內(nèi)可能只有幾個(gè)像素寬。龐大的骨干網(wǎng)絡(luò)不僅浪費(fèi)算力還會(huì)因?yàn)閰?shù)量太大而輕松記住訓(xùn)練集上的噪聲特征導(dǎo)致過擬合。我實(shí)測下來一個(gè)三到四層的卷積堆疊配上批歸一化和ReLU就已經(jīng)能拿到非常好的結(jié)果。典型結(jié)構(gòu)可以是Conv3×3→BN→ReLU→Conv3×3→BN→ReLU→Global AvgPool→FC。第一層用32個(gè)通道后面逐層加倍到64、128就能覆蓋絕大多數(shù)場景。感受野不需要刻意做大能覆蓋到圖塊外的信息反而會(huì)引入相鄰源的干擾。保持網(wǎng)絡(luò)小而美訓(xùn)練快推理穩(wěn)。這里還要提一下輸入圖塊的尺寸和網(wǎng)絡(luò)層數(shù)之間的匹配。31×31的輸入如果網(wǎng)絡(luò)有5層3×3卷積感受野大約是11×11對(duì)于單顆星的PSF來說是足夠的。如果是大氣視寧度很差、PSF半高全寬接近8到10像素的圖像建議把輸入放大到51×51或者增加網(wǎng)絡(luò)深度到5層保證網(wǎng)絡(luò)能看到完整的PSF翅膀。2.3 輸出頭設(shè)計(jì)到底要回歸哪些量StarNet的輸出頭一般包含五個(gè)物理量星點(diǎn)相對(duì)圖塊中心的x偏移、y偏移、總流量、局部背景以及一個(gè)置信度或不確定性。有些實(shí)現(xiàn)還會(huì)附加輸出PSF寬度即半高全寬這對(duì)于后續(xù)做后續(xù)篩選很有幫助。坐標(biāo)偏移最好做歸一化。比如圖塊半徑是15像素網(wǎng)絡(luò)輸出的目標(biāo)值就是偏移量除以15讓網(wǎng)絡(luò)輸出穩(wěn)定在[-1,1]區(qū)間最后再加回來。流量值的變化范圍很大從幾百到幾百萬ADU都很常見直接回歸原始ADU會(huì)讓loss被亮源主導(dǎo)。我慣用的做法是對(duì)流量做對(duì)稱對(duì)數(shù)變換當(dāng)值小于某個(gè)閾值時(shí)用線性映射大于閾值時(shí)用對(duì)數(shù)映射。這樣既保留了暗弱源的微小差異又不會(huì)讓個(gè)別亮星占據(jù)絕對(duì)主導(dǎo)。背景項(xiàng)同樣需要輸出。雖然輸入前減過背景但減得不準(zhǔn)是常事讓網(wǎng)絡(luò)額外回歸一個(gè)背景修正量可以吸收預(yù)處理階段的殘差。置信度頭可以用來做不確定度回歸或者用蒙特卡洛dropout在推理時(shí)多次采樣得到分布。前者訓(xùn)練時(shí)需要一個(gè)額外的方差損失后者實(shí)現(xiàn)更簡單兩者我都試過在最終源篩選時(shí)都很有用。2.4 損失函數(shù)與訓(xùn)練技巧別用MSE硬扛異常值位置和流量回歸最常用的損失是均方誤差但天文圖像里相機(jī)缺陷、宇宙線、衛(wèi)星軌跡這些“異常值”頑固存在。單個(gè)異常源可能把loss推高幾個(gè)數(shù)量級(jí)讓模型訓(xùn)練波動(dòng)很大。我更推薦使用Smooth L1Huber Loss它在誤差較小時(shí)表現(xiàn)像MSE誤差大時(shí)轉(zhuǎn)為線性能有效抑制個(gè)別離群樣本的影響。流量損失建議單獨(dú)配置。用帶權(quán)重的加權(quán)MSE或Huber權(quán)重可以基于流量誤差的標(biāo)準(zhǔn)差設(shè)置讓網(wǎng)絡(luò)在訓(xùn)練中更關(guān)注中等信噪比的源。置信度損失用二分類交叉熵即可因?yàn)橹眯哦葮?biāo)簽可以簡單定義為“該圖塊中心是否存在一個(gè)可測源”。訓(xùn)練時(shí)的在線數(shù)據(jù)增強(qiáng)非常關(guān)鍵。我常用的組合是小角度旋轉(zhuǎn)、水平/垂直翻轉(zhuǎn)、隨機(jī)平移1到2個(gè)像素、疊加隨機(jī)高斯噪聲、乘上隨機(jī)背景系數(shù)。旋轉(zhuǎn)增強(qiáng)對(duì)模擬非圓形PSF很有用平移增強(qiáng)能提高坐標(biāo)回歸的魯棒性。我甚至試過在訓(xùn)練圖塊里隨機(jī)加入一條1像素寬的模糊線段來模擬衛(wèi)星軌跡結(jié)果網(wǎng)絡(luò)對(duì)這類偽源的抗干擾能力顯著提升。3. 從零跑通StarNet的實(shí)操要點(diǎn)環(huán)境、數(shù)據(jù)拆分與推理3.1 環(huán)境準(zhǔn)備與依賴PyTorch 2.x實(shí)測夠用StarNet的訓(xùn)練和推理我推薦在PyTorch環(huán)境下完成。我實(shí)測的版本組合是Python 3.10、PyTorch 2.1、CUDA 11.8運(yùn)行穩(wěn)定。如果你的機(jī)器沒有NVIDIA顯卡CPU也能跑只是處理大批量FITS圖像時(shí)速度會(huì)慢一些。除了PyTorch還建議裝好astropy、numpy、scipy和photutils。astropy負(fù)責(zé)FITS讀寫photutils用于后續(xù)的星表交叉匹配和測光。如果要做ONNX導(dǎo)出再加一個(gè)onnx和onnxruntime。環(huán)境安裝部分沒什么玄學(xué)直接pip install就行。唯一要注意的是PyTorch的CUDA版本和你的顯卡驅(qū)動(dòng)要匹配不然會(huì)出現(xiàn)“CUDA unavailable”的尷尬。我建議先跑一個(gè)最小demo載入預(yù)訓(xùn)練權(quán)重輸入一張模擬圖像塊看能不能輸出一組坐標(biāo)。這一步通了后面整個(gè)流程基本就穩(wěn)了。3.2 訓(xùn)練數(shù)據(jù)構(gòu)造模擬與真實(shí)標(biāo)注相結(jié)合StarNet的訓(xùn)練數(shù)據(jù)可以分為兩類純模擬數(shù)據(jù)和真實(shí)圖像標(biāo)注。純模擬的好處是標(biāo)簽完全可控可以精確生成任何位置、任何亮度的星點(diǎn)。我用Gauss或Moffat函數(shù)模擬PSF疊加Poisson噪聲和Gaussian讀出噪聲再隨機(jī)放入幾顆暗弱星。這種做法能快速生成幾萬張圖塊成本極低。但純模擬數(shù)據(jù)有一個(gè)致命問題domain gap也就是模擬數(shù)據(jù)和真實(shí)觀測之間的差異。真實(shí)圖像里有壞列、衛(wèi)星軌跡、鬼像、衍射芒刺等形形色色的偽源如果訓(xùn)練時(shí)完全沒見過推理時(shí)就會(huì)把它們當(dāng)成星點(diǎn)檢測出來。我的經(jīng)驗(yàn)是至少混入10%的真實(shí)樣本。真實(shí)樣本怎么標(biāo)先拿SExtractor初篩出一份候選坐標(biāo)再寫一個(gè)小工具把候選坐標(biāo)對(duì)應(yīng)的圖塊展示出來快速剔除明顯的假源剩下的用來微調(diào)模型。生成模擬圖塊的代碼實(shí)際上不復(fù)雜。先用astropy或scipy生成一張背景圖再按坐標(biāo)把PSF疊加進(jìn)去最后加上非均勻噪聲。關(guān)鍵在于打亂坐標(biāo)時(shí)不要讓星點(diǎn)落到圖塊邊緣否則回歸中心偏移會(huì)超出輸出范圍。我一般會(huì)把中心偏移限制在圖塊半徑的60%以內(nèi)這樣網(wǎng)絡(luò)不需要學(xué)習(xí)“預(yù)測圖塊外”的極端情況。3.3 推理流程與后處理滑動(dòng)窗口加去重模型訓(xùn)練好之后推理流程是讀入FITS → 預(yù)處理 → 滑窗切塊 → 批量預(yù)測 → 合并結(jié)果 → 輸出星表?；皶r(shí)stride的選擇很關(guān)鍵。stride如果等于圖塊大小星點(diǎn)落在切割邊緣時(shí)容易被漏檢。我一般設(shè)置stride為圖塊大小的一半讓相鄰窗口有重疊這樣每一顆星至少被完整覆蓋一次。重疊的代價(jià)是同一顆星會(huì)被多次檢測到所以需要后處理去重。常用的方法是簡單峰值聚類或者用非極大值抑制。具體做法是把所有預(yù)測的坐標(biāo)和置信度放到一個(gè)列表里按置信度降序排序逐個(gè)保留并去掉距離已保留源過近的其他源。距離閾值可以取PSF的半高全寬也可以固定為4像素。坐標(biāo)轉(zhuǎn)換記得考慮FITS圖像的坐標(biāo)原點(diǎn)約定。FITS像素坐標(biāo)一般是1-based而數(shù)組索引是0-based如果搞反整個(gè)星表會(huì)系統(tǒng)性偏移1個(gè)像素。我在這上面栽過跟頭后來統(tǒng)一在代碼入口處把FITS頭里的CRPIX1/CRPIX2讀出來做換算再進(jìn)入內(nèi)部處理邏輯所有內(nèi)部坐標(biāo)都用0-based數(shù)組索引輸出星表時(shí)再統(tǒng)一加1。整個(gè)推理過程可以封裝成一個(gè)函數(shù)。簡單示例import numpy as np import torch from astropy.io import fits from astropy.stats import sigma_clipped_stats def run_starnet_on_fits(fits_path, model, patch51, stride25, devicecuda): data fits.getdata(fits_path).astype(np.float32) mean, median, std sigma_clipped_stats(data, sigma3.0) data_sub data - median data_norm data_sub / std rows, cols data_norm.shape sources [] with torch.no_grad(): for y0 in range(0, rows - patch 1, stride): for x0 in range(0, cols - patch 1, stride): patch_arr data_norm[y0:y0patch, x0:x0patch] tensor torch.from_numpy(patch_arr).unsqueeze(0).unsqueeze(0).to(device) out model(tensor) # 輸出為dict或tensor x_rel, y_rel, flux_log, strength out x_center x0 patch // 2 x_rel y_center y0 patch // 2 y_rel if strength 0.5: sources.append((x_center, y_center, flux_log, strength)) # 對(duì)sources做NMS去重 return sources這段代碼只是骨架實(shí)際使用時(shí)要根據(jù)模型輸出結(jié)構(gòu)調(diào)整。我這里特意把滑動(dòng)窗口放在Python循環(huán)里雖然慢但方便大家看懂。如果追求速度可以把所有窗口拼接成一個(gè)batch一次性送入GPU能快數(shù)倍。3.4 與SExtractor接力檢測歸網(wǎng)絡(luò)測光歸專業(yè)網(wǎng)上有人問“都用StarNet找源了那還要SExtractor干嘛”。我的答案是找源只是第一步后續(xù)精確測光還是要靠成熟工具。StarNet給出的流量是一個(gè)整體值適合做亮度和可信度排序但要做多波段測光、孔徑改正、PSF測光SExtractor仍然是經(jīng)過無數(shù)驗(yàn)證的選擇。我推薦的做法是讓StarNet生成候選坐標(biāo)星表然后把這個(gè)星表作為“已知目標(biāo)列表”交給SExtractor去測光。SExtractor有ASSOC_DATA和ASSOC_RADIUS參數(shù)可以從外部文件關(guān)聯(lián)坐標(biāo)但用起來比較繞。更靈活的方式是直接用photutils的aperture_photometry給定恒星坐標(biāo)和孔徑半徑直接測出流量和背景。這樣整個(gè)流程成了“StarNet負(fù)責(zé)告訴你要測哪里photutils負(fù)責(zé)測量”邏輯清晰坑也少。如果一定要用SExtractor做完整的源表輸出也可以在SExtractor配置里關(guān)閉檢測僅啟用測量模式。當(dāng)然不同版本的SExtractor行為有差異最好的辦法還是構(gòu)建一條獨(dú)立測光腳本。我在實(shí)際項(xiàng)目中用StarNet找出的坐標(biāo)作為先驗(yàn)再用photutils做圓形孔徑測光然后和Gaia星表交叉匹配驗(yàn)證位置精度。整套流程在幾百張圖像上穩(wěn)定運(yùn)行出錯(cuò)率遠(yuǎn)低于傳統(tǒng)檢測測光一體方案。4. 訓(xùn)練與調(diào)優(yōu)避坑星點(diǎn)檢測模型的隱藏暗雷4.1 先調(diào)數(shù)據(jù)再調(diào)網(wǎng)絡(luò)domain gap是最大的坑如果只拿模擬數(shù)據(jù)訓(xùn)練然后直接上真實(shí)觀測大概率會(huì)出現(xiàn)兩種情況一是暗弱星檢不出來二是衛(wèi)星軌跡、鬼像全被當(dāng)成星。我一開始就踩過這個(gè)坑模型在模擬測試集上F1分?jǐn)?shù)高達(dá)0.98一換到真實(shí)巡天數(shù)據(jù)立刻掉到0.7。查來查去發(fā)現(xiàn)網(wǎng)絡(luò)把PSF學(xué)到的是模擬里那種干干凈凈的高斯斑真實(shí)圖像中的壞像素、衍射芒刺全都變成“未知物體”模型只能硬猜。解決思路是把數(shù)據(jù)弄得“臟”一點(diǎn)。模擬數(shù)據(jù)里主動(dòng)加入宇宙線、壞列、隨機(jī)尖峰和衛(wèi)星軌跡。真實(shí)樣本的占比從5%提高到20%后誤檢率下降非常明顯。如果你手上暫時(shí)沒有大量已標(biāo)注真實(shí)樣本另一個(gè)捷徑是用SExtractor在真實(shí)圖像上生成“半自動(dòng)標(biāo)簽”人工快速檢查一批然后拿到StarNet上微調(diào)模型。這個(gè)流程雖然有點(diǎn)繞但比從零開始標(biāo)數(shù)據(jù)快太多了。另外訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)來源必須分開。如果都用同一臺(tái)望遠(yuǎn)鏡的同一批圖像做訓(xùn)練和測試模型性能會(huì)虛高。我建議至少用兩臺(tái)不同望遠(yuǎn)鏡或不同濾波器的圖像做驗(yàn)證才能真正反映模型的泛化能力。4.2 關(guān)鍵超參數(shù)patch、stride和流量loss權(quán)重的取舍訓(xùn)練階段最影響效果的超參數(shù)第一名是輸入圖塊大小。對(duì)于窄視場望遠(yuǎn)鏡PSF可能只占2到3個(gè)像素31×31已經(jīng)足夠但對(duì)于視寧度差的地基望遠(yuǎn)鏡PSF半高全寬可能達(dá)到8像素31×31看不到完整的PSF翅膀網(wǎng)絡(luò)容易把翅膀誤判為背景噪聲。我建議針對(duì)實(shí)際PSF尺寸把圖塊大小設(shè)為PSF半高全寬的5到7倍并且必須是奇數(shù)。stride影響推理階段的重復(fù)檢測密度。stride過大會(huì)漏源過小則計(jì)算量暴增。我一般取patch大小的1/2作為一種均衡。訓(xùn)練時(shí)不需要在數(shù)據(jù)里刻意考慮重復(fù)檢測后處理NMS會(huì)集中處理。流量loss的權(quán)重同樣值得細(xì)調(diào)。我把流量loss的權(quán)重設(shè)為位置loss的一半因?yàn)榱髁縿?dòng)態(tài)范圍太大略微降低權(quán)重反而讓訓(xùn)練更穩(wěn)定。位置loss權(quán)重設(shè)為1置信度loss權(quán)重設(shè)為0.5采用多元輸出時(shí)按經(jīng)驗(yàn)分配。這些數(shù)值沒什么高深理由主要是從訓(xùn)練損失曲線和最終星表精度反饋迭代出來的直接抄去用大概率沒問題。評(píng)估指標(biāo)也不能只看檢測召回率。用Gaia星表交叉匹配后要統(tǒng)計(jì)位置誤差RMS和中值偏差。位置偏差要是超過0.5像素多半是標(biāo)簽中心有系統(tǒng)偏差比如PSF不對(duì)稱或者插值階段引入了偏移。我習(xí)慣把位置RMS和流量誤差畫成散點(diǎn)圖能很直觀地看到模型在哪些信噪比區(qū)間開始失控。4.3 部署與推理階段的提速技巧如果只是單張圖像體驗(yàn)一下用我前面的Python循環(huán)版就夠了。但真要批量處理幾百張科學(xué)幀效率就得摳一摳。我的做法是把所有滑窗圖塊拼成一個(gè)mini-batch用GPU同時(shí)推理配合PyTorch的torch.inference_mode和半精度推理速度能提升五倍以上。半精度推理很簡單只需要把模型參數(shù)轉(zhuǎn)為float16然后推理時(shí)輸入也用float16。要注意的是如果模型里有BatchNorm半精度會(huì)降低精度。我的解決方法是先訓(xùn)練好模型再在推理階段把BN層折疊進(jìn)卷積層這一步可以用torch.quantization或手動(dòng)實(shí)現(xiàn)。懶得折疊也沒關(guān)系實(shí)測在float16下BN帶來的誤差對(duì)星點(diǎn)檢測來說還在可接受范圍內(nèi)。如果要把模型部署到純CPU環(huán)境ONNX導(dǎo)出是個(gè)好選擇。PyTorch的torch.onnx.export可以把整個(gè)網(wǎng)絡(luò)和預(yù)處理固定下來生成的onnx由onnxruntime加載。我已經(jīng)在實(shí)際項(xiàng)目中把StarNet導(dǎo)出成ONNX在普通辦公筆記本CPU上單張2048圖像推理時(shí)間從十幾秒降到三秒左右效果相當(dāng)滿意。5. 常見問題排查速查表在跑StarNet的過程中我遇到的坑基本集中在下表里。這里整理出最常碰到的幾個(gè)問題直接按圖索驥排查就好。癥狀可能原因檢查方向解決辦法檢測到大量條狀假源訓(xùn)練數(shù)據(jù)里沒有模擬衛(wèi)星軌跡/衍射芒刺查看推理圖像的偽源特征在數(shù)據(jù)增強(qiáng)中加入線性偽源樣本暗弱源全部漏檢輸入歸一化用了最大值檢查預(yù)處理后的圖塊直方圖改用噪聲標(biāo)準(zhǔn)差歸一化保留信噪比信息位置有系統(tǒng)性偏移FITS坐標(biāo)1-based/0-based混亂檢查CRPIX和索引換算統(tǒng)一內(nèi)部坐標(biāo)用0-based輸出時(shí)加1同一顆星被重復(fù)計(jì)數(shù)滑窗stride太小且沒有NMS檢查后處理是否做了峰值去重增加基于距離的NMS或聚類訓(xùn)練loss不下降流量回歸直接用原始ADU被亮源主導(dǎo)查看各樣本loss值分布流量改用對(duì)稱對(duì)數(shù)變換或?qū)oss加權(quán)模型在未見過望遠(yuǎn)鏡上崩潰訓(xùn)練集過于單一檢查驗(yàn)證集來源混入不同視場、不同濾波器的真實(shí)樣本上面表格里的問題每一個(gè)我都在實(shí)踐中確認(rèn)過。比如第一行的條紋假源就是因?yàn)槲易铋_始只生成圓對(duì)稱PSF完全不知道真實(shí)圖像里衛(wèi)星線有多常見。后來我在訓(xùn)練圖塊里隨機(jī)畫上1到2像素寬的線段損失里被網(wǎng)絡(luò)當(dāng)成高置信度源輸出的比例立刻降了下來。再補(bǔ)充一個(gè)NMS的實(shí)現(xiàn)細(xì)節(jié)。合并檢測結(jié)果時(shí)很多人直接用坐標(biāo)距離做閾值但距離閾值不是固定的。PSF越寬兩顆相距很近的星就越難被分開閾值應(yīng)該隨PSF尺寸變化。我的做法是先由模型輸出PSF寬度再用1.5倍PSF寬度做聚類半徑。這一改原本總被合并成一顆源的雙星拆開率提高了很多。最后再提一個(gè)小技巧。StarNet的輸出置信度不要只用0/1去做硬判斷它更適合作為一個(gè)連續(xù)權(quán)重傳給后續(xù)測光步驟。比如photutils測光時(shí)直接按置信度加權(quán)可以讓暗弱源的測光誤差對(duì)整體星表影響更小。我在一套變?cè)幢O(jiān)測項(xiàng)目里就是這么用的最終光變曲線里的離散點(diǎn)少了接近三成。從我個(gè)人的使用體驗(yàn)來看StarNet最大的價(jià)值不是“AI比傳統(tǒng)閾值牛逼”這種口號(hào)而是把源檢測從參數(shù)整定中解放出來。跑通一次、微調(diào)一次權(quán)重后面可以長期穩(wěn)定使用。如果你也想把自己的數(shù)據(jù)處理流程變得更省心建議從一張模擬圖像和一個(gè)小網(wǎng)絡(luò)開始把每一步都跑明白再逐步擴(kuò)大規(guī)模。這一路值得走畢竟在夜間觀測數(shù)據(jù)面前省下來的每一分鐘都能變成實(shí)實(shí)在在的睡眠。 告別SExtractor調(diào)參！StarNet卷積神經(jīng)網(wǎng)絡(luò)星點(diǎn)檢測實(shí)戰(zhàn)
做天文圖像處理的人大多有過被SExtractor參數(shù)折騰到懷疑人生的經(jīng)歷背景網(wǎng)格尺寸、檢測閾值、最小面積、去混淆……一套參數(shù)換一架望遠(yuǎn)鏡就要從頭調(diào)。后來我在一條數(shù)據(jù)處理流水線里試了StarNet——一個(gè)直接拿卷積神經(jīng)網(wǎng)絡(luò)找星點(diǎn)的開源項(xiàng)目才意識(shí)到源檢測這一步完全可以用深度學(xué)習(xí)做得更穩(wěn)。StarNet的核心思路很直接給網(wǎng)絡(luò)喂進(jìn)去一塊天空?qǐng)D像塊讓它回歸出其中所有星點(diǎn)的坐標(biāo)和亮度而不是去猜一堆閾值參數(shù)。這篇文章不講論文只講我從項(xiàng)目里讀到的、跑起來踩過的、以及與經(jīng)典工具搭配使用的那些事。1. 傳統(tǒng)摳星一團(tuán)亂麻StarNet用什么思路破局1.1 傳統(tǒng)源探測的痛點(diǎn)SExtractor參數(shù)不是萬能的搞過觀測數(shù)據(jù)處理的人都知道SExtractorSource Extractor是經(jīng)典中的經(jīng)典到現(xiàn)在仍然是測光、星表生成的主力工具。它本質(zhì)上走的是傳統(tǒng)CV的路子先估計(jì)背景再做閾值分割最后對(duì)檢測到的連通區(qū)域做去混淆和參數(shù)測量。聽起來很成熟但實(shí)際用起來非常依賴參數(shù)整定。背景網(wǎng)格大小MESH_SIZE、檢測閾值DETECT_THRESH、最小面積DETECT_MINAREA、去混淆參數(shù)DEBLEND_NTHRESH每一個(gè)都直接影響最終星表質(zhì)量。我用同一套參數(shù)處理過不同望遠(yuǎn)鏡的數(shù)據(jù)效果落差極大。一臺(tái)口徑小、視場寬的巡天相機(jī)和一臺(tái)大口徑窄視場望遠(yuǎn)鏡在背景噪聲統(tǒng)計(jì)、PSF采樣、源密度上完全不同。SExtractor里最容易被低估的是那些“你以為設(shè)好了就沒關(guān)系”的參數(shù)。比如BACK_SIZE設(shè)置得過小會(huì)把亮星周圍的彌散光當(dāng)成背景漲落導(dǎo)致暗弱源全部檢不出來設(shè)置得過大又會(huì)把真實(shí)的大尺度天光變化抹平讓背景估計(jì)產(chǎn)生系統(tǒng)性偏差。這些調(diào)參試錯(cuò)在單張圖像上可能只是幾分鐘的事一旦落到整批自動(dòng)化流水線里就是無休止的運(yùn)維噩夢。更加麻煩的是擁擠星場。球狀星團(tuán)、星系密集區(qū)里星象互相重疊SExtractor必須靠去混淆參數(shù)小心翼翼地把混在一起的源拆開。參數(shù)偏保守亮星周圍的伴星就丟參數(shù)偏激進(jìn)又會(huì)在噪聲里給你“拆”出一堆假源。我一度懷疑自己是在調(diào)參數(shù)還是在煉丹。而StarNet的出現(xiàn)讓我第一次覺得“找源”這件事可以不用這么多旋鈕。1.2 StarNet的定位它不是去挑戰(zhàn)SExtractor而是補(bǔ)位StarNet的目標(biāo)非常聚焦從天文圖像塊中回歸出星點(diǎn)的位置、亮度、背景和PSF寬度。它把“找源”重新定義成學(xué)習(xí)問題不依賴手工設(shè)計(jì)的背景網(wǎng)格和閾值分割。輸入是一塊局部圖像比如31×31像素或51×51像素的小圖輸出是一組張量包括星點(diǎn)的x、y坐標(biāo)相對(duì)于圖塊中心的偏移、總流量、局部背景以及模型對(duì)自身預(yù)測的不確定性。這里要強(qiáng)調(diào)一下StarNet不是要完全取代SExtractor。傳統(tǒng)工具在測光、星表輸出、圖像拼接等成熟領(lǐng)域仍然有不可替代的價(jià)值。StarNet更適合放在流水線最前端做高召回率的候選源檢測。它把“天空中哪里有星”這個(gè)判斷交給網(wǎng)絡(luò)而后續(xù)的精確測光、PSF擬合可以繼續(xù)交給SExtractor或photutils。這種“檢測測量分離”的做法在工程上非常清爽網(wǎng)絡(luò)只干自己擅長的活測量精度高的活交給專業(yè)工具。從我實(shí)際測試的效果看StarNet最打動(dòng)我的地方是它的“鈍感力”。同一套權(quán)重在不同信噪比、不同背景亮度的圖像上表現(xiàn)很穩(wěn)定。傳統(tǒng)算法需要反復(fù)調(diào)節(jié)的閾值分割在StarNet這里被網(wǎng)絡(luò)內(nèi)部的非線性特征提取替代了。它天然適應(yīng)不同視寧度、不同像素尺度的圖像不再需要為每臺(tái)望遠(yuǎn)鏡單獨(dú)準(zhǔn)備一整套參數(shù)模板。這對(duì)我來說意味著流水線的維護(hù)成本直線下降。1.3 為什么要用“星圖塊回歸”而不是“全圖目標(biāo)檢測”很多做深度學(xué)習(xí)的人都問過我為什么不做成端到端的目標(biāo)檢測像YOLO那樣直接在全圖上畫框這個(gè)問題的答案和天文圖像的特性有關(guān)。天文星點(diǎn)本質(zhì)上是局部點(diǎn)擴(kuò)散函數(shù)一個(gè)星點(diǎn)只占幾個(gè)到幾十個(gè)像素遠(yuǎn)沒有自然圖像里那種豐富的上下文語義。用全圖目標(biāo)檢測框架來處理尺度跨度極大的星點(diǎn)會(huì)引入大量不必要的計(jì)算和復(fù)雜后處理。YOLO、Faster R-CNN的優(yōu)勢在于識(shí)別“物體”而天文源檢測更像是“參數(shù)回歸”沒有必要去做區(qū)域分類。把圖像切塊后做回歸有幾個(gè)好處。第一局部圖塊更容易歸一化PSF在幾十像素范圍內(nèi)可以近似看成平移不變的網(wǎng)絡(luò)學(xué)起來更簡單。第二切塊天然解決了類不平衡問題。全圖中暗弱源數(shù)量極少直接訓(xùn)練全局檢測器容易偏向亮源而切塊可以按需要做采樣均衡該補(bǔ)多少暗弱源就補(bǔ)多少。第三輸出可以直接映射到源參數(shù)上后續(xù)再與星表交叉匹配時(shí)非常順滑。所以StarNet選擇了“回歸小圖塊中心星點(diǎn)參數(shù)”這條路。它不輸出邊框不輸出類別只輸出天測和測光最關(guān)心的連續(xù)量。這讓網(wǎng)絡(luò)結(jié)構(gòu)可以設(shè)計(jì)得非常輕量單張圖塊的推理速度極快。實(shí)踐下來一張2048×2048的CCD圖像用GPU推理不到半秒CPU上也就幾秒鐘完全能滿足日常處理需求。2. 網(wǎng)絡(luò)結(jié)構(gòu)怎么設(shè)計(jì)從圖像塊到星點(diǎn)坐標(biāo)的映射2.1 輸入圖像塊與預(yù)處理先把數(shù)據(jù)拉扯齊整不管網(wǎng)絡(luò)怎么寫第一步永遠(yuǎn)是輸入格式。StarNet的訓(xùn)練輸入以星點(diǎn)為中心的奇數(shù)尺寸圖塊常見是31×31或51×51。奇數(shù)尺寸方便定義中心像素也方便把預(yù)測的偏移量換算回絕對(duì)坐標(biāo)。輸入通道數(shù)一般是1也就是單波段灰度圖如果你手里有彩色或多波段合成圖也可以把多個(gè)波段堆疊成多個(gè)通道輸入但要注意各波段的PSF尺度和配準(zhǔn)必須一致。預(yù)處理通常包括四步減背景、壞像素掩膜、歸一化、必要時(shí)做PSF歸一。背景估計(jì)最簡單的方法是用中值濾波或SExtractor先算一次粗背景然后將圖塊減去背景。壞像素和宇宙線如果不處理會(huì)被網(wǎng)絡(luò)當(dāng)成真實(shí)源我在訓(xùn)練初期就吃過這個(gè)虧。把壞像素位置做成掩膜在切塊時(shí)跳過或者用鄰域插值填掉都能顯著降低誤檢。歸一化的方式我推薦用圖塊內(nèi)的噪聲標(biāo)準(zhǔn)差σ做z-score而不是簡單除以最大值。因?yàn)樘炜請(qǐng)D像里亮星和暗星的亮度差異極大最大值歸一化會(huì)把暗弱星壓到接近于0網(wǎng)絡(luò)根本學(xué)不到信息。除以σ可以讓點(diǎn)源的亮度變成“信噪比”的形式在物理上有明確含義。比如一顆20σ的星和一顆5σ的星網(wǎng)絡(luò)輸出流量的相對(duì)比例是穩(wěn)定的。這也是我在調(diào)參過程中覺得最重要的一步。2.2 骨干網(wǎng)絡(luò)不要一開始就上ResNet大模型很多初次接觸這個(gè)項(xiàng)目的同學(xué)會(huì)慣性地上一個(gè)ResNet50或者更深的結(jié)構(gòu)其實(shí)沒有必要。星點(diǎn)檢測本質(zhì)上是局部特征回歸一個(gè)星象的核心信息集中在PSF的半徑范圍內(nèi)可能只有幾個(gè)像素寬。龐大的骨干網(wǎng)絡(luò)不僅浪費(fèi)算力還會(huì)因?yàn)閰?shù)量太大而輕松記住訓(xùn)練集上的噪聲特征導(dǎo)致過擬合。我實(shí)測下來一個(gè)三到四層的卷積堆疊配上批歸一化和ReLU就已經(jīng)能拿到非常好的結(jié)果。典型結(jié)構(gòu)可以是Conv3×3→BN→ReLU→Conv3×3→BN→ReLU→Global AvgPool→FC。第一層用32個(gè)通道后面逐層加倍到64、128就能覆蓋絕大多數(shù)場景。感受野不需要刻意做大能覆蓋到圖塊外的信息反而會(huì)引入相鄰源的干擾。保持網(wǎng)絡(luò)小而美訓(xùn)練快推理穩(wěn)。這里還要提一下輸入圖塊的尺寸和網(wǎng)絡(luò)層數(shù)之間的匹配。31×31的輸入如果網(wǎng)絡(luò)有5層3×3卷積感受野大約是11×11對(duì)于單顆星的PSF來說是足夠的。如果是大氣視寧度很差、PSF半高全寬接近8到10像素的圖像建議把輸入放大到51×51或者增加網(wǎng)絡(luò)深度到5層保證網(wǎng)絡(luò)能看到完整的PSF翅膀。2.3 輸出頭設(shè)計(jì)到底要回歸哪些量StarNet的輸出頭一般包含五個(gè)物理量星點(diǎn)相對(duì)圖塊中心的x偏移、y偏移、總流量、局部背景以及一個(gè)置信度或不確定性。有些實(shí)現(xiàn)還會(huì)附加輸出PSF寬度即半高全寬這對(duì)于后續(xù)做后續(xù)篩選很有幫助。坐標(biāo)偏移最好做歸一化。比如圖塊半徑是15像素網(wǎng)絡(luò)輸出的目標(biāo)值就是偏移量除以15讓網(wǎng)絡(luò)輸出穩(wěn)定在[-1,1]區(qū)間最后再加回來。流量值的變化范圍很大從幾百到幾百萬ADU都很常見直接回歸原始ADU會(huì)讓loss被亮源主導(dǎo)。我慣用的做法是對(duì)流量做對(duì)稱對(duì)數(shù)變換當(dāng)值小于某個(gè)閾值時(shí)用線性映射大于閾值時(shí)用對(duì)數(shù)映射。這樣既保留了暗弱源的微小差異又不會(huì)讓個(gè)別亮星占據(jù)絕對(duì)主導(dǎo)。背景項(xiàng)同樣需要輸出。雖然輸入前減過背景但減得不準(zhǔn)是常事讓網(wǎng)絡(luò)額外回歸一個(gè)背景修正量可以吸收預(yù)處理階段的殘差。置信度頭可以用來做不確定度回歸或者用蒙特卡洛dropout在推理時(shí)多次采樣得到分布。前者訓(xùn)練時(shí)需要一個(gè)額外的方差損失后者實(shí)現(xiàn)更簡單兩者我都試過在最終源篩選時(shí)都很有用。2.4 損失函數(shù)與訓(xùn)練技巧別用MSE硬扛異常值位置和流量回歸最常用的損失是均方誤差但天文圖像里相機(jī)缺陷、宇宙線、衛(wèi)星軌跡這些“異常值”頑固存在。單個(gè)異常源可能把loss推高幾個(gè)數(shù)量級(jí)讓模型訓(xùn)練波動(dòng)很大。我更推薦使用Smooth L1Huber Loss它在誤差較小時(shí)表現(xiàn)像MSE誤差大時(shí)轉(zhuǎn)為線性能有效抑制個(gè)別離群樣本的影響。流量損失建議單獨(dú)配置。用帶權(quán)重的加權(quán)MSE或Huber權(quán)重可以基于流量誤差的標(biāo)準(zhǔn)差設(shè)置讓網(wǎng)絡(luò)在訓(xùn)練中更關(guān)注中等信噪比的源。置信度損失用二分類交叉熵即可因?yàn)橹眯哦葮?biāo)簽可以簡單定義為“該圖塊中心是否存在一個(gè)可測源”。訓(xùn)練時(shí)的在線數(shù)據(jù)增強(qiáng)非常關(guān)鍵。我常用的組合是小角度旋轉(zhuǎn)、水平/垂直翻轉(zhuǎn)、隨機(jī)平移1到2個(gè)像素、疊加隨機(jī)高斯噪聲、乘上隨機(jī)背景系數(shù)。旋轉(zhuǎn)增強(qiáng)對(duì)模擬非圓形PSF很有用平移增強(qiáng)能提高坐標(biāo)回歸的魯棒性。我甚至試過在訓(xùn)練圖塊里隨機(jī)加入一條1像素寬的模糊線段來模擬衛(wèi)星軌跡結(jié)果網(wǎng)絡(luò)對(duì)這類偽源的抗干擾能力顯著提升。3. 從零跑通StarNet的實(shí)操要點(diǎn)環(huán)境、數(shù)據(jù)拆分與推理3.1 環(huán)境準(zhǔn)備與依賴PyTorch 2.x實(shí)測夠用StarNet的訓(xùn)練和推理我推薦在PyTorch環(huán)境下完成。我實(shí)測的版本組合是Python 3.10、PyTorch 2.1、CUDA 11.8運(yùn)行穩(wěn)定。如果你的機(jī)器沒有NVIDIA顯卡CPU也能跑只是處理大批量FITS圖像時(shí)速度會(huì)慢一些。除了PyTorch還建議裝好astropy、numpy、scipy和photutils。astropy負(fù)責(zé)FITS讀寫photutils用于后續(xù)的星表交叉匹配和測光。如果要做ONNX導(dǎo)出再加一個(gè)onnx和onnxruntime。環(huán)境安裝部分沒什么玄學(xué)直接pip install就行。唯一要注意的是PyTorch的CUDA版本和你的顯卡驅(qū)動(dòng)要匹配不然會(huì)出現(xiàn)“CUDA unavailable”的尷尬。我建議先跑一個(gè)最小demo載入預(yù)訓(xùn)練權(quán)重輸入一張模擬圖像塊看能不能輸出一組坐標(biāo)。這一步通了后面整個(gè)流程基本就穩(wěn)了。3.2 訓(xùn)練數(shù)據(jù)構(gòu)造模擬與真實(shí)標(biāo)注相結(jié)合StarNet的訓(xùn)練數(shù)據(jù)可以分為兩類純模擬數(shù)據(jù)和真實(shí)圖像標(biāo)注。純模擬的好處是標(biāo)簽完全可控可以精確生成任何位置、任何亮度的星點(diǎn)。我用Gauss或Moffat函數(shù)模擬PSF疊加Poisson噪聲和Gaussian讀出噪聲再隨機(jī)放入幾顆暗弱星。這種做法能快速生成幾萬張圖塊成本極低。但純模擬數(shù)據(jù)有一個(gè)致命問題domain gap也就是模擬數(shù)據(jù)和真實(shí)觀測之間的差異。真實(shí)圖像里有壞列、衛(wèi)星軌跡、鬼像、衍射芒刺等形形色色的偽源如果訓(xùn)練時(shí)完全沒見過推理時(shí)就會(huì)把它們當(dāng)成星點(diǎn)檢測出來。我的經(jīng)驗(yàn)是至少混入10%的真實(shí)樣本。真實(shí)樣本怎么標(biāo)先拿SExtractor初篩出一份候選坐標(biāo)再寫一個(gè)小工具把候選坐標(biāo)對(duì)應(yīng)的圖塊展示出來快速剔除明顯的假源剩下的用來微調(diào)模型。生成模擬圖塊的代碼實(shí)際上不復(fù)雜。先用astropy或scipy生成一張背景圖再按坐標(biāo)把PSF疊加進(jìn)去最后加上非均勻噪聲。關(guān)鍵在于打亂坐標(biāo)時(shí)不要讓星點(diǎn)落到圖塊邊緣否則回歸中心偏移會(huì)超出輸出范圍。我一般會(huì)把中心偏移限制在圖塊半徑的60%以內(nèi)這樣網(wǎng)絡(luò)不需要學(xué)習(xí)“預(yù)測圖塊外”的極端情況。3.3 推理流程與后處理滑動(dòng)窗口加去重模型訓(xùn)練好之后推理流程是讀入FITS → 預(yù)處理 → 滑窗切塊 → 批量預(yù)測 → 合并結(jié)果 → 輸出星表?；皶r(shí)stride的選擇很關(guān)鍵。stride如果等于圖塊大小星點(diǎn)落在切割邊緣時(shí)容易被漏檢。我一般設(shè)置stride為圖塊大小的一半讓相鄰窗口有重疊這樣每一顆星至少被完整覆蓋一次。重疊的代價(jià)是同一顆星會(huì)被多次檢測到所以需要后處理去重。常用的方法是簡單峰值聚類或者用非極大值抑制。具體做法是把所有預(yù)測的坐標(biāo)和置信度放到一個(gè)列表里按置信度降序排序逐個(gè)保留并去掉距離已保留源過近的其他源。距離閾值可以取PSF的半高全寬也可以固定為4像素。坐標(biāo)轉(zhuǎn)換記得考慮FITS圖像的坐標(biāo)原點(diǎn)約定。FITS像素坐標(biāo)一般是1-based而數(shù)組索引是0-based如果搞反整個(gè)星表會(huì)系統(tǒng)性偏移1個(gè)像素。我在這上面栽過跟頭后來統(tǒng)一在代碼入口處把FITS頭里的CRPIX1/CRPIX2讀出來做換算再進(jìn)入內(nèi)部處理邏輯所有內(nèi)部坐標(biāo)都用0-based數(shù)組索引輸出星表時(shí)再統(tǒng)一加1。整個(gè)推理過程可以封裝成一個(gè)函數(shù)。簡單示例import numpy as np import torch from astropy.io import fits from astropy.stats import sigma_clipped_stats def run_starnet_on_fits(fits_path, model, patch51, stride25, devicecuda): data fits.getdata(fits_path).astype(np.float32) mean, median, std sigma_clipped_stats(data, sigma3.0) data_sub data - median data_norm data_sub / std rows, cols data_norm.shape sources [] with torch.no_grad(): for y0 in range(0, rows - patch 1, stride): for x0 in range(0, cols - patch 1, stride): patch_arr data_norm[y0:y0patch, x0:x0patch] tensor torch.from_numpy(patch_arr).unsqueeze(0).unsqueeze(0).to(device) out model(tensor) # 輸出為dict或tensor x_rel, y_rel, flux_log, strength out x_center x0 patch // 2 x_rel y_center y0 patch // 2 y_rel if strength 0.5: sources.append((x_center, y_center, flux_log, strength)) # 對(duì)sources做NMS去重 return sources這段代碼只是骨架實(shí)際使用時(shí)要根據(jù)模型輸出結(jié)構(gòu)調(diào)整。我這里特意把滑動(dòng)窗口放在Python循環(huán)里雖然慢但方便大家看懂。如果追求速度可以把所有窗口拼接成一個(gè)batch一次性送入GPU能快數(shù)倍。3.4 與SExtractor接力檢測歸網(wǎng)絡(luò)測光歸專業(yè)網(wǎng)上有人問“都用StarNet找源了那還要SExtractor干嘛”。我的答案是找源只是第一步后續(xù)精確測光還是要靠成熟工具。StarNet給出的流量是一個(gè)整體值適合做亮度和可信度排序但要做多波段測光、孔徑改正、PSF測光SExtractor仍然是經(jīng)過無數(shù)驗(yàn)證的選擇。我推薦的做法是讓StarNet生成候選坐標(biāo)星表然后把這個(gè)星表作為“已知目標(biāo)列表”交給SExtractor去測光。SExtractor有ASSOC_DATA和ASSOC_RADIUS參數(shù)可以從外部文件關(guān)聯(lián)坐標(biāo)但用起來比較繞。更靈活的方式是直接用photutils的aperture_photometry給定恒星坐標(biāo)和孔徑半徑直接測出流量和背景。這樣整個(gè)流程成了“StarNet負(fù)責(zé)告訴你要測哪里photutils負(fù)責(zé)測量”邏輯清晰坑也少。如果一定要用SExtractor做完整的源表輸出也可以在SExtractor配置里關(guān)閉檢測僅啟用測量模式。當(dāng)然不同版本的SExtractor行為有差異最好的辦法還是構(gòu)建一條獨(dú)立測光腳本。我在實(shí)際項(xiàng)目中用StarNet找出的坐標(biāo)作為先驗(yàn)再用photutils做圓形孔徑測光然后和Gaia星表交叉匹配驗(yàn)證位置精度。整套流程在幾百張圖像上穩(wěn)定運(yùn)行出錯(cuò)率遠(yuǎn)低于傳統(tǒng)檢測測光一體方案。4. 訓(xùn)練與調(diào)優(yōu)避坑星點(diǎn)檢測模型的隱藏暗雷4.1 先調(diào)數(shù)據(jù)再調(diào)網(wǎng)絡(luò)domain gap是最大的坑如果只拿模擬數(shù)據(jù)訓(xùn)練然后直接上真實(shí)觀測大概率會(huì)出現(xiàn)兩種情況一是暗弱星檢不出來二是衛(wèi)星軌跡、鬼像全被當(dāng)成星。我一開始就踩過這個(gè)坑模型在模擬測試集上F1分?jǐn)?shù)高達(dá)0.98一換到真實(shí)巡天數(shù)據(jù)立刻掉到0.7。查來查去發(fā)現(xiàn)網(wǎng)絡(luò)把PSF學(xué)到的是模擬里那種干干凈凈的高斯斑真實(shí)圖像中的壞像素、衍射芒刺全都變成“未知物體”模型只能硬猜。解決思路是把數(shù)據(jù)弄得“臟”一點(diǎn)。模擬數(shù)據(jù)里主動(dòng)加入宇宙線、壞列、隨機(jī)尖峰和衛(wèi)星軌跡。真實(shí)樣本的占比從5%提高到20%后誤檢率下降非常明顯。如果你手上暫時(shí)沒有大量已標(biāo)注真實(shí)樣本另一個(gè)捷徑是用SExtractor在真實(shí)圖像上生成“半自動(dòng)標(biāo)簽”人工快速檢查一批然后拿到StarNet上微調(diào)模型。這個(gè)流程雖然有點(diǎn)繞但比從零開始標(biāo)數(shù)據(jù)快太多了。另外訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)來源必須分開。如果都用同一臺(tái)望遠(yuǎn)鏡的同一批圖像做訓(xùn)練和測試模型性能會(huì)虛高。我建議至少用兩臺(tái)不同望遠(yuǎn)鏡或不同濾波器的圖像做驗(yàn)證才能真正反映模型的泛化能力。4.2 關(guān)鍵超參數(shù)patch、stride和流量loss權(quán)重的取舍訓(xùn)練階段最影響效果的超參數(shù)第一名是輸入圖塊大小。對(duì)于窄視場望遠(yuǎn)鏡PSF可能只占2到3個(gè)像素31×31已經(jīng)足夠但對(duì)于視寧度差的地基望遠(yuǎn)鏡PSF半高全寬可能達(dá)到8像素31×31看不到完整的PSF翅膀網(wǎng)絡(luò)容易把翅膀誤判為背景噪聲。我建議針對(duì)實(shí)際PSF尺寸把圖塊大小設(shè)為PSF半高全寬的5到7倍并且必須是奇數(shù)。stride影響推理階段的重復(fù)檢測密度。stride過大會(huì)漏源過小則計(jì)算量暴增。我一般取patch大小的1/2作為一種均衡。訓(xùn)練時(shí)不需要在數(shù)據(jù)里刻意考慮重復(fù)檢測后處理NMS會(huì)集中處理。流量loss的權(quán)重同樣值得細(xì)調(diào)。我把流量loss的權(quán)重設(shè)為位置loss的一半因?yàn)榱髁縿?dòng)態(tài)范圍太大略微降低權(quán)重反而讓訓(xùn)練更穩(wěn)定。位置loss權(quán)重設(shè)為1置信度loss權(quán)重設(shè)為0.5采用多元輸出時(shí)按經(jīng)驗(yàn)分配。這些數(shù)值沒什么高深理由主要是從訓(xùn)練損失曲線和最終星表精度反饋迭代出來的直接抄去用大概率沒問題。評(píng)估指標(biāo)也不能只看檢測召回率。用Gaia星表交叉匹配后要統(tǒng)計(jì)位置誤差RMS和中值偏差。位置偏差要是超過0.5像素多半是標(biāo)簽中心有系統(tǒng)偏差比如PSF不對(duì)稱或者插值階段引入了偏移。我習(xí)慣把位置RMS和流量誤差畫成散點(diǎn)圖能很直觀地看到模型在哪些信噪比區(qū)間開始失控。4.3 部署與推理階段的提速技巧如果只是單張圖像體驗(yàn)一下用我前面的Python循環(huán)版就夠了。但真要批量處理幾百張科學(xué)幀效率就得摳一摳。我的做法是把所有滑窗圖塊拼成一個(gè)mini-batch用GPU同時(shí)推理配合PyTorch的torch.inference_mode和半精度推理速度能提升五倍以上。半精度推理很簡單只需要把模型參數(shù)轉(zhuǎn)為float16然后推理時(shí)輸入也用float16。要注意的是如果模型里有BatchNorm半精度會(huì)降低精度。我的解決方法是先訓(xùn)練好模型再在推理階段把BN層折疊進(jìn)卷積層這一步可以用torch.quantization或手動(dòng)實(shí)現(xiàn)。懶得折疊也沒關(guān)系實(shí)測在float16下BN帶來的誤差對(duì)星點(diǎn)檢測來說還在可接受范圍內(nèi)。如果要把模型部署到純CPU環(huán)境ONNX導(dǎo)出是個(gè)好選擇。PyTorch的torch.onnx.export可以把整個(gè)網(wǎng)絡(luò)和預(yù)處理固定下來生成的onnx由onnxruntime加載。我已經(jīng)在實(shí)際項(xiàng)目中把StarNet導(dǎo)出成ONNX在普通辦公筆記本CPU上單張2048圖像推理時(shí)間從十幾秒降到三秒左右效果相當(dāng)滿意。5. 常見問題排查速查表在跑StarNet的過程中我遇到的坑基本集中在下表里。這里整理出最常碰到的幾個(gè)問題直接按圖索驥排查就好。癥狀可能原因檢查方向解決辦法檢測到大量條狀假源訓(xùn)練數(shù)據(jù)里沒有模擬衛(wèi)星軌跡/衍射芒刺查看推理圖像的偽源特征在數(shù)據(jù)增強(qiáng)中加入線性偽源樣本暗弱源全部漏檢輸入歸一化用了最大值檢查預(yù)處理后的圖塊直方圖改用噪聲標(biāo)準(zhǔn)差歸一化保留信噪比信息位置有系統(tǒng)性偏移FITS坐標(biāo)1-based/0-based混亂檢查CRPIX和索引換算統(tǒng)一內(nèi)部坐標(biāo)用0-based輸出時(shí)加1同一顆星被重復(fù)計(jì)數(shù)滑窗stride太小且沒有NMS檢查后處理是否做了峰值去重增加基于距離的NMS或聚類訓(xùn)練loss不下降流量回歸直接用原始ADU被亮源主導(dǎo)查看各樣本loss值分布流量改用對(duì)稱對(duì)數(shù)變換或?qū)oss加權(quán)模型在未見過望遠(yuǎn)鏡上崩潰訓(xùn)練集過于單一檢查驗(yàn)證集來源混入不同視場、不同濾波器的真實(shí)樣本上面表格里的問題每一個(gè)我都在實(shí)踐中確認(rèn)過。比如第一行的條紋假源就是因?yàn)槲易铋_始只生成圓對(duì)稱PSF完全不知道真實(shí)圖像里衛(wèi)星線有多常見。后來我在訓(xùn)練圖塊里隨機(jī)畫上1到2像素寬的線段損失里被網(wǎng)絡(luò)當(dāng)成高置信度源輸出的比例立刻降了下來。再補(bǔ)充一個(gè)NMS的實(shí)現(xiàn)細(xì)節(jié)。合并檢測結(jié)果時(shí)很多人直接用坐標(biāo)距離做閾值但距離閾值不是固定的。PSF越寬兩顆相距很近的星就越難被分開閾值應(yīng)該隨PSF尺寸變化。我的做法是先由模型輸出PSF寬度再用1.5倍PSF寬度做聚類半徑。這一改原本總被合并成一顆源的雙星拆開率提高了很多。最后再提一個(gè)小技巧。StarNet的輸出置信度不要只用0/1去做硬判斷它更適合作為一個(gè)連續(xù)權(quán)重傳給后續(xù)測光步驟。比如photutils測光時(shí)直接按置信度加權(quán)可以讓暗弱源的測光誤差對(duì)整體星表影響更小。我在一套變?cè)幢O(jiān)測項(xiàng)目里就是這么用的最終光變曲線里的離散點(diǎn)少了接近三成。從我個(gè)人的使用體驗(yàn)來看StarNet最大的價(jià)值不是“AI比傳統(tǒng)閾值牛逼”這種口號(hào)而是把源檢測從參數(shù)整定中解放出來。跑通一次、微調(diào)一次權(quán)重后面可以長期穩(wěn)定使用。如果你也想把自己的數(shù)據(jù)處理流程變得更省心建議從一張模擬圖像和一個(gè)小網(wǎng)絡(luò)開始把每一步都跑明白再逐步擴(kuò)大規(guī)模。這一路值得走畢竟在夜間觀測數(shù)據(jù)面前省下來的每一分鐘都能變成實(shí)實(shí)在在的睡眠。