想象一下，你剛剛用手機(jī)拍了一張照片，按下快門后，手機(jī)內(nèi)部的"小魔法師"在不到一秒的時間內(nèi)，就將傳感器捕捉到的原始數(shù)據(jù)轉(zhuǎn)化為一張色彩鮮艷、細(xì)節(jié)豐富的照片呈現(xiàn)在你面前。這個"小魔法師"就是手機(jī)中的圖像信號處理器（ISP），它是現(xiàn)代智能手機(jī)相機(jī)系統(tǒng)中不可或缺的核心組件。

這項由羅馬尼亞亞歷山大·伊安·庫扎大學(xué)（Alexandru Ioan Cuza University of Iasi）的安德烈·阿希雷（Andrei Arhire）和德國維爾茨堡大學(xué)（University of Würzburg）計算機(jī)視覺實驗室的拉杜·蒂莫菲特（Radu Timofte）聯(lián)合完成的研究，將于2025年在IEEE/CVF計算機(jī)視覺與模式識別會議（CVPR）的研討會上發(fā)表。研究團(tuán)隊已將代碼和預(yù)訓(xùn)練模型公開在GitHub上（https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data），有興趣的讀者可以直接訪問。

手機(jī)相機(jī)的圖像處理面臨著一個有趣的矛盾：我們希望它能像專業(yè)相機(jī)一樣拍出高質(zhì)量照片，但手機(jī)的物理條件（傳感器尺寸、光學(xué)系統(tǒng)）與專業(yè)相機(jī)有著天壤之別。近年來，研究人員開始嘗試用深度學(xué)習(xí)技術(shù)來"智能化"這個圖像處理過程，讓算法學(xué)會如何將手機(jī)捕捉到的原始圖像數(shù)據(jù)（RAW數(shù)據(jù)）轉(zhuǎn)化為漂亮的照片。

然而，訓(xùn)練這樣的智能系統(tǒng)通常需要大量的"配對數(shù)據(jù)"——即同一場景下，手機(jī)傳感器捕獲的RAW數(shù)據(jù)和專業(yè)相機(jī)拍攝的高質(zhì)量照片需要精確對齊，像拼圖一樣完美匹配。獲取這樣的數(shù)據(jù)集極為困難且成本高昂，每款新手機(jī)都需要重新收集數(shù)據(jù)，因為不同傳感器捕獲的RAW數(shù)據(jù)特性各不相同。

這篇研究的創(chuàng)新之處在于，研究團(tuán)隊提出了一種新方法，無需這種嚴(yán)格的"配對數(shù)據(jù)"就能訓(xùn)練出高性能的圖像處理系統(tǒng)。就像一個人不需要看到同一場景的專業(yè)照片和業(yè)余照片的直接對比，也能逐漸學(xué)會拍出好照片一樣，他們的系統(tǒng)可以通過觀察大量手機(jī)RAW數(shù)據(jù)和高質(zhì)量照片（不需要是同一場景），自動學(xué)習(xí)如何處理圖像。

一、無需配對數(shù)據(jù)的智能圖像處理：核心思路

傳統(tǒng)的圖像信號處理器（ISP）由一系列固定的處理步驟組成，包括去噪、去馬賽克、色彩校正、伽馬校正和壓縮等。就像一條生產(chǎn)線，圖像數(shù)據(jù)需要依次通過這些步驟才能變成最終的照片。這種方式存在一個問題：前一步驟的微小錯誤會在后續(xù)步驟中被放大，逐漸累積，最終影響照片質(zhì)量。

近年來，研究人員開始嘗試用深度學(xué)習(xí)方法一次性完成這些處理步驟，就像一位經(jīng)驗豐富的大廚可以跳過食譜上的一些中間步驟，直接將原料變成美味佳肴。結(jié)果表明，這種"一步到位"的方法可以獲得更好的圖像質(zhì)量。

阿希雷和蒂莫菲特團(tuán)隊受到了一項名為WESPE的早期研究的啟發(fā)。他們的核心思路是：即使我們沒有成對的"手機(jī)RAW數(shù)據(jù)-專業(yè)照片"配對樣本，我們?nèi)匀豢梢杂?xùn)練一個系統(tǒng)來學(xué)習(xí)如何產(chǎn)生高質(zhì)量圖像。具體來說，他們的方法包含幾個關(guān)鍵要素：

首先，他們使用了一種特殊的損失函數(shù)（想象為訓(xùn)練系統(tǒng)的"評分標(biāo)準(zhǔn)"），這個函數(shù)有不同的組成部分，分別負(fù)責(zé)保持圖像內(nèi)容結(jié)構(gòu)、學(xué)習(xí)顏色特性和紋理細(xì)節(jié)。就像教一個學(xué)生畫畫，我們會從構(gòu)圖、色彩和細(xì)節(jié)三個方面給予指導(dǎo)。

其次，他們使用了三個"鑒別器"（可以理解為有不同專長的評論家）來判斷生成圖像的質(zhì)量。一個鑒別器專注于評價顏色是否真實自然，另外兩個則評價紋理和細(xì)節(jié)是否豐富逼真。這些"評論家"不斷給系統(tǒng)提供反饋，幫助它改進(jìn)。

最后，通過一種稱為"相對論式對抗訓(xùn)練"的技術(shù)（想象為競爭性學(xué)習(xí)），系統(tǒng)不斷提高自己生成照片的顏色準(zhǔn)確性和視覺質(zhì)感，同時保持照片內(nèi)容的結(jié)構(gòu)一致性。

二、輕量級網(wǎng)絡(luò)架構(gòu)：追求速度與質(zhì)量的平衡

在智能手機(jī)上運行的算法面臨一個關(guān)鍵挑戰(zhàn)：如何在有限的計算資源下實現(xiàn)高質(zhì)量的圖像處理？就像一輛小型汽車需要在保持燃油經(jīng)濟(jì)性的同時提供足夠的動力一樣，手機(jī)上的圖像處理算法需要在保證速度的同時提供出色的圖像質(zhì)量。

研究團(tuán)隊選擇了一個非常輕量級的網(wǎng)絡(luò)架構(gòu)作為他們的主要測試平臺，這個架構(gòu)來自2022年移動AI與AIM智能手機(jī)ISP挑戰(zhàn)賽的冠軍方案。想象一下，這個網(wǎng)絡(luò)就像一個精簡而高效的小型工廠，只有幾個關(guān)鍵工作站，但每個工作站都經(jīng)過精心設(shè)計，能夠高效處理信息。

具體來說，這個網(wǎng)絡(luò)（被稱為"Efficient ISP"）僅包含三個卷積層，每層只有12個通道，后面跟著一個像素重排層。整個網(wǎng)絡(luò)只有約3000個參數(shù)，比一篇短文章的字?jǐn)?shù)還少！第一個激活函數(shù)使用Tanh（雙曲正切函數(shù)），后面的層使用ReLU（修正線性單元）。這個極其簡潔的設(shè)計使得它能在手機(jī)上實現(xiàn)超快的處理速度。

除了這個主要架構(gòu)外，研究團(tuán)隊還測試了兩個替代方案：一個是名為"Robust ISP"的改進(jìn)版本，它使用了16、4和12個通道的配置，更快且參數(shù)更少；另一個是RMFA-Net的微型版本，這是目前在移動AI 2022數(shù)據(jù)集上表現(xiàn)最好的輕量級模型之一。

這些輕量級模型就像是為手機(jī)量身定制的"精簡版大廚"，雖然"廚具"不多，但經(jīng)過特殊訓(xùn)練，也能烹飪出美味佳肴。與此形成對比的是傳統(tǒng)的大型模型，如LAN（46,000參數(shù)）和SRCNN（25,000參數(shù)），它們雖然"廚具"更齊全，但在手機(jī)這個"小廚房"里運行起來就顯得太慢了。

三、多重?fù)p失函數(shù)：教會網(wǎng)絡(luò)"看"世界的不同方面

訓(xùn)練一個圖像處理系統(tǒng)就像教一個學(xué)生欣賞和創(chuàng)作藝術(shù)品，需要從多個角度給予指導(dǎo)。研究團(tuán)隊設(shè)計了一套復(fù)雜的"評分系統(tǒng)"（損失函數(shù)），包含多個組成部分，每個部分關(guān)注圖像的不同特性。

內(nèi)容損失：這部分確保生成的圖像保持與原始圖像相同的基本內(nèi)容和結(jié)構(gòu)。想象你在教一個學(xué)生臨摹一幅畫，首先要確保主體和構(gòu)圖不變。技術(shù)上，這是通過比較VGG-19網(wǎng)絡(luò)中提取的特征圖來實現(xiàn)的。在無配對設(shè)置下，參考圖像來自對RAW輸入應(yīng)用專門的去馬賽克算法，然后只保留亮度通道進(jìn)行比較。

顏色損失：這部分幫助系統(tǒng)學(xué)習(xí)準(zhǔn)確的顏色表現(xiàn)。想象你在教學(xué)生如何調(diào)色，確保天空是正確的藍(lán)色，草地是正確的綠色。為了減少紋理的影響，系統(tǒng)先對圖像應(yīng)用高斯模糊，然后計算均方誤差。這種方法也能容忍細(xì)微的像素錯位，這對處理有輕微對齊問題的數(shù)據(jù)集非常有用。

紋理損失：這部分促使系統(tǒng)生成細(xì)節(jié)豐富、視覺上令人愉悅的圖像。就像教學(xué)生如何表現(xiàn)出皮膚的質(zhì)感、布料的褶皺或樹葉的紋路。研究團(tuán)隊集成了LPIPS+和DISTS作為損失組件，這些度量標(biāo)準(zhǔn)更符合人類對圖像質(zhì)量的感知。

相對論式對抗損失：這是一種特殊的訓(xùn)練機(jī)制，通過"生成器"與"鑒別器"的競爭來提高系統(tǒng)性能。就像安排學(xué)生與評論家進(jìn)行互動，評論家不斷給出反饋，學(xué)生不斷改進(jìn)作品。研究中使用了三個鑒別器：一個專注于顏色，另外兩個專注于不同層次的紋理。這種方法幫助系統(tǒng)學(xué)習(xí)復(fù)雜的統(tǒng)計特性，而不僅僅是簡單的像素級匹配。

總變差損失：這部分鼓勵生成的圖像保持空間平滑性，減少視覺偽影。想象你在教學(xué)生避免在畫作中出現(xiàn)雜亂的線條或不必要的噪點。這種損失通過懲罰相鄰像素之間的差異來工作。

研究團(tuán)隊還采用了一種稱為"動態(tài)損失適應(yīng)"的策略，確保每個損失組件對總體訓(xùn)練的貢獻(xiàn)是平衡的。這就像一個經(jīng)驗豐富的老師知道何時強(qiáng)調(diào)構(gòu)圖，何時關(guān)注色彩，何時注重細(xì)節(jié)，根據(jù)學(xué)生的進(jìn)步情況動態(tài)調(diào)整教學(xué)重點。

四、訓(xùn)練策略：從基礎(chǔ)到高級的漸進(jìn)學(xué)習(xí)

研究團(tuán)隊設(shè)計了一個精心的訓(xùn)練過程，就像教導(dǎo)一個藝術(shù)學(xué)生一樣，從基礎(chǔ)技能開始，逐步過渡到更復(fù)雜的技巧。

首先是預(yù)訓(xùn)練階段，網(wǎng)絡(luò)學(xué)習(xí)基本的去馬賽克處理，將RAW輸入轉(zhuǎn)換為初步的RGB圖像。這就像藝術(shù)學(xué)習(xí)中的基礎(chǔ)素描訓(xùn)練，掌握基本形態(tài)再進(jìn)入色彩學(xué)習(xí)。在這個階段，系統(tǒng)使用內(nèi)容損失、均方誤差損失和總變差損失進(jìn)行訓(xùn)練。

然后，根據(jù)可用數(shù)據(jù)的類型，研究團(tuán)隊考慮了三種訓(xùn)練場景：

有配對數(shù)據(jù)但不使用對抗損失：這種情況下，系統(tǒng)通過直接比較生成圖像和目標(biāo)圖像來學(xué)習(xí)，使用內(nèi)容損失、LPIPS+、DISTS、總變差損失和顏色損失。

有配對數(shù)據(jù)并使用對抗損失：在前一種方案的基礎(chǔ)上加入了對抗性訓(xùn)練，引入了lin0和lin3層的對抗損失，幫助系統(tǒng)學(xué)習(xí)更復(fù)雜的紋理表現(xiàn)。

無配對數(shù)據(jù)：這是本研究的核心創(chuàng)新。在這種情況下，系統(tǒng)使用無配對內(nèi)容損失、顏色對抗損失、lin0和lin3的紋理對抗損失以及總變差損失。通過這種方式，即使沒有直接的"配對"樣本，系統(tǒng)也能學(xué)習(xí)如何生成高質(zhì)量圖像。

在訓(xùn)練過程中，鑒別器的學(xué)習(xí)速度需要適當(dāng)放慢，確保生成器有足夠的時間進(jìn)行改進(jìn)。這就像在師生互動中，評論家需要給學(xué)生足夠的時間消化反饋并改進(jìn)作品，而不是不斷給出新的批評。具體來說，Efficient ISP和Robust ISP使用5·10^-4的學(xué)習(xí)率，而鑒別器使用10^-5的學(xué)習(xí)率，并且只在每10步更新一次。

五、實驗結(jié)果：無配對方法的驚人表現(xiàn)

研究團(tuán)隊在兩個真實世界的RAW-to-RGB數(shù)據(jù)集上評估了他們的方法：蘇黎世RAW-to-RGB數(shù)據(jù)集和富士膠片UltraISP數(shù)據(jù)集。

蘇黎世數(shù)據(jù)集使用12.3 MP索尼Exmor IMX380拜耳傳感器捕獲RAW圖像，并與佳能5D Mark IV相機(jī)拍攝的高質(zhì)量圖像配對。通過SIFT關(guān)鍵點、RANSAC和滑動窗口提取448×448大小的圖像塊，最終得到48K個對齊的RAW-RGB樣本，其中1.2K對用于測試。

富士膠片UltraISP數(shù)據(jù)集使用索尼IMX586 Quad拜耳傳感器和富士膠片GFX100單反相機(jī)采集數(shù)據(jù)，并使用PDC-Net處理以增強(qiáng)對齊，最終提取256×256像素的圖像塊。

在蘇黎世數(shù)據(jù)集上，使用無配對訓(xùn)練的Efficient ISP模型達(dá)到了19.448 dB的PSNR（峰值信噪比）和0.700的SSIM（結(jié)構(gòu)相似性），這與使用有配對數(shù)據(jù)訓(xùn)練的模型（19.667 dB PSNR，0.699 SSIM）相當(dāng)接近。特別值得注意的是，無配對模型在SSIM上甚至略有超越，這表明它在保持圖像結(jié)構(gòu)方面表現(xiàn)出色。

在富士膠片數(shù)據(jù)集上，無配對訓(xùn)練的RMFA-Net微型模型達(dá)到了22.75 dB PSNR和0.83 SSIM（在競賽驗證數(shù)據(jù)上），這也接近于有配對訓(xùn)練的基礎(chǔ)模型的表現(xiàn)（23.24 dB PSNR，0.81 SSIM）。

從視覺上看，無配對方法生成的圖像展示了出色的色彩還原和細(xì)節(jié)保留能力。特別是在處理有光照變化和復(fù)雜紋理的場景時，該方法表現(xiàn)尤為出色。與原始的LAN模型和不使用對抗損失的方法相比，本研究的方法產(chǎn)生了更清晰、更自然的圖像。

六、無配對訓(xùn)練的關(guān)鍵技術(shù)細(xì)節(jié)

研究團(tuán)隊進(jìn)行了一系列實驗，探索無配對訓(xùn)練中的關(guān)鍵因素。他們發(fā)現(xiàn)，鑒別器接收的信息類型對訓(xùn)練效果有顯著影響。

對于紋理學(xué)習(xí)，研究團(tuán)隊嘗試了不同的LPIPS+特征圖層作為鑒別器的輸入。他們發(fā)現(xiàn)，使用一個鑒別器學(xué)習(xí)lin0層的特征（捕捉邊緣和銳度等低級細(xì)節(jié)）和另一個學(xué)習(xí)lin3層的特征（表示更復(fù)雜的模式）提供了最佳結(jié)果。lin0鑒別器有助于抵消總變差損失可能引入的過度平滑效果，而lin3鑒別器則減少了不必要的噪點而不影響結(jié)構(gòu)保真度。

對于顏色學(xué)習(xí)，研究團(tuán)隊發(fā)現(xiàn)，將模糊后的圖像通過預(yù)訓(xùn)練網(wǎng)絡(luò)（如Vision Transformer）處理，然后將產(chǎn)生的特征圖饋送給鑒別器，能夠?qū)崿F(xiàn)更快的收斂、更穩(wěn)定的訓(xùn)練和更少的更新變化。這種方法比直接使用卷積鑒別器處理模糊圖像更有效。

研究團(tuán)隊還對去馬賽克算法和優(yōu)化器動量值進(jìn)行了測試，發(fā)現(xiàn)系統(tǒng)在不同設(shè)置下表現(xiàn)出了一致的性能，表明其在這些參數(shù)方面具有較強(qiáng)的魯棒性。

七、研究意義與未來展望

這項研究的最大意義在于，它展示了在沒有配對數(shù)據(jù)的情況下，也能訓(xùn)練出高質(zhì)量的圖像信號處理器。這大大降低了為新型手機(jī)相機(jī)開發(fā)定制ISP的技術(shù)門檻和成本。

對于手機(jī)制造商來說，這意味著他們可以更快、更經(jīng)濟(jì)地為新型號開發(fā)圖像處理算法，無需進(jìn)行耗時的配對數(shù)據(jù)收集。對于用戶來說，這可能帶來更高質(zhì)量的手機(jī)攝影體驗和更快的軟件更新周期。

研究團(tuán)隊指出，對于配對方法，可以通過集成NILUT作為預(yù)處理步驟來進(jìn)一步提高色彩準(zhǔn)確性和色調(diào)映射效果。而對于無配對訓(xùn)練設(shè)置，未來的工作將集中在通過自適應(yīng)超參數(shù)選擇改進(jìn)訓(xùn)練性能，以及減少無配對數(shù)據(jù)訓(xùn)練與有配對數(shù)據(jù)訓(xùn)練之間的保真度差距，特別是在PSNR方面。

此外，這種方法的基本原理可能擴(kuò)展到其他圖像處理任務(wù)，如超分辨率、去噪和圖像增強(qiáng)，為計算攝影領(lǐng)域開辟新的可能性。

總的來說，這項研究為智能手機(jī)相機(jī)技術(shù)的發(fā)展提供了一個新的方向，通過智能算法和創(chuàng)新的訓(xùn)練方法，縮小了手機(jī)相機(jī)與專業(yè)相機(jī)之間的質(zhì)量差距，向著讓每個人都能用口袋設(shè)備拍出專業(yè)級照片的目標(biāo)邁進(jìn)了一步。