這項由上海交通大學趙向宇、華東師范大學張培源、同濟大學湯可賢、上海交通大學朱小榮等研究團隊領導的突破性研究發(fā)表于2025年5月的arXiv預印本平臺，論文編號arXiv:2504.02826v4。有興趣深入了解的讀者可以通過GitHub項目頁面https://github.com/PhoenixZ810/RISEBench訪問完整研究資料和代碼。

日常生活中，當我們看到一張照片時，大腦會自動進行各種復雜的推理。比如看到一個蘋果，我們知道放置一周后它會怎么變化；看到冰塊，我們知道在陽光下它會融化；看到一個拼圖缺了一塊，我們能想象完整的樣子。然而，當前最先進的AI圖像編輯工具卻無法做到這些看似簡單的事情。它們可以改變圖片的顏色、添加濾鏡，甚至替換背景，但如果要求它們"畫出這個蘋果一周后的樣子"，大多數AI就會陷入困境。

這個問題的根源在于，現有的AI圖像編輯工具缺乏真正的"推理"能力。它們就像一個只會按照固定模板操作的工匠，而不是一個能夠理解物理規(guī)律、因果關系和邏輯推理的智者。這種局限性嚴重制約了AI在現實世界中的應用潛力。

為了解決這個根本問題，上海交通大學等機構的研究團隊開發(fā)了一個名為RISEBench的全新評估體系。RISE代表"Reasoning-Informed viSual Editing"（推理驅動的視覺編輯），這是首個專門評估AI模型在圖像編輯中推理能力的基準測試。研究團隊精心設計了360個測試樣本，涵蓋了四個核心推理類別：時間推理、因果推理、空間推理和邏輯推理。

更重要的是，這項研究對包括GPT-4o-Image、Gemini-2.0等在內的八個頂級AI模型進行了全面測試。結果令人震驚：即使是表現最好的GPT-4o-Image，準確率也僅有28.8%，這意味著超過七成的推理任務都無法正確完成。這個發(fā)現不僅揭示了當前AI技術的重大缺陷，也為未來的研究指明了方向。

一、構建推理能力的四重考驗

要理解這項研究的深刻意義，我們可以把AI的推理能力比作一位全能的生活顧問。一個真正優(yōu)秀的顧問不僅要知道事物現在的狀態(tài)，還要能預測未來的變化，理解不同事件之間的因果關系，掌握空間布局的規(guī)律，并且具備邏輯思維能力。

研究團隊將推理能力細分為四個核心維度，每一個都對應著人類日常思維的重要方面。這種分類方式不是隨意劃分的，而是基于對人類認知過程的深入分析。

時間推理能力就像一位經驗豐富的園丁，能夠預測植物在不同季節(jié)的生長變化。研究團隊設計了85個相關測試案例，涵蓋了從生命進程到環(huán)境變化的各種時間維度。比如，給AI展示一張幼苗的圖片，要求它畫出十年后這棵樹的樣子。這聽起來簡單，但實際上需要AI理解植物的生長規(guī)律、環(huán)境影響因素，以及時間尺度的概念。

因果推理能力則像一位物理學家，能夠理解外力作用下物體的變化規(guī)律。研究團隊準備了90個測試樣本，包括結構變形、狀態(tài)轉換、化學生物變化和物理現象四個子類別。當給AI展示一個蘋果的圖片，并要求它畫出"被人咬一口后的樣子"時，AI需要理解咬合動作對蘋果結構造成的具體影響，這遠比簡單的圖像處理復雜得多。

空間推理能力可以比作一位建筑師，需要在三維空間中理解物體的位置關系和幾何結構。研究團隊設計了100個相關測試，包括組件裝配、物體排列、視角生成、結構推理和布局分析五個方面。例如，給AI展示散落的鐘表零件，要求它組裝成一個顯示特定時間的完整時鐘。這需要AI理解每個零件的功能、它們之間的連接方式，以及最終的空間配置。

邏輯推理能力就像一位數學老師，需要按照嚴格的規(guī)則進行推演和計算。研究團隊準備了85個邏輯謎題，包括數獨、迷宮、井字棋等經典問題。當要求AI解決一個數獨謎題時，它不僅要理解游戲規(guī)則，還要進行系統(tǒng)性的邏輯推演，這與簡單的圖像識別或生成有著本質區(qū)別。

這四個維度的劃分不是孤立的，它們在現實應用中往往相互交織。比如，預測一棟建筑在地震中的損壞情況，既需要時間推理（地震持續(xù)時間的影響），也需要因果推理（地震力與結構損壞的關系），還需要空間推理（建筑的三維結構特征）。

二、嚴格而全面的評估體系

為了確保評估結果的客觀性和準確性，研究團隊開發(fā)了一套三維評估框架，就像一位嚴格的考官從多個角度審查學生的答卷。這套評估體系不滿足于簡單的對錯判斷，而是深入分析AI模型在不同方面的表現。

指令理解能力的評估就像檢查學生是否真正理解了題目要求。研究團隊發(fā)現，許多AI模型在這個基礎環(huán)節(jié)就出現了問題。它們可能理解了指令的字面意思，但忽略了隱含的推理要求。比如，當指令是"畫出這個蘋果發(fā)酵后的樣子"時，AI需要理解"發(fā)酵"這個概念涉及的生物化學過程，而不僅僅是改變蘋果的顏色或形狀。

為了精確評估這一點，研究團隊采用了兩種評估方法。對于相對簡單的場景，他們提供詳細的文字描述作為標準答案，讓AI評判員比較生成圖像是否符合描述。對于復雜的空間結構或獨特形狀，他們提供標準圖像作為參考，進行視覺對比評估。這種雙重標準確保了評估的全面性和準確性。

外觀一致性的評估則像檢查學生在解題過程中是否保持了原始條件的完整性。在圖像編輯任務中，AI應該只改變指令明確要求修改的部分，而保持其他元素不變。研究團隊發(fā)現，許多AI模型在執(zhí)行編輯任務時容易"過度創(chuàng)作"，添加或修改了不應該改變的元素。

這種評估特別重要，因為它區(qū)分了兩類不同的AI模型：一類是基于原圖進行精確編輯的模型，另一類是重新生成整個場景的模型。后者雖然可能產生視覺效果不錯的圖像，但由于缺乏對原始內容的保持，在實際應用中價值有限。就像修復一幅古畫，好的修復師會保持原作的精神和細節(jié)，而不是重新創(chuàng)作一幅類似的作品。

視覺合理性的評估關注生成圖像是否符合物理定律和現實世界的約束。研究團隊發(fā)現，即使AI模型正確理解了指令并保持了外觀一致性，生成的圖像仍可能存在不合理的元素。比如，在模擬水流動的場景中，AI可能讓水向上流動，或者在光照場景中產生不符合物理規(guī)律的陰影效果。

這種評估維度特別重要，因為它關系到AI生成內容在現實世界的可信度。一個在物理上不合理的圖像，即使在藝術上可能有趣，在科學教育、工程設計或醫(yī)學應用中都是有害的。

為了提高評估效率和一致性，研究團隊還開發(fā)了基于大型語言模型的自動評估系統(tǒng)。他們使用GPT-4.1作為評判員，設計了詳細的評估提示和評分標準。為了驗證這種自動評估的可靠性，研究團隊進行了人工評估對比實驗，發(fā)現AI評判員與人類專家的一致性很高，平均絕對誤差在0.4到0.7之間（滿分5分），這證明了自動評估系統(tǒng)的有效性。

三、令人震驚的測試結果

當研究團隊對八個頂級AI模型進行全面測試時，結果遠比預期的更加嚴峻。這就像給一群看起來很聰明的學生出了一套綜合性考試，結果發(fā)現即使是最優(yōu)秀的學生也只能勉強及格。

GPT-4o-Image作為目前最先進的商業(yè)AI模型之一，在這次測試中表現最佳，但其28.8%的整體準確率仍然令人擔憂。這意味著在十個推理任務中，它只能正確完成不到三個。更令人驚訝的是，它在不同推理類型上的表現極不均衡。

在時間推理任務中，GPT-4o-Image達到了34.1%的準確率，這是它表現最好的領域。它能夠較好地處理生命進程變化，比如預測植物的生長、動物的成長，或者預測物體的自然老化過程。然而，當涉及社會變遷這樣的復雜時間概念時，它的表現就明顯下降了。

因果推理任務中，GPT-4o-Image的準確率為32.2%，略低于時間推理。它在處理簡單的物理因果關系時表現尚可，比如物體受力變形、冰塊融化等。但當面對復雜的化學反應或生物過程時，它往往無法準確預測結果。研究團隊發(fā)現，AI模型特別難以處理那些需要深層科學知識的因果關系。

空間推理是GPT-4o-Image相對擅長的領域，準確率達到37.0%。它在視角轉換和基本的幾何操作方面表現不錯，能夠理解簡單的空間關系變化。但在處理復雜的三維結構裝配或需要精確空間計算的任務時，仍然困難重重。

最令人擔憂的是邏輯推理領域，GPT-4o-Image的準確率僅有10.6%。這意味著在十個邏輯謎題中，它幾乎只能解決一個。研究團隊進一步分析發(fā)現，AI在數學推導類任務中表現相對較好（35.7%），但在模式預測和謎題解決方面幾乎完全失敗，準確率分別只有3.2%和7.5%。

其他模型的表現更加糟糕。Gemini-2.0系列模型分別達到13.3%和9.4%的準確率，雖然遠低于GPT-4o-Image，但仍然是第二梯隊的表現。值得注意的是，實驗版本的Gemini-2.0在空間推理方面表現突出（23.0%），但預覽版本在這方面明顯退步（11.0%），這反映了模型開發(fā)過程中的不穩(wěn)定性。

開源模型的表現令人失望。BAGEL、Step1X-Edit、OmniGen、EMU2等模型的整體準確率都在6%以下，其中一些模型在某些推理類型上幾乎完全失敗。HiDream-Edit和FLUX.1-Canny的表現更是接近零，這說明當前的開源技術與商業(yè)領先模型之間存在巨大差距。

通過詳細的錯誤分析，研究團隊發(fā)現了AI模型失敗的幾種典型模式。首先是指令誤解，許多模型無法準確理解復雜指令中的隱含推理要求。其次是知識缺陷，模型缺乏必要的物理、化學、生物等領域知識來支持推理過程。第三是邏輯能力不足，特別是在需要多步推理或抽象思維的任務中表現極差。

四、深入分析模型的優(yōu)勢與局限

為了更好地理解不同AI模型的特點，研究團隊進行了深入的性能分析，就像一位經驗豐富的教練分析運動員的技術特點和改進空間。

GPT-4o-Image在所有評估模型中表現最為穩(wěn)定和全面。它的一個顯著優(yōu)勢是具備良好的"保守策略"——當面對不確定的指令時，它傾向于保持原圖的大部分內容不變，而不是進行激進的修改。這種策略雖然可能導致一些創(chuàng)新性的缺失，但大大提高了結果的可靠性。研究團隊發(fā)現，即使在GPT-4o-Image誤解指令的情況下，它生成的圖像在外觀一致性和視覺合理性方面仍然能夠獲得較高分數。

然而，GPT-4o-Image也存在明顯的局限性。在邏輯推理任務中，它經常出現"聰明的錯誤"——能夠理解問題的基本結構，但在關鍵的推理步驟上出錯。比如在解決數獨問題時，它能夠理解游戲規(guī)則和基本約束，但無法進行系統(tǒng)性的邏輯推演，經常產生違反規(guī)則的解答。

Gemini-2.0系列模型展現出了有趣的特點。實驗版本在某些特定任務上表現出色，特別是在需要精確空間操作的任務中。但預覽版本的性能明顯下降，這可能反映了在模型優(yōu)化過程中的取舍選擇。研究團隊注意到，Gemini模型經常表現出"過度創(chuàng)新"的傾向，它們會在編輯過程中添加原本不存在的元素，或者對場景進行超出指令要求的修改。

這種過度創(chuàng)新的問題在一個具體例子中表現得尤為明顯：當要求模型"畫出蘋果被咬一口后的樣子"時，Gemini不僅在蘋果上添加了咬痕，還改變了蘋果的顏色、背景甚至添加了盤子等額外物品。雖然結果可能在視覺上更加豐富，但違背了精確編輯的要求。

開源模型的分析揭示了當前技術發(fā)展的瓶頸。BAGEL在指令理解方面表現相對較好，這表明它在語言理解和圖像理解的結合方面有一定優(yōu)勢。但它在圖像生成質量方面存在明顯不足，經常產生模糊、扭曲或不自然的圖像。

Step1X-Edit展現出了有趣的特化能力，它在外觀一致性方面表現突出，能夠很好地保持原圖的基本特征。但這種保守的策略也限制了它處理需要顯著變化的編輯任務的能力。當面對需要添加新元素或進行結構性修改的任務時，它往往無法產生符合要求的結果。

OmniGen和EMU2等模型的分析顯示了自回歸生成范式在這類任務中的局限性。這些模型在文本生成方面表現出色，但在處理需要精確空間關系或物理準確性的視覺任務時，往往力不從心。它們生成的圖像雖然可能在局部細節(jié)上很精美，但整體的邏輯一致性和物理合理性較差。

研究團隊還發(fā)現了模型性能與任務復雜度之間的有趣關系。在相對簡單的推理任務中，不同模型之間的性能差距較小，但隨著任務復雜度的增加，性能差距會急劇擴大。這說明當前的AI技術在處理簡單推理時已經具備一定能力，但在面對復雜、多步驟的推理任務時仍然存在根本性的困難。

五、人工評估與AI評估的一致性驗證

為了確保評估結果的可靠性，研究團隊進行了一項重要的驗證實驗，就像醫(yī)學研究中需要多位專家獨立診斷來確保結果準確性一樣。他們邀請了六位人類專家對隨機選擇的100個模型輸出進行評估，并將結果與AI評判員的評分進行對比。

這項驗證實驗的結果令人鼓舞。在三個主要評估維度中，AI評判員與人類專家的平均絕對誤差分別為0.5（指令推理）、0.7（外觀一致性）和0.4（視覺合理性）?？紤]到評分范圍是1到5分，這樣的誤差水平表明AI評判員基本能夠復現人類專家的判斷標準。

更有趣的是，研究團隊發(fā)現AI評判員與人類專家在不同評分檔位上的一致性存在差異。在極端情況下（評分為1分或5分），兩者的一致性最高。當AI評判員給出1分的低分時，對應的人類專家平均評分為1.1分，誤差僅為0.1分。當AI評判員給出5分的滿分時，人類專家的平均評分在4.7到4.8分之間，誤差在0.2到0.3分之間。

這種在極端情況下的高一致性特別重要，因為它表明AI評判員能夠準確識別明顯的成功案例和失敗案例。在實際應用中，這種能力比精確的中等評分更加重要。畢竟，我們更關心一個系統(tǒng)是否能夠可靠地完成任務，而不是它在模糊的中間地帶的細微表現差異。

然而，在中等評分檔位（2分到4分），AI評判員與人類專家的一致性有所下降。這主要是由于評估標準的主觀性造成的。即使是人類專家之間，在這些模糊情況下也存在一定的分歧。研究團隊發(fā)現，人類專家在外觀一致性和視覺合理性方面傾向于給出比AI評判員更寬松的評分，這可能反映了人類評估者更強的容錯性和對細微缺陷的忽略能力。

這種差異具有重要的方法學意義。AI評判員可能對圖像細節(jié)進行更精細的檢查，能夠發(fā)現人類評估者可能忽視的微小不一致之處。這既是優(yōu)勢也是局限——雖然提供了更嚴格的評估標準，但可能過于苛刻，不符合實際應用中的用戶期望。

通過這項驗證實驗，研究團隊確認了自動評估系統(tǒng)的有效性，同時也為未來的改進指明了方向。他們建議在未來的研究中，可以結合AI評判員的精確性和人類評估者的寬容性，開發(fā)更加平衡的評估標準。

六、揭示當前技術的根本局限

通過對大量測試案例的深入分析，研究團隊識別出了當前AI技術在推理驅動圖像編輯方面的幾個根本性問題，這些發(fā)現就像醫(yī)生通過癥狀診斷出疾病的根本原因一樣重要。

最核心的問題是缺乏真正的因果理解能力。當前的AI模型雖然能夠識別圖像中的物體和場景，但它們對物體之間的因果關系缺乏深入理解。比如，當要求AI畫出"蘋果掉落后的樣子"時，大多數模型無法正確模擬重力作用、碰撞效果和可能的形變。它們可能簡單地改變蘋果的位置，但忽略了掉落過程中的物理效應。

這種因果理解的缺失在化學和生物過程中表現得更加明顯。當要求模型展示"面包發(fā)酵后的變化"時，AI往往無法理解發(fā)酵這個生物化學過程涉及的微觀機制，只能根據表面特征進行簡單的形狀或顏色修改。這反映了當前AI模型缺乏對科學原理的深層掌握。

第二個關鍵問題是時間概念的模糊性。雖然AI模型在某種程度上能夠處理"變老"、"生長"這樣的時間概念，但它們對時間尺度的理解往往不準確。研究團隊發(fā)現，AI經?；煜唐谧兓烷L期變化，或者對時間進程的速度產生錯誤估計。比如，當要求展示"十分鐘后的變化"和"十年后的變化"時，AI可能產生相似程度的修改，顯示出對時間尺度的誤解。

第三個重要局限是邏輯推理能力的根本缺陷。在處理需要多步推理的任務時，AI模型經常在早期步驟就出錯，導致整個推理鏈的崩潰。這在數獨、迷宮等邏輯謎題中表現得尤為明顯。AI可能理解游戲的基本規(guī)則，但無法進行系統(tǒng)性的邏輯推演，經常產生自相矛盾的結果。

空間推理方面的問題則主要體現在三維空間理解的不足。當前的AI模型雖然能夠處理二維圖像中的空間關系，但在理解三維結構、投影關系和空間變換時仍然困難重重。這在需要組裝立體結構或進行視角轉換的任務中表現得特別明顯。

研究團隊還發(fā)現了一個有趣的現象：AI模型在處理熟悉場景時表現較好，但在面對新穎或罕見情況時性能急劇下降。這表明當前的AI主要依賴于訓練數據中的模式識別，而不是真正的推理能力。當遇到訓練數據中沒有見過的情況時，AI就無法進行有效的推理和預測。

這些根本性局限不僅影響了AI在圖像編輯方面的表現，也對AI在其他需要推理的應用領域產生了重要影響。比如在自動駕駛中，AI需要預測其他車輛的行為；在機器人操作中，AI需要理解物理交互的后果；在科學研究中，AI需要基于觀察數據進行假設和預測。

七、對未來發(fā)展的深遠影響

這項研究的意義遠遠超出了技術評估本身，它為AI發(fā)展的未來方向提供了重要指引，就像燈塔為航行中的船只指明方向一樣。

首先，這項研究明確了AI發(fā)展的下一個重要里程碑：從模式識別向真正推理的轉變。當前的AI技術雖然在圖像識別、文本生成等任務上已經達到甚至超越人類水平，但在需要深層推理的任務上仍然存在巨大差距。這個發(fā)現提醒整個AI研究社區(qū)，需要將更多注意力轉向推理能力的提升。

在教育應用方面，這項研究的影響尤為重要。當前許多教育技術公司正在開發(fā)基于AI的個性化學習系統(tǒng)，但如果AI無法進行有效的因果推理和邏輯思維，它們就無法真正理解學生的學習過程，也無法提供有效的指導。這項研究的發(fā)現促使教育技術開發(fā)者重新評估AI在教育中的角色和限制。

在科學研究領域，AI的推理能力局限對科學發(fā)現的自動化產生了重要影響。許多研究團隊希望利用AI來分析實驗數據、提出假設和預測實驗結果，但這項研究顯示，當前的AI技術還遠未達到這樣的能力水平。科學家們需要更加謹慎地使用AI工具，確保在關鍵的推理環(huán)節(jié)保持人類的參與和監(jiān)督。

對于AI安全和可靠性研究，這項研究提供了重要的警示。如果AI系統(tǒng)在基本的推理任務上都存在如此高的錯誤率，那么在更復雜、風險更高的應用場景中，其可靠性將面臨更大挑戰(zhàn)。這促使研究者需要開發(fā)更好的AI能力評估方法和安全保障機制。

從技術發(fā)展路徑來看，這項研究指出了幾個重要的研究方向。首先是需要開發(fā)更好的因果推理算法，讓AI能夠理解事件之間的因果關系。其次是時間推理能力的提升，讓AI能夠準確理解和預測時間進程。第三是邏輯推理框架的改進，特別是多步推理和抽象思維能力的增強。

這項研究還對AI產業(yè)的發(fā)展策略產生了重要影響。許多公司正在大力投資圖像生成和編輯技術，但這項研究顯示，僅僅追求視覺效果的提升是不夠的，更重要的是提升AI的推理能力。這可能促使產業(yè)界重新調整研發(fā)重點，更多地關注AI的認知能力而不是單純的生成質量。

對于消費者和用戶，這項研究提供了重要的期望管理。雖然當前的AI工具在許多方面已經非常強大，但用戶需要了解它們在推理任務上的局限性，避免在需要復雜推理的場景中過度依賴AI系統(tǒng)。

最后，這項研究為AI倫理和治理提供了新的思考角度。當AI在基本推理任務上都存在顯著錯誤時，我們需要重新評估AI在法律、醫(yī)療、金融等關鍵領域的應用邊界。這不是要阻止AI的發(fā)展，而是要確保AI的應用與其實際能力相匹配。

說到底，這項開創(chuàng)性的研究就像給AI發(fā)展歷程中的一個重要階段拍了一張"全身體檢照片"。結果顯示，雖然AI在某些方面已經表現出色，但在推理這個核心認知能力上還有很長的路要走。正如一位明智的醫(yī)生會根據體檢結果制定合理的治療方案，AI研究社區(qū)也需要根據這些發(fā)現來調整未來的發(fā)展方向。

這并不意味著悲觀，相反，清晰地認識現狀是走向進步的第一步。研究團隊創(chuàng)建的RISEBench評估體系為未來的技術改進提供了明確的目標和衡量標準。隨著更多研究者關注推理能力的提升，我們有理由相信，AI在理解和改造視覺世界方面將會取得突破性進展。

對于普通用戶來說，這項研究提醒我們在使用AI工具時保持適當的期望和謹慎。雖然AI可以幫助我們完成許多任務，但在需要復雜推理和判斷的情況下，人類的智慧仍然不可替代。未來的AI發(fā)展方向應該是增強人類能力而不是簡單替代，讓人機協(xié)作發(fā)揮出更大的潛力。

有興趣深入了解這項研究技術細節(jié)的讀者，可以訪問研究團隊在GitHub上開源的完整代碼和數據：https://github.com/PhoenixZ810/RISEBench，那里有更詳細的實驗設置、評估方法和測試案例，為后續(xù)研究提供了寶貴的基礎資源。

Q&A

Q1：RISEBench是什么？它主要評估AI的哪些能力？ A：RISEBench是首個專門評估AI推理驅動視覺編輯能力的基準測試系統(tǒng)。它主要評估AI在四個核心推理維度的表現：時間推理（預測物體隨時間的變化）、因果推理（理解外力作用的結果）、空間推理（處理三維空間關系）和邏輯推理（解決邏輯謎題）。就像給AI進行"智力測試"，檢驗它是否真正理解世界運行規(guī)律。

Q2：目前最先進的AI模型在推理任務上表現如何？ A：結果令人震驚地差。即使是表現最好的GPT-4o-Image，整體準確率也只有28.8%，意味著十個推理任務中只能正確完成不到三個。在邏輯推理方面更是糟糕，準確率僅10.6%。其他模型表現更差，多數開源模型的準確率接近零。這說明當前AI雖然在圖像生成方面看起來很強大，但缺乏真正的推理理解能力。

Q3：這項研究對普通用戶使用AI工具有什么啟示？ A：用戶需要合理調整對AI的期望。雖然AI在簡單的圖像編輯、風格轉換方面表現不錯，但不要指望它能進行復雜的推理性編輯，比如準確預測物體變化或解決邏輯問題。在需要科學準確性或邏輯嚴密性的場景中，仍需要人類監(jiān)督和驗證。未來AI更適合作為輔助工具而非完全替代人類判斷。