這項(xiàng)由日本Sakana AI公司的今宿雄樹(shù)領(lǐng)導(dǎo)，聯(lián)合東京大學(xué)、AtCoder公司共同完成的研究發(fā)表于2025年6月，論文可通過(guò)arXiv:2506.09050v1獲取。這個(gè)研究團(tuán)隊(duì)包括了來(lái)自學(xué)術(shù)界和工業(yè)界的頂尖專家，其中AtCoder公司是世界知名的算法競(jìng)賽平臺(tái)運(yùn)營(yíng)商，這種產(chǎn)學(xué)合作為研究提供了獨(dú)特的數(shù)據(jù)和驗(yàn)證環(huán)境。

在人工智能快速發(fā)展的今天，我們經(jīng)常聽(tīng)說(shuō)AI在各種任務(wù)上超越了人類表現(xiàn)。從圍棋到圖像識(shí)別，從自然語(yǔ)言理解到代碼生成，AI似乎無(wú)所不能。然而，有一個(gè)領(lǐng)域一直被認(rèn)為是人類智慧的最后堡壘：需要長(zhǎng)時(shí)間思考、反復(fù)試錯(cuò)、創(chuàng)造性解決復(fù)雜優(yōu)化問(wèn)題的算法工程。這就像是要求AI不僅僅會(huì)做數(shù)學(xué)題，還要能夠設(shè)計(jì)出全新的解題方法，并且在面對(duì)從未見(jiàn)過(guò)的難題時(shí)能夠持續(xù)改進(jìn)自己的方案。

設(shè)想這樣一個(gè)場(chǎng)景：一家快遞公司需要為1000個(gè)訂單規(guī)劃最優(yōu)配送路線，既要節(jié)省燃油成本，又要確保及時(shí)送達(dá)。這種問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案，需要工程師花費(fèi)數(shù)周時(shí)間反復(fù)測(cè)試、調(diào)整算法，直到找到令人滿意的解決方案?，F(xiàn)在的問(wèn)題是：AI能否像人類工程師一樣，面對(duì)這類開(kāi)放性的優(yōu)化挑戰(zhàn)，進(jìn)行長(zhǎng)時(shí)間的思考和改進(jìn)？

為了回答這個(gè)問(wèn)題，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)名為ALE-Bench的全新測(cè)試平臺(tái)。這個(gè)平臺(tái)就像是為AI量身定制的"算法競(jìng)賽訓(xùn)練營(yíng)"，收集了40個(gè)來(lái)自真實(shí)比賽的復(fù)雜優(yōu)化問(wèn)題。與傳統(tǒng)的編程測(cè)試不同，這些問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案，就像現(xiàn)實(shí)世界中的工程挑戰(zhàn)一樣，需要參與者在有限時(shí)間內(nèi)不斷改進(jìn)解決方案，追求更好的性能表現(xiàn)。

研究團(tuán)隊(duì)的創(chuàng)新之處在于，他們不僅測(cè)試了當(dāng)前最先進(jìn)的大型語(yǔ)言模型的一次性編程能力，還專門設(shè)計(jì)了長(zhǎng)期迭代改進(jìn)的測(cè)試環(huán)境。這就好比讓AI參加一場(chǎng)為期數(shù)小時(shí)甚至數(shù)天的"馬拉松式"編程競(jìng)賽，而不是傳統(tǒng)的"短跑式"代碼生成任務(wù)。在這個(gè)過(guò)程中，AI可以像人類程序員一樣，運(yùn)行代碼、查看結(jié)果、分析問(wèn)題、改進(jìn)算法，然后再次測(cè)試，形成一個(gè)持續(xù)的學(xué)習(xí)和優(yōu)化循環(huán)。

在測(cè)試過(guò)程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。目前最強(qiáng)的AI模型，比如OpenAI的o4-mini-high，確實(shí)在某些特定類型的問(wèn)題上表現(xiàn)出色，甚至能夠達(dá)到人類專家前11.8%的水平。然而，當(dāng)我們仔細(xì)觀察它們的整體表現(xiàn)時(shí)，卻發(fā)現(xiàn)了明顯的不一致性。這就像是一個(gè)學(xué)生在某些科目上能考滿分，但在其他科目上卻表現(xiàn)平平，缺乏真正專家應(yīng)有的全面穩(wěn)定性。

更深入的分析揭示了一個(gè)重要發(fā)現(xiàn)：AI在短時(shí)間內(nèi)能夠快速生成和測(cè)試大量解決方案，這在某種程度上彌補(bǔ)了它們?cè)谏疃人伎挤矫娴牟蛔恪Ｒ粋€(gè)AI系統(tǒng)在4小時(shí)內(nèi)可能會(huì)嘗試100多種不同的算法實(shí)現(xiàn)，而人類程序員通常只會(huì)深入探索幾種方法。這種"量變引起質(zhì)變"的策略讓AI在時(shí)間限制較短的競(jìng)賽中表現(xiàn)相對(duì)較好，但在需要更深層次算法創(chuàng)新的長(zhǎng)期競(jìng)賽中仍有明顯差距。

研究團(tuán)隊(duì)還開(kāi)發(fā)了一個(gè)名為ALE-Agent的專門系統(tǒng)，這個(gè)系統(tǒng)就像是給AI配備了一個(gè)"算法工程助手"。它能夠系統(tǒng)性地探索不同的解決方案，維護(hù)一個(gè)候選算法的"家族樹(shù)"，并且具備領(lǐng)域?qū)I(yè)知識(shí)來(lái)指導(dǎo)搜索方向。在某個(gè)具體的配送優(yōu)化問(wèn)題中，這個(gè)系統(tǒng)甚至達(dá)到了原始人類競(jìng)賽的第5名，證明了AI在算法工程方面的巨大潛力。

然而，研究也暴露了當(dāng)前AI系統(tǒng)的一些根本性局限。當(dāng)面對(duì)需要全新思路的問(wèn)題時(shí)，AI往往會(huì)陷入已知模式的重復(fù)應(yīng)用中，難以實(shí)現(xiàn)真正的創(chuàng)新突破。這就像是一個(gè)廚師雖然能夠快速制作各種已知菜譜的變種，但很難發(fā)明出全新的烹飪方法。此外，AI在理解問(wèn)題的深層結(jié)構(gòu)和設(shè)計(jì)相應(yīng)的算法架構(gòu)方面，仍然遠(yuǎn)不如經(jīng)驗(yàn)豐富的人類工程師。

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了學(xué)術(shù)界的興趣范圍。在現(xiàn)實(shí)世界中，從物流優(yōu)化到資源調(diào)度，從金融風(fēng)控到能源管理，無(wú)數(shù)的工程挑戰(zhàn)都需要這種長(zhǎng)期的、迭代式的算法優(yōu)化能力。如果AI能夠在這個(gè)領(lǐng)域取得突破，將為各行各業(yè)帶來(lái)革命性的效率提升。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)了基準(zhǔn)測(cè)試設(shè)計(jì)的嚴(yán)謹(jǐn)性。他們與AtCoder公司密切合作，確保測(cè)試環(huán)境完全復(fù)制了真實(shí)競(jìng)賽的條件，包括相同的硬件配置、編譯環(huán)境、時(shí)間限制等。這種一致性保證了AI和人類專家之間的比較是公平而有意義的。同時(shí)，他們還建立了完善的評(píng)估體系，不僅考慮最終的性能得分，還分析了解決方案的穩(wěn)定性、改進(jìn)軌跡等多個(gè)維度。

在成本效益分析方面，研究發(fā)現(xiàn)了一個(gè)實(shí)用性很強(qiáng)的結(jié)果。一些性能相對(duì)較好的AI模型，如o4-mini-high，在成本控制方面表現(xiàn)出色，每個(gè)問(wèn)題的解決成本大約為7美元，這使得AI輔助的算法開(kāi)發(fā)在商業(yè)應(yīng)用中具有了現(xiàn)實(shí)可行性。相比之下，雇傭人類專家進(jìn)行同等深度的算法優(yōu)化工作，成本通常要高出數(shù)倍甚至數(shù)十倍。

研究還揭示了編程語(yǔ)言選擇對(duì)AI性能的影響。C++20作為性能導(dǎo)向的語(yǔ)言，在大多數(shù)優(yōu)化任務(wù)中表現(xiàn)最佳，這符合算法競(jìng)賽的傳統(tǒng)偏好。然而，有趣的是，Python和Rust在某些特定問(wèn)題類型上也顯示出了獨(dú)特的優(yōu)勢(shì)，這提示我們?cè)谠O(shè)計(jì)AI輔助的算法開(kāi)發(fā)工具時(shí)，需要考慮語(yǔ)言的多樣性和適應(yīng)性。

針對(duì)AI系統(tǒng)在長(zhǎng)期優(yōu)化中的表現(xiàn)，研究團(tuán)隊(duì)觀察到了一個(gè)類似人類學(xué)習(xí)的模式：AI能夠在迭代過(guò)程中逐步改進(jìn)解決方案，代碼復(fù)雜度也會(huì)隨著時(shí)間增長(zhǎng)，這表明它們確實(shí)在"學(xué)習(xí)"和"思考"如何更好地解決問(wèn)題。然而，這種改進(jìn)的速度和深度仍然有限，特別是在需要根本性算法創(chuàng)新的情況下。

為了驗(yàn)證基準(zhǔn)測(cè)試的有效性，研究團(tuán)隊(duì)甚至讓他們開(kāi)發(fā)的AI系統(tǒng)參加了真實(shí)的AtCoder競(jìng)賽。在AHC046競(jìng)賽中，他們的AI系統(tǒng)獲得了第154名的成績(jī)，這在1000多名參賽者中算是相當(dāng)不錯(cuò)的表現(xiàn)，進(jìn)一步證明了AI在算法工程方面的實(shí)際應(yīng)用潛力。

研究團(tuán)隊(duì)在論文中坦率地承認(rèn)了當(dāng)前工作的局限性。由于AtCoder競(jìng)賽的歷史相對(duì)較短，可用的問(wèn)題數(shù)量有限，這可能影響基準(zhǔn)測(cè)試的全面性。同時(shí)，他們也指出了AI系統(tǒng)與人類專家之間仍然存在的根本性差距，特別是在創(chuàng)造性思維和深度問(wèn)題理解方面。

這項(xiàng)研究為我們展現(xiàn)了AI發(fā)展的一個(gè)重要方向：從簡(jiǎn)單的任務(wù)執(zhí)行向復(fù)雜的創(chuàng)造性問(wèn)題解決轉(zhuǎn)變。雖然當(dāng)前的AI系統(tǒng)還不能完全匹敵頂尖的人類算法工程師，但它們已經(jīng)展現(xiàn)出了成為強(qiáng)大輔助工具的潛力。在不久的將來(lái)，我們可能會(huì)看到AI和人類工程師協(xié)作的新模式：AI負(fù)責(zé)快速探索解決方案空間，人類專家負(fù)責(zé)提供創(chuàng)新思路和深度洞察。

從更廣闊的視角來(lái)看，這項(xiàng)研究也提醒我們，真正的智能不僅僅是快速產(chǎn)生答案的能力，更是面對(duì)復(fù)雜挑戰(zhàn)時(shí)的持續(xù)思考、學(xué)習(xí)和改進(jìn)能力。這種能力的培養(yǎng)和評(píng)估，將是未來(lái)AI發(fā)展中的一個(gè)重要課題。對(duì)于普通人而言，這項(xiàng)研究預(yù)示著一個(gè)更加智能化的未來(lái)：我們?nèi)粘Ｉ钪杏龅降母鞣N優(yōu)化問(wèn)題，從最佳路線規(guī)劃到資源分配，都可能在AI的幫助下得到更好的解決方案。

研究團(tuán)隊(duì)已經(jīng)將ALE-Bench作為開(kāi)源項(xiàng)目發(fā)布，這意味著全世界的研究者都可以使用這個(gè)平臺(tái)來(lái)測(cè)試和改進(jìn)他們的AI系統(tǒng)。這種開(kāi)放性將加速整個(gè)領(lǐng)域的發(fā)展，推動(dòng)AI在算法工程方面的能力不斷提升。隨著更多研究團(tuán)隊(duì)的加入和更強(qiáng)大AI模型的出現(xiàn)，我們有理由期待在不遠(yuǎn)的將來(lái)看到更加令人驚喜的突破。

Q&A

Q1：ALE-Bench是什么？它與傳統(tǒng)的編程測(cè)試有什么不同？ A：ALE-Bench是專門測(cè)試AI長(zhǎng)期算法優(yōu)化能力的基準(zhǔn)平臺(tái)，包含40個(gè)真實(shí)算法競(jìng)賽問(wèn)題。與傳統(tǒng)編程測(cè)試不同，它沒(méi)有標(biāo)準(zhǔn)答案，需要AI像人類工程師一樣進(jìn)行數(shù)小時(shí)甚至數(shù)天的持續(xù)改進(jìn)，更像"馬拉松式"而非"短跑式"的挑戰(zhàn)。

Q2：目前最強(qiáng)的AI在算法競(jìng)賽中表現(xiàn)如何？能超過(guò)人類專家嗎？ A：目前最強(qiáng)的AI模型如o4-mini-high在某些問(wèn)題上能達(dá)到人類前11.8%的水平，但整體表現(xiàn)不夠穩(wěn)定。AI在短時(shí)間競(jìng)賽中通過(guò)大量試錯(cuò)能取得不錯(cuò)成績(jī)，但在需要深度創(chuàng)新的長(zhǎng)期挑戰(zhàn)中仍明顯落后于頂尖人類專家。

Q3：這項(xiàng)研究對(duì)普通人的生活會(huì)有什么影響？ A：這項(xiàng)研究預(yù)示著AI將能更好地解決日常優(yōu)化問(wèn)題，比如最佳出行路線、資源配置、工作調(diào)度等。未來(lái)我們可能看到AI輔助的智能系統(tǒng)大幅提升各行業(yè)效率，同時(shí)AI和人類專家協(xié)作的新模式也將改變工程問(wèn)題的解決方式。