雖然計(jì)算機(jī)在觀看悲情電影時(shí)不會(huì)哭,但它卻能預(yù)測(cè)我們的淚點(diǎn)。
在2016年倫敦科幻電影節(jié)上首次亮相的科幻微電影《Sunspring》(《陽(yáng)春》),講述了一個(gè)全民失業(yè)的反烏托邦國(guó)度,一經(jīng)放映就吸引了大票粉絲,有觀眾評(píng)價(jià)它有趣卻又怪誕,但也有很多觀眾反饋它的情節(jié)設(shè)計(jì)存在諸多不合理。
其實(shí),這部影片最大的亮點(diǎn)就在于:它的編劇是人工智能(AI)。
看到這里,很多人可能又會(huì)感慨:“機(jī)器會(huì)不會(huì)取代人類(lèi)編劇,就像無(wú)人駕駛汽車(chē)可能取代了人類(lèi)司機(jī)一樣?!”
其實(shí),如前面所說(shuō),如果你細(xì)看這部影片,就會(huì)發(fā)現(xiàn)很多“穿幫”劇情。比如,片中某個(gè)角色咳嗽時(shí)眼球竟然掉了!還有有影評(píng)家指出:“片中的對(duì)話(huà)聽(tīng)起來(lái)像是不相關(guān)語(yǔ)句的拼湊”。不難看出,盡管科技不斷進(jìn)步,但人類(lèi)編劇的地位卻仍然不可動(dòng)搖。
這里,我們來(lái)設(shè)想一個(gè)不太極端的場(chǎng)景:機(jī)器和人類(lèi)是否有可能共同完成一個(gè)劇本?即由人類(lèi)編劇負(fù)責(zé)撰寫(xiě)巧妙的轉(zhuǎn)折和現(xiàn)實(shí)對(duì)話(huà),AI則負(fù)責(zé)提供見(jiàn)解、增強(qiáng)故事的感染力,比如識(shí)別能觸動(dòng)觀眾的背景音樂(lè)或畫(huà)面。
——人物命運(yùn)的跌宕起伏,包括在困境中掙扎、克服困難、誤入歧途、戰(zhàn)勝邪惡勢(shì)力等等。我們發(fā)現(xiàn),不論是對(duì)于YouTube上的業(yè)余視頻制作者,還是電影工作室制作人,只要涉及到劇情編寫(xiě),都會(huì)考量這些問(wèn)題。
因此,如果機(jī)器能做到這些,那么編劇是否可以借助這些信息來(lái)預(yù)測(cè)觀眾的反應(yīng),從而調(diào)整自己的劇本?答案是肯定的。
首先,我們先來(lái)談?wù)勄楦星€(xiàn)。
縱觀整個(gè)文學(xué)領(lǐng)域,我們發(fā)現(xiàn)像桑達(dá)克、斯皮爾伯格、普魯斯特和皮克斯這樣的傳奇作家,就非常善于拿捏和激發(fā)觀眾的情感,并通過(guò)觀眾的喜惡,適當(dāng)調(diào)整故事情節(jié),在關(guān)鍵的時(shí)刻喚起觀眾內(nèi)心的快樂(lè)、傷感或憤怒。然而,就算是最優(yōu)秀的作家,也無(wú)法確保故事情節(jié)的完美無(wú)缺,就連莎士比亞的某些戲劇也可能無(wú)法讓觀眾產(chǎn)生共鳴(沒(méi)有多少人喜歡他的《辛白林》)。
那么,是什么導(dǎo)致有些電影廣受好評(píng),有些卻無(wú)人問(wèn)津?對(duì)情感曲線(xiàn)的把握非常關(guān)鍵。
情感曲線(xiàn)這一概念由來(lái)已久,大師級(jí)作家都對(duì)它十分熟悉,有些人還會(huì)嘗試找出其中的通用模式。舉個(gè)例子,美國(guó)黑色幽默作家Kurt Vonnegut就認(rèn)為最成功的情感曲線(xiàn)是《灰姑娘》的故事模式:在故事開(kāi)頭主人公灰姑娘身處困境,接著在仙女教母的幫助下扭轉(zhuǎn)命運(yùn),其他難題也隨之解決。
總結(jié)一下,即“苦難”的故事開(kāi)頭,但最終都有圓滿(mǎn)的結(jié)局——王子和公主從此過(guò)上了幸福美滿(mǎn)的生活。
毋庸置疑,故事的情感曲線(xiàn)往往會(huì)影響觀眾的參與度,包括觀眾在社交網(wǎng)絡(luò)上的影評(píng),以及是否將其推薦給其他朋友。據(jù)賓夕法尼亞大學(xué)對(duì)《紐約時(shí)報(bào)》的文章展開(kāi)的研究發(fā)現(xiàn),讀者更樂(lè)意分享那些能引起強(qiáng)烈情感共鳴的故事,尤其是能喚起讀者積極情緒的故事。由此可推測(cè),電影觀眾也會(huì)有與讀者相似的反饋方式。
此前,佛蒙特大學(xué)開(kāi)發(fā)了一種算法,即利用計(jì)算機(jī)掃描影片臺(tái)詞或劇本內(nèi)容來(lái)構(gòu)建情感曲線(xiàn)。
在此基礎(chǔ)上,不久前MIT社會(huì)機(jī)器實(shí)驗(yàn)室又聯(lián)合麥肯錫消費(fèi)技術(shù)與媒體團(tuán)隊(duì)繼續(xù)進(jìn)行了深入研究,研發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型,用來(lái)觀看影片、電視節(jié)目和網(wǎng)絡(luò)短片中的細(xì)節(jié)特征,并實(shí)時(shí)評(píng)估其中包含的積極與消極情緒。
這些模型的研究范圍覆蓋影片的所有元素,包括情節(jié)、角色、對(duì)話(huà),及例如追車(chē)場(chǎng)景中的人臉特寫(xiě)或音樂(lè)片段等其他細(xì)節(jié)。通過(guò)將各部分組成一個(gè)整體,就形成了故事的情感曲線(xiàn)。
也就是說(shuō),當(dāng)機(jī)器查看了未標(biāo)記視頻后,就能基于所有視聽(tīng)元素為故事創(chuàng)作出情感曲線(xiàn)。這是前所未見(jiàn)的。
,影片主角Carl Fredricksen是個(gè)脾氣暴躁的小老頭,在妻子Ellie去世后,他用數(shù)千個(gè)氣球帶著自己的房子飛向南美。為了更好展現(xiàn)Carl的探險(xiǎn)旅程,編劇需要想出一個(gè)快速交代復(fù)雜背景故事的方法。
影片以一個(gè)無(wú)聲的片段(只有背景音樂(lè))為開(kāi)頭,隨著Carl的生活場(chǎng)景徐徐展開(kāi),情感曲線(xiàn)也就出現(xiàn)了。(我們也觀察了整部影片的情感曲線(xiàn),但分段考查更能以小見(jiàn)大。)如下圖:
圖1:由機(jī)器算法所展現(xiàn)的電影《飛屋環(huán)游記》片頭的情感曲線(xiàn)
從圖中可以看到,影片中蒙太奇(在電影中指有意涵的時(shí)空人為的拼貼剪輯手法)的高低點(diǎn),x軸是時(shí)間,以分鐘為單位;y軸是視覺(jué)效價(jià),即圖像在特定時(shí)間喚起觀眾積極或消極情緒的程度。此處由機(jī)器打分,分?jǐn)?shù)越高,情緒越積極。為開(kāi)展全面分析,我們還用機(jī)器為完整影音建立了類(lèi)似圖表。不過(guò)重點(diǎn)在圖像上,因?yàn)檫@也是接下來(lái)分析觀眾情感投入的研究重點(diǎn)。
在圖中,視覺(jué)效價(jià)的分值為0到1,但并非每部電影的情感曲線(xiàn)都會(huì)跨域整個(gè)區(qū)間。重點(diǎn)在于相對(duì)效價(jià),即某個(gè)場(chǎng)景與其他場(chǎng)景相比之下的積極或消極程度,以及情感曲線(xiàn)的整體形狀。
和其他影片一樣,《飛屋環(huán)游記》片頭的蒙太奇片段中也有系列情緒波動(dòng),因此其情感曲線(xiàn)并非連續(xù)上升或下降。例如,Carl在兒時(shí)探險(xiǎn)時(shí),曲線(xiàn)到達(dá)了峰值(carl兒時(shí)的探險(xiǎn)經(jīng)歷中有很多美好快樂(lè)的回憶);而當(dāng)年輕的Ellie半夜恐嚇Carl時(shí),曲線(xiàn)瞬間大幅下滑。Carl受到驚嚇后,曲線(xiàn)呈現(xiàn)了消極走向。另外兩處的峰值間隔較長(zhǎng),出現(xiàn)于Carl和Ellie婚后渴望孩子以及老兩口深情相擁的片段。結(jié)尾處, Carl在Ellie 病逝后獨(dú)自一人回到家中,情感效價(jià)驟降。
目前,MIT的機(jī)器學(xué)習(xí)模型已經(jīng)分析了上千部影片,并為每部影片繪制了情感曲線(xiàn)。為檢驗(yàn)其準(zhǔn)確性,團(tuán)隊(duì)還招募了志愿者為各電影片段手動(dòng)標(biāo)注情感標(biāo)簽,同時(shí),志愿者們通過(guò)注明喚起情感共鳴的影片元素,如對(duì)話(huà)、音樂(lè)或畫(huà)面,還可以不斷優(yōu)化模型。
通過(guò)對(duì)影片分析數(shù)據(jù)的篩選,我們開(kāi)發(fā)了一套為影片故事分類(lèi)的方法,即把情感曲線(xiàn)相同的影片歸為一類(lèi)。這個(gè)方法結(jié)合了聚類(lèi)算法k-medoids與動(dòng)態(tài)時(shí)間規(guī)整算法,從而檢測(cè)兩個(gè)不同情緒變化頻率的視頻序列之間的相似之處。
整個(gè)研究過(guò)程選取了兩個(gè)不同的數(shù)據(jù)集,分別由500多部好萊塢電影和Vimeo網(wǎng)站上的1500個(gè)短片構(gòu)成,并從中歸納情感曲線(xiàn)的類(lèi)別。
在初步分析其視覺(jué)效價(jià)時(shí),我們發(fā)現(xiàn)大多數(shù)影片可歸納為幾種類(lèi)別,結(jié)果與Kurt Vonnegut的猜想一致。
的影片的情感曲線(xiàn)
從上圖中看到,Vimeo數(shù)據(jù)集中的情感曲線(xiàn)可分為五類(lèi)。例如,標(biāo)黃的曲線(xiàn)類(lèi)型在視頻前期消極情緒激增,此后直至接近尾聲,始終維持積極情緒。(經(jīng)機(jī)器對(duì)數(shù)據(jù)進(jìn)行分析評(píng)分,所有影片開(kāi)頭和結(jié)尾處的效價(jià)值都會(huì)偏低。)
了解影片的情感走向誠(chéng)然有趣,但明確如何使用這些分析結(jié)果更為重要。
影片的情感曲線(xiàn)或曲線(xiàn)類(lèi)別能否決定觀眾的觀影反應(yīng)?包含特定情感曲線(xiàn)的影片能否激發(fā)觀眾的情緒?研究團(tuán)隊(duì)嘗試通過(guò)分析Vimeo短片的數(shù)據(jù)集來(lái)回答以上問(wèn)題。(相較于聲音曲線(xiàn),視覺(jué)曲線(xiàn)與影片內(nèi)容的關(guān)聯(lián)性更強(qiáng),且結(jié)合兩種曲線(xiàn)會(huì)增加分析難度,因此決定圍繞視覺(jué)曲線(xiàn)展開(kāi)分析。)
在保證影響在線(xiàn)反饋的元數(shù)據(jù)(如影片長(zhǎng)度和上傳日期)不變的前提下,我們運(yùn)用了回歸模型分析影片的情感曲線(xiàn)特征。
需要說(shuō)明的是,本研究的目的是預(yù)測(cè)Twitter及其他社交媒體上影片的評(píng)論數(shù)。除去評(píng)論中的負(fù)面內(nèi)容,多數(shù)情況下,評(píng)論越多說(shuō)明觀眾反應(yīng)越強(qiáng)烈。但也有例外,比如像Gigli和Ishtar(《鴛鴦綁匪》和《伊斯達(dá)》)這類(lèi)電影,盡管能引發(fā)大量網(wǎng)評(píng),卻鮮有好評(píng)。
。由分析可知,圖2標(biāo)紅的曲線(xiàn)類(lèi)型走勢(shì)起起伏伏,早期充滿(mǎn)成功和喜悅,后期逐漸陷入不幸。在所有類(lèi)別中,此類(lèi)影片結(jié)局最悲慘。但盡管如此,還是會(huì)給觀眾留下深刻印象。
除此之外,在針對(duì)Vimeo短片的其他分析中,還有一類(lèi)影片的評(píng)論最多,遠(yuǎn)高于其他影片(見(jiàn)圖3)。這類(lèi)影片多以積極的情感爆發(fā)作為故事高潮,接近曲線(xiàn)尾端時(shí)走勢(shì)激增。而圖中這兩類(lèi)影片的主要區(qū)別在于左側(cè)圖中的故事在圓滿(mǎn)結(jié)局前的情緒波動(dòng)更大。
圖3:兩類(lèi)評(píng)論最多的影片類(lèi)型
研究表明觀眾更喜愛(ài)大團(tuán)圓結(jié)局的結(jié)果正好相反。
在此基礎(chǔ)上,研究團(tuán)隊(duì)還瀏覽了Vimeo網(wǎng)上短片的所有評(píng)論,對(duì)情感傾向進(jìn)行分類(lèi)評(píng)分,然后運(yùn)行程序統(tǒng)計(jì)了評(píng)論長(zhǎng)度。分析結(jié)果表明,上述三類(lèi)影片(即黃色、紅色和藍(lán)色線(xiàn)條)的評(píng)論更長(zhǎng),觀眾反應(yīng)更強(qiáng)烈。評(píng)論不僅只有“好電影”幾個(gè)字,還可見(jiàn)走心評(píng)論,如“太棒了……太震撼了……仿佛受到了重?fù)簟?rdquo;還有些評(píng)論也很醒目,它們不局限于個(gè)別的視覺(jué)畫(huà)面,還在意影片帶來(lái)的整體感受,或影片的情節(jié)走向。
事實(shí)上,這些分析并非要讓編劇按照特定模版撰寫(xiě)劇本,就像要求George Orwell為《1984》續(xù)寫(xiě)美滿(mǎn)結(jié)局來(lái)博觀眾歡心一樣。但它們可以激勵(lì)編劇客觀地審視劇本內(nèi)容,并作出相應(yīng)調(diào)整以引發(fā)觀眾共鳴,包括改變關(guān)鍵場(chǎng)景配樂(lè)或?qū)η楣?jié)、對(duì)話(huà)或角色等內(nèi)容進(jìn)行微調(diào)。
越來(lái)越多的影視從業(yè)者開(kāi)始逐漸意識(shí)到AI的價(jià)值,并利用其中的價(jià)值進(jìn)行創(chuàng)作。
來(lái)源:McKinsey
作者:Eric Chu, Jonathan Dunn, Deb Roy, Geoffrey Sands, and Russell Stevens
編譯整理:科技行者
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專(zhuān)家搜索方法,讓AI能根據(jù)不同問(wèn)題靈活調(diào)整內(nèi)部專(zhuān)家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類(lèi)型問(wèn)題偏愛(ài)不同專(zhuān)家配置,為AI推理優(yōu)化開(kāi)辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過(guò)"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話(huà)多且準(zhǔn)確率低"的問(wèn)題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開(kāi)發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過(guò)滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問(wèn)題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開(kāi)辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過(guò)讓AI模型學(xué)習(xí)解決幾何問(wèn)題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來(lái)顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。