5月21日,搜狗聯(lián)合新華社推出的全球首個3D AI合成主播“新小微”正式亮相,為全國觀眾帶來最新的兩會新聞資訊報道?;谒压啡斯ぶ悄芎诵募夹g(shù)“搜狗分身”打造的“新小微”,將拉開中國傳媒行業(yè)全面進入智慧時代的序幕。
作為AI合成主播的開創(chuàng)者和引領(lǐng)者,自2018年基于搜狗分身技術(shù)推出全球首個AI合成主播后,搜狗分身持續(xù)取得重大突破,此次的3D AI合成主播就是搜狗分身最新的突破性成果。
“新小微”以新華社記者趙琬微為原型,基于超寫實3D數(shù)字人建模、多模態(tài)識別及生成、實時面部動作生成及驅(qū)動、遷移學(xué)習等多項人工智能前沿技術(shù),使機器可以基于輸入文本生成逼真度極高的3D數(shù)字人視頻內(nèi)容。
3D AI合成主播結(jié)合了原力科技提供的業(yè)界領(lǐng)先的掃描還原、面部肌肉驅(qū)動、表情肢體捕捉等技術(shù),生產(chǎn)出了高度還原真人發(fā)膚、形象逼真的數(shù)字人模型;同時基于搜狗分身領(lǐng)先的端到端多模態(tài)建模技術(shù),使用語音、圖像、文本、3D肌肉運動數(shù)據(jù)等多模態(tài)信息完成聯(lián)合建模訓(xùn)練。在AI算法的驅(qū)動下,只需輸入文本內(nèi)容,“新小微”就能根據(jù)語義實時播報新聞,其表情唇動、肢體動作和語音表達高度契合、自然逼真。
搜狗推出全球第一位AI合成主播后,通過不斷迭代更新使AI合成主播具備了多語種播報、對話交互等諸多能力,用最前沿的技術(shù)能力和產(chǎn)品效果,不斷推動傳媒行業(yè)內(nèi)容生產(chǎn)的效率變革。據(jù)統(tǒng)計,首位 AI 合成主播“新小浩”已在新華社客戶端上持續(xù)為觀眾服務(wù)500 多天,先后產(chǎn)出13,000多條新聞報道,累計時長超過35,000分鐘。
較之前的2D AI合成主播,3D“新小微”不僅立體、靈活,可控,還具有同時支持多機位多景深,360°任意角度呈現(xiàn)內(nèi)容等能力,在應(yīng)用空間上擁有更多的可能性,為新聞節(jié)目多樣化制作和呈現(xiàn)帶來了更多選擇。
從最初的2D到今天的3D AI合成主播,其背后不僅僅是搜狗分身技術(shù)的一次次突破迭代,更體現(xiàn)出人工智能驅(qū)動傳媒行業(yè)生產(chǎn)效率與生產(chǎn)流程的不斷革新。不僅減輕了行業(yè)從業(yè)者的重復(fù)性工作,更讓相關(guān)工作“擬人化”、“生動化”,讓傳媒新聞播報更加有趣,更具現(xiàn)場性。不久的將來,3D AI合成主播還會走出演播廳,支持外景播報和互動采訪,為觀眾帶來最前沿的新聞訊息。
在5G全面鋪展的新技術(shù)時代,隨著分身技術(shù)落地經(jīng)驗的不斷積累以及產(chǎn)品技術(shù)的突破創(chuàng)新,搜狗分身也會從傳媒領(lǐng)域出發(fā),快速向影音娛樂、醫(yī)療健康、教育金融等眾多領(lǐng)域蔓延輻射,持續(xù)推動大眾智能生活的建設(shè)。
好文章,需要你的鼓勵
浙江大學(xué)團隊提出動態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團隊提出SIRI方法,通過"壓縮-擴張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準確率低"的問題。實驗顯示,該方法在數(shù)學(xué)競賽題上將模型準確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團隊開發(fā)出Rolling Forcing技術(shù),實現(xiàn)AI視頻實時流式生成的重大突破。該技術(shù)通過滾動窗口聯(lián)合去噪、注意力錨點機制和高效訓(xùn)練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團隊發(fā)現(xiàn),通過讓AI模型學(xué)習解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個幾何題目的Euclid30K數(shù)據(jù)集,使用強化學(xué)習方法訓(xùn)練多個AI模型。實驗結(jié)果顯示,幾何訓(xùn)練在四個空間智能測試基準上都帶來顯著提升,其中最佳模型達到49.6%準確率,超越此前最好成績。這項研究揭示了基礎(chǔ)幾何知識對培養(yǎng)AI空間智能的重要價值。