Fraunhofer IIS在音頻編解碼領(lǐng)域擁有超過(guò)25年的經(jīng)驗(yàn),先后發(fā)明了MP3格式和AAC技術(shù),現(xiàn)如今很多的技術(shù)也應(yīng)用在許多不同的場(chǎng)景當(dāng)中。目前致力于研發(fā)兩大塊技術(shù):第一是xHE-AAC和MPEG H的音頻解碼,xHE-AAC是下一代廣播電視將會(huì)主要使用的編解碼;第二個(gè)是EVS(增強(qiáng)語(yǔ)音服務(wù)),將主要應(yīng)用于4G LTE領(lǐng)域。目前,有超過(guò)1000家公司在使用Fraunhofer IIS的授權(quán)許可軟件,全球超過(guò)70億臺(tái)的設(shè)備部署了HE-AAC。
AAC系列編解碼
Fraunhofer先后研發(fā)了MP3格式、能夠提高編碼效率的AAC技術(shù)以及其組件、目前最流行的也是幾乎在每部手機(jī)中都配備的HE-AAC技術(shù)。此外,AAC-ELD是主要應(yīng)用在通信領(lǐng)域,能夠?qū)崿F(xiàn)雙向低延遲通信的技術(shù)。目前,應(yīng)用于4G LTE電信通信的技術(shù)也正在研發(fā)中。
Fraunhofer音頻技術(shù)最大的特征是向后兼容。如果企業(yè)使用了最新的解碼器xHE-AAC,那么之前所有的技術(shù)均能夠使用。一些主流的電視臺(tái),比如BBC、NHK、新加坡的MediaCorp都使用了這一技術(shù)。
目前諸如廣播電視、IP網(wǎng)絡(luò)和移動(dòng)網(wǎng)絡(luò)的技術(shù)都在不斷融合的過(guò)程中,也與很多標(biāo)準(zhǔn)組織進(jìn)行合作,比如:歐洲智能電視標(biāo)準(zhǔn)HbbTV,網(wǎng)絡(luò)標(biāo)準(zhǔn)DASH,以及為好萊塢影院提供在線語(yǔ)音播放標(biāo)準(zhǔn)Ultra violet。HE-AAC技術(shù)是以上標(biāo)準(zhǔn)的必選技術(shù)。幾乎所有的主流媒體、廣播電視設(shè)備及服務(wù)廠商均支持HE-AAC多聲道,與此同時(shí),越來(lái)越多的服務(wù)供應(yīng)方也在使用HE-AAC的技術(shù),HE-AAC被廣泛應(yīng)用于全球最受歡迎的流媒體服務(wù)中。
下一代廣播電視
下一代廣播電視的話題在包括中國(guó)、歐洲、美國(guó)、日本在內(nèi)的國(guó)家都在進(jìn)行熱烈的討論。所以基于這樣一個(gè)背景,也產(chǎn)生了一個(gè)新的機(jī)構(gòu)——FOBTV。來(lái)自于全世界各地的會(huì)員都集中于此,共同探討未來(lái)廣播電視標(biāo)準(zhǔn)的發(fā)展。Fraunhofer希望未來(lái)電視系統(tǒng)能夠?qū)崿F(xiàn)全球化的兼容,但這并不意味著全世界各地的電視標(biāo)準(zhǔn)全是一樣的,而是能夠開發(fā)出一個(gè)更為靈活的系統(tǒng),來(lái)更好地滿足各地方的標(biāo)準(zhǔn),但與此同時(shí)又能夠相互兼容。值得一提的是,這個(gè)機(jī)構(gòu)的技術(shù)委員會(huì)的主席是一名中國(guó)人,來(lái)自上海交通大學(xué)的張文軍教授。
Fraunhofer Cingo
這個(gè)產(chǎn)品的理念是希望能夠在移動(dòng)設(shè)備當(dāng)中為客戶提供環(huán)繞音效。這是一個(gè)非常重要的技術(shù)進(jìn)步,一般來(lái)說(shuō)高品質(zhì)的音效都需要在非常理想的音樂(lè)環(huán)境下才能得以實(shí)現(xiàn)。但隨著技術(shù)的進(jìn)步,目前有越來(lái)越多的用戶會(huì)在小型設(shè)備上,比如平板電腦或手機(jī)中欣賞音樂(lè)或觀看電影。
而這項(xiàng)技術(shù)就能夠滿足用戶即使在小型設(shè)備中也能獲得優(yōu)質(zhì)的聽覺(jué)體驗(yàn)。雖然人類只有兩只耳朵,但也能夠聽到各種環(huán)繞聲音效,并且能夠非常清晰地分辨聲音來(lái)自于前面、后面或者是上面、下面。所以Fraunhofer認(rèn)為,人的兩個(gè)耳朵能夠?qū)崿F(xiàn)這些效果的話,如果有兩個(gè)揚(yáng)聲器,應(yīng)該也能夠?qū)崿F(xiàn)這種環(huán)繞音效的效果。目前這項(xiàng)技術(shù)能夠?qū)崿F(xiàn)一種虛擬的環(huán)繞音效效果,即使只有兩個(gè)揚(yáng)聲器也可以。谷歌已經(jīng)將這項(xiàng)技術(shù)嵌入到他們的設(shè)備當(dāng)中去,所以現(xiàn)在Google Play里面,你下載一個(gè)音頻便可以享受5.1聲道音效的影音效果。
對(duì)白增強(qiáng)技術(shù)——掌控音頻平衡
為了讓電視和廣播聽眾能夠擁有音頻的掌控權(quán),F(xiàn)raunhofer研發(fā)了對(duì)白增強(qiáng)技術(shù)。這項(xiàng)備受贊譽(yù)的技術(shù)幫助廣播電視領(lǐng)域克服了一個(gè)長(zhǎng)期困擾的問(wèn)題,即觀眾依照個(gè)人需求來(lái)改變環(huán)境音和對(duì)白之間的平衡。Fraunhofer在2013年IBC期間攜手Thomson Video Networks演示了對(duì)白增強(qiáng)技術(shù)在實(shí)時(shí)數(shù)字視頻廣播(DVB)鏈中的應(yīng)用。此外,在2011年的溫布爾登網(wǎng)球錦標(biāo)賽期間,F(xiàn)raunhofer IIS與BBC共同針對(duì)對(duì)白增強(qiáng)技術(shù)的可用性進(jìn)行了用戶體驗(yàn)反饋實(shí)驗(yàn)。
對(duì)白增強(qiáng)技術(shù)正在完成DVB標(biāo)準(zhǔn)化的進(jìn)程中,因此這項(xiàng)技術(shù)能夠應(yīng)用于基于DVB標(biāo)準(zhǔn)(如DVB-T2)的傳輸系統(tǒng)中。
對(duì)白增強(qiáng)技術(shù)是HE-AAC編解碼器的理想補(bǔ)充。作為目前最高效的電視廣播音頻編解碼器,在英國(guó)、瑞典等大多數(shù)推出了第二代地面電視的國(guó)家,HE-AAC都是指定的音頻編解碼器。此外,HE-AAC還是 HbbTV(Hybrid Broadcast Broadband TV,混合廣播寬帶電視)指定的音頻編解碼器。
Fraunhofer IIS在中國(guó)
Fraunhofer幾乎在和中國(guó)所有的移動(dòng)運(yùn)營(yíng)商進(jìn)行溝通,希望他們將HE-AAC技術(shù)應(yīng)用在更多的應(yīng)用場(chǎng)景當(dāng)中,比如VoIP、VoLTE等技術(shù)在音樂(lè)和在移動(dòng)設(shè)備領(lǐng)域的應(yīng)用。此外還與中小企業(yè)的合作。對(duì)于Fraunhofer來(lái)說(shuō),最為重要的一點(diǎn)就是幫助中國(guó)制造商以正確的方式來(lái)實(shí)施我們的技術(shù),以使得他們?cè)谌蚍秶鷥?nèi)保持競(jìng)爭(zhēng)優(yōu)勢(shì)。就在昨天,F(xiàn)raunhofer剛剛宣布了一項(xiàng)與香港公司的合作項(xiàng)目,為客戶提供測(cè)試套件,以保證他們的測(cè)試能夠滿足各個(gè)不同市場(chǎng)的需要。中國(guó)的客戶希望按照Fraunhofer的標(biāo)準(zhǔn)做測(cè)試,并由Fraunhofer提供認(rèn)證。目前,從歐洲、新加坡、馬來(lái)西亞等國(guó)家進(jìn)口的廣電設(shè)備必須得到Fraunhofer的相關(guān)認(rèn)證才得以進(jìn)口。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專家搜索方法,讓AI能根據(jù)不同問(wèn)題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類型問(wèn)題偏愛(ài)不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過(guò)"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問(wèn)題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過(guò)滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問(wèn)題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過(guò)讓AI模型學(xué)習(xí)解決幾何問(wèn)題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來(lái)顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。