CNET科技資訊網(wǎng) 7月28日 北京消息：今天，阿里巴巴的“NASA大腦”iDST（Institute of Data Science Technology）表示，《Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding》入選2017年國際計算機(jī)視覺大會ICCV，即計算機(jī)視覺領(lǐng)域的頂級會議之一。

這也是阿里巴巴本月內(nèi)第三次公布論文入選國際頂級學(xué)術(shù)會議的好消息。

據(jù)了解，這篇論文涉及的是計算機(jī)視覺（Vision）和自然語言處理（Language）兩個獨(dú)立領(lǐng)域結(jié)合的學(xué)術(shù)研究，提出了對圖像（或圖像顯著區(qū)域）更為細(xì)致精確的描述，顯示出阿里巴巴在Vision&Language研究方向的持續(xù)挖掘。

該論文通過創(chuàng)新的多模態(tài)、層次化的遞歸神經(jīng)網(wǎng)絡(luò)（Hierarchical Multimodal LSTM）方法，可以將整個句子、句子中的短語、整幅圖像及圖像中的顯著區(qū)域同時嵌入語義空間，并且自動學(xué)習(xí)出“句子-圖像”及“短語-圖像區(qū)域”間的對應(yīng)關(guān)系，生成包含更多形容詞的稠密語義空間，對圖像或圖像區(qū)域進(jìn)行更詳細(xì)和生動的描述。

也就是說，計算機(jī)以后不僅能說“一只鳥站在樹枝上”，還能說出“一只羽翼未豐的小鳥站在春天抽芽的樹枝上”、“一只張嘴乞食的小鳥”、“一只小鳥站在抽芽的樹枝上，撲騰翅膀?qū)W習(xí)飛翔”這樣更為生動復(fù)雜的句子。

論文作者介紹，這一研究將被用于“看圖說話（Image Captioning）”任務(wù)及其他頗有意義的應(yīng)用場景。如應(yīng)用于自動導(dǎo)盲系統(tǒng)，將拍攝的圖像轉(zhuǎn)換成文字和語音，以便提示盲人避障。

此外，還能用于“跨模態(tài)檢索（Cross-media Retrieval）”任務(wù)，當(dāng)用戶在電商搜索引擎中輸入一段描述性文字如“夏季寬松波西米亞大擺沙灘裙”，系統(tǒng)就能為用戶提供最相關(guān)的商品。

ICCV全稱為IEEE International Conference on Computer Vision，與CVPR（計算機(jī)視覺模式識別會議）和ECCV（歐洲計算機(jī)視覺會議）并稱計算機(jī)視覺方向的三大頂級會議。

在本月早些時候，阿里巴巴先后發(fā)布三篇論文入選國際多媒體會議ACM MM，四篇論文入選國際計算機(jī)視覺與模式識別會議CVPR的消息。

今年3月，阿里巴巴宣布啟動NASA計劃，要為未來20年研發(fā)核心科技。在這一計劃的號召下，阿里正在人工智能領(lǐng)域全面發(fā)力，在機(jī)器學(xué)習(xí)、視覺識別等領(lǐng)域不斷追趕世界頂尖的學(xué)術(shù)水平。