打開熟悉的購物 App，在搜索欄輸入想要買的東西，有時候你會發(fā)現(xiàn)文字不能很好地匹配你想要找的東西，用一張圖片來搜索更簡單直接。這種“以圖搜圖”的操作基本上所有電商平臺現(xiàn)在都支持了，效果也還不錯。以京東 App 為例，筆者在搜索框輸入下圖，得到結(jié)果如右圖所示，是筆者想要的多肉植物沒錯。

用起來很方便，但你可能不知道的是，這簡單的搜索動作背后，卻是復(fù)雜的計算機視覺技術(shù)在提供支持，甚至用到了圖像內(nèi)容、文本和G層語義屬性等多個模態(tài)下的信息融合，來實現(xiàn)準確的以圖搜圖。

當然，拍照購只是京東電商的眾多應(yīng)用之一，跨模態(tài)技術(shù)應(yīng)用還有很多，比如推薦和信息流廣告，內(nèi)容審核也可以結(jié)合海量的商品圖像與對應(yīng)的商品語義屬性，學(xué)習(xí)圖像語義特征表達。另外，我們在使用京東 App 時可能都有過被智能客服接待的經(jīng)歷，這背后的技術(shù)，就是在任務(wù)驅(qū)動型的多輪對話中融入視覺到語言的跨模態(tài)轉(zhuǎn)換技術(shù)，讓智能客服可以自動地對用戶上傳的圖片或視頻進行自動應(yīng)答。

在物流場景，京東也成功地將視頻分析技術(shù)應(yīng)用于物流園區(qū)作業(yè)人員行為規(guī)范管理中，特別是針對監(jiān)控視頻的站點環(huán)境、攝像頭角度和成像條件差異性較大等難點，京東采用了自研的基于局部——全局傳播網(wǎng)絡(luò)的通用視頻特征以及G效視頻事件時序檢測框架，并融入了跨域?qū)W習(xí)技術(shù)，實現(xiàn)了同時在幾百個不同的站點中全天候的作業(yè)人員操作行為實時檢測，有效地管理了物流作業(yè)人員在各個站點的工作規(guī)范。

可能會有人好奇，這背后的多模態(tài)技術(shù)在京東電商和物流場景中具體是如何實現(xiàn)的，多模態(tài)技術(shù)在電商和物流中還有哪些熱門的落地應(yīng)用，多模態(tài)技術(shù)本身當前發(fā)展到哪一步了，目前發(fā)展遇到了哪些瓶頸，未來又將向哪些方向發(fā)展，等等。

帶著這些問題，CSDN 邀請到了京東 AI 研究院算法科學(xué)家姚霆博士，來為我們答疑解惑。

師從多媒體L域L軍人物Chong-Wah Ngo

姚霆本科和碩士畢業(yè)于中國科學(xué)技術(shù)大學(xué)，博士就讀于香港城市大學(xué)，師從 ACM 杰出科學(xué)家，也是多媒體L域的L軍人物之一 Chong-Wah Ngo 教授。博士畢業(yè)后，他加入微軟亞洲研究院任職研究員，主研計算機視覺。2018 年 6 月，姚霆加入京東 AI 研究院，擔任算法科學(xué)家，負責L導(dǎo)京東視覺與多媒體實驗室的視覺內(nèi)容分析團隊，研究方向主要關(guān)注視頻內(nèi)容理解、視覺與語言，以及大規(guī)模多媒體內(nèi)容搜索。

姚霆在 CVPR/ICCV/ECCV/AAAI/SIGIR/ACM MM/TIP/TMM 等會議/期刊上已發(fā)表論文 50 余篇（引用率 3600 余次），現(xiàn)任多媒體L域?qū)W術(shù)期刊 IEEE Transactions on Multimedia 期刊編委。值得一提的是，姚霆還是 P3D ResNet（視頻特征學(xué)習(xí)）、LSTM-A（圖像語義屬性）、GCN-LSTM（圖像物體關(guān)系）、HIP（圖像分層解析）、X-LAN（G階注意力機制） 的作者和計算機視覺L域重要數(shù)據(jù)集MSR-VTT（視頻描述生成） 的創(chuàng)建人，曾帶L團隊獲得多項視頻內(nèi)容理解和跨域?qū)W習(xí)競賽G軍，是當之無愧的學(xué)術(shù)帶頭人。

實際上，姚霆不僅在學(xué)術(shù)上成果頗豐，在京東也有更多機會將實驗室的研究成果落地。

在這里，AI 研究院計算機視覺和多媒體實驗室主要有 4 個研究方向：人臉計算、人體分析、圖像理解和視頻分析，而姚霆所帶L的視覺內(nèi)容分析團隊主要關(guān)注兩個方向，即視頻內(nèi)容理解和視覺與語言。前者包括從底層的針對視頻理解的神經(jīng)網(wǎng)絡(luò)設(shè)計，視頻特征表達學(xué)習(xí)，到視頻動作/事件識別，動作定位和檢測，視頻語義分割，視頻描述生成等全棧式的分析維度，后者則集中在圖像/視頻的語義特征學(xué)習(xí)，視覺與語言的特征交互，以及跨模態(tài)的預(yù)訓(xùn)練課題。

以學(xué)術(shù)研究帶動產(chǎn)業(yè)落地，正是姚霆所帶L的團隊要做的事，在多模態(tài)技術(shù)研究上，這支團隊一直嘗試多模態(tài)L域有所突破，比如近期該實驗室在視覺與語言方向提出了一個全新的G階注意力機制（X-linear Attention Block），首次將其融入至圖像描述生成任務(wù)中，主要的技術(shù)創(chuàng)新是打破了傳統(tǒng)注意力機制中一階的特征交互限制，通過所設(shè)計的G階注意力機制可以靈活地捕捉不同模態(tài)間G階乃至無窮階的特征交互，大大提升了視覺到語言的跨模態(tài)轉(zhuǎn)換性能。這個注意力機制在 COCO 在線測試集上達到世界L先的水平，并被 CVPR 2020 接收。

在視頻內(nèi)容理解課題上，實驗室在 2019 年提出了局部——全局傳播（LGD）網(wǎng)絡(luò)。這種全新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計另辟蹊徑地在傳統(tǒng)三維卷積網(wǎng)絡(luò)基礎(chǔ)上引入了對全局信息的獨立建模，提升了視頻基礎(chǔ)特征的描述能力。此外，不同于現(xiàn)有的由人工設(shè)定的視頻網(wǎng)絡(luò)結(jié)構(gòu)，實驗室還創(chuàng)新性地提出了基于可微分結(jié)構(gòu)搜索的視頻網(wǎng)絡(luò)結(jié)構(gòu)自動搜索方法（SDAS），從而在視頻數(shù)據(jù)上讓機器自動地學(xué)習(xí)和設(shè)計針對視頻內(nèi)容理解的網(wǎng)絡(luò)結(jié)構(gòu)，同時也可以在搜索過程中加入對于運行效率的約束，以定制化地搜索優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

多模態(tài)表示學(xué)習(xí)、模態(tài)轉(zhuǎn)化等“老大難”問題怎么解決？

保持技術(shù)創(chuàng)新的過程中，姚霆團隊很清楚地意識到，多模態(tài)在技術(shù)層面一定繞不過一些難以解決的“老大難”問題，比如多模態(tài)表示學(xué)習(xí)、模態(tài)轉(zhuǎn)化、多模態(tài)融合、跨模態(tài)分析、跨域?qū)W習(xí)，就是幾個典型的挑戰(zhàn)。針對這些問題，京東其實提出了一些有效的方法，也許對相關(guān)L域的研究人員和學(xué)習(xí)者有一定借鑒意義。

在多模態(tài)表示和跨模態(tài)轉(zhuǎn)化方向，姚霆以視覺和語言方面舉例，2017 年在圖像特征表達方面融入了G層語義特征，以增強所生成語言描述和圖像的語義一致性；2018 年則更進一步挖掘了圖像中物體和物體間的語義空間關(guān)系，構(gòu)建出物體間語義和空間的關(guān)系圖，從而促進對圖像內(nèi)容的深層次理解。然而，盡管物體間關(guān)系圖有效地引入了物體間關(guān)系的語義信息，但依然無法充分表達整個圖像所包含的豐富語義，所以在 2019 年，京東又提出了一種多層次的樹形語義結(jié)構(gòu)，它囊括了從語義分割后的物體實例到檢測后的物體區(qū)域再到整個圖像的不同層級之間的語義信息。通過這樣一種樹形結(jié)構(gòu)，可以有效地對物體不同層次間語義關(guān)聯(lián)性進行編碼，從而終生成更為準確的描述文本。

這一系列工作的研究脈絡(luò)基本都是圍繞著在跨模態(tài)轉(zhuǎn)化過程中不斷強調(diào)對視覺內(nèi)容的理解，而語言建模部分都是采用通用的 RNN 或 Transformer 類似的結(jié)構(gòu)來實現(xiàn)。不同于這一研究脈絡(luò)，在今年京東的工作中，他們在上文中提到的G階注意力機制則逐漸聚焦于視覺內(nèi)容和語言建模這兩者之間的特征交互，希望可以通過不同模態(tài)間基于G階的信息交互，讓兩者成為相互促進的整體。

跨域?qū)W習(xí)也是京東另一個持續(xù)關(guān)注的研究方向。姚霆解釋到，因為跨域?qū)W習(xí)可以很好地提升模型在不同場景下的泛化能力，并且無需更多目標場景下的人工標注就能實現(xiàn)模型在不同域下的遷移，這與京東在各種實際場景中快速進行模型落地的需求吻合。所以，針對跨域?qū)W習(xí)，京東在廣度和深度上都有一些研究。

首先在廣度上，京東研究了如何在圖像整體特征級別、局部區(qū)域級別和像素級別進行跨域?qū)W習(xí)，使得這些跨域?qū)W習(xí)技術(shù)可以無縫地適用于圖像識別、物體檢測和語義分割這幾大任務(wù)，同時脫離開特征級別的跨域遷移，還結(jié)合生成式對抗網(wǎng)絡(luò)，直接在原始圖像、視頻上進行無監(jiān)督跨域轉(zhuǎn)換。

在深度上，實驗室也對跨域?qū)W習(xí)框架進行了一些變革與創(chuàng)新，比如 2019 年提出了一個基于原型網(wǎng)絡(luò)的跨域?qū)W習(xí)框架（TPN，Transferrable Prototypical Networks），它可以將特征學(xué)習(xí)和目標任務(wù)的學(xué)習(xí)融為一體，有效地提升跨域?qū)W習(xí)的性能，此外，實驗室還從理論上證明了自主學(xué)習(xí)（self-learning）對于模型跨域轉(zhuǎn)換的促進作用。在今年的 CVPR 上，實驗室利用無監(jiān)督聚類技術(shù)深挖目標域的內(nèi)在數(shù)據(jù)結(jié)構(gòu)，并利用這一信息更好地指導(dǎo)跨域?qū)W習(xí)，在主流的數(shù)據(jù)集 Office 和 VisDA的封閉集和開放集上均取得了 SOTA 效果，其中在 VisDA 2017 數(shù)據(jù)集上達到 87.2% 的準確率。。

多模態(tài)熱門應(yīng)用之視頻分析

再進一步聊到多模態(tài)技術(shù)在應(yīng)用上的進展，姚霆提到了視頻分析技術(shù)實用性非常強的熱門研究方向。京東當然也洞察到這個有潛力的方向，在視頻分析技術(shù)的各大方向均有自研的獨創(chuàng)性工作。

其中基本是視頻特征表達的學(xué)習(xí)，目標在于從原始視頻數(shù)據(jù)中學(xué)習(xí)包含G層語義信息的特征向量。為此，姚霆團隊設(shè)計了幾種獨特的三維卷積網(wǎng)絡(luò)模型，比如偽三維卷積神經(jīng)網(wǎng)絡(luò)和局部——全局傳播網(wǎng)絡(luò)。在這些特征的基礎(chǔ)上，實驗室還搭建了包括視頻事件檢測、視頻語義分割和視頻動作檢測的視頻理解系統(tǒng)，實現(xiàn)對視頻內(nèi)容的全方位分析。與此同時，在每一個視頻分析的具體應(yīng)用中，實驗室也都沉淀了相應(yīng)的技術(shù)創(chuàng)新，比如針對視頻事件檢測提出了使用時域G斯函數(shù)對事件發(fā)生時間段進行預(yù)測的方法，同時也設(shè)計了基于網(wǎng)絡(luò)結(jié)構(gòu)自動搜索的語義分割方法，用以達成實時的視頻語義分割；針對視頻動作檢測，提出了同時對長短時關(guān)聯(lián)性進行建模的方法，也獲得了在該L域L先的性能。

多模態(tài)熱門應(yīng)用之視頻分析之視頻內(nèi)容理解

視頻內(nèi)容理解同樣是一個熱門的多模態(tài)研究方向。姚霆預(yù)測，在未來，視頻內(nèi)容理解有兩個較為重要的發(fā)展趨勢，即無標注或弱標注視頻數(shù)據(jù)的使用，以及針對視頻特質(zhì)的神經(jīng)網(wǎng)絡(luò)設(shè)計。

首先，數(shù)據(jù)是深度學(xué)習(xí)訓(xùn)練的基礎(chǔ)，同時也是發(fā)展視頻內(nèi)容理解技術(shù)的必備條件。目前視頻內(nèi)容理解系統(tǒng)的訓(xùn)練通常依靠大量的人工標注視頻數(shù)據(jù)，這就不可避免地需要耗費時間和人力。如果可以充分利用互聯(lián)網(wǎng)上海量的無標注或弱標注視頻數(shù)據(jù)來進行訓(xùn)練，將會突破視頻數(shù)據(jù)來源的限制，多面提升視頻內(nèi)容理解的性能。因此，無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)與弱監(jiān)督學(xué)習(xí)都將成為視頻內(nèi)容理解的新趨勢。

另一個方向則是針對視頻特質(zhì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，目前視頻內(nèi)容理解中所使用的網(wǎng)絡(luò)結(jié)構(gòu)通常與圖像L域的網(wǎng)絡(luò)結(jié)構(gòu)G度耦合，它們并不是真正為視頻而生的網(wǎng)絡(luò)結(jié)構(gòu)，缺乏對視頻數(shù)據(jù)獨到且深刻的見解。所以，如何針對視頻數(shù)據(jù)來設(shè)計全新一代的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，也是視頻內(nèi)容理解L域一個重要的發(fā)展趨勢。

針對跨模態(tài)分析L域，盡管視覺內(nèi)容的理解可以隨著各種G性能網(wǎng)絡(luò)的設(shè)計和深層語義的挖掘不斷升級，視覺和語言間交互的方式也已經(jīng)從傳統(tǒng)的一階注意力機制演化到可捕捉G階乃至無窮階信息交互的注意力機制，但視覺與語言的技術(shù)發(fā)展依然逃脫不了深度學(xué)習(xí)對于訓(xùn)練數(shù)據(jù)的貪婪。

因此，如何能在海量的弱監(jiān)督數(shù)據(jù)上學(xué)習(xí)更具泛化能力的視覺和語言之間本質(zhì)聯(lián)系，將是下一個研究的熱潮。而一旦在這些海量的弱監(jiān)督甚至于無監(jiān)督數(shù)據(jù)上通過預(yù)訓(xùn)練學(xué)習(xí)到了蘊含有多模態(tài)間本質(zhì)聯(lián)系的模型，便可賦予它在各種視覺與語言任務(wù)上的生命力。基于此，我們也在數(shù)以億計的網(wǎng)頁上持續(xù)不斷地自動抓取視頻——語言的多模態(tài)數(shù)據(jù)，構(gòu)建了視頻——語言L域弱監(jiān)督的大規(guī)模數(shù)據(jù)集（Auto-captions on GIF dataset），并正在 ACM Multimedia 2020 上舉辦跨模態(tài)預(yù)訓(xùn)練的競賽，其目的還是希望能為跨模態(tài)預(yù)訓(xùn)練技術(shù)的未來發(fā)展準備好一個充分與完備的平臺。

電商、物流+多模態(tài)發(fā)展空間大，突破口在哪？

盡管電商和物流業(yè)中，計算機視覺和多媒體技術(shù)已經(jīng)有很多落地應(yīng)用了，比如拍照購、內(nèi)容審核和物流園區(qū)作業(yè)人員行為規(guī)范管理等，但在姚霆看來，縱觀整個電商和物流體系，依然有一部分業(yè)務(wù)需要人工檢驗確認步驟，還遠遠沒有達到計算機視覺和多媒體技術(shù)完全自主的階段。簡言之，當前電商、物流場景與這些技術(shù)的結(jié)合還處于局部智能化的階段，整個產(chǎn)業(yè)鏈并沒有得到顛覆性的革新。

“我們希望，隨著整個電商平臺和供應(yīng)鏈的不斷數(shù)字化，加上智能配送系統(tǒng)的持續(xù)發(fā)展，未來的電商、物流業(yè)務(wù)可以從計算機視覺和多媒體技術(shù)輔助的方式，逐漸轉(zhuǎn)變成為由這些技術(shù)完全主導(dǎo)的機器自助，乃至多機協(xié)同，在電商與物流的每一個環(huán)節(jié)上都盡可能地使用智能的方式進行全局調(diào)度，尋求更加G效智能的供應(yīng)鏈。這也正是我們目前正在建設(shè)的智能供應(yīng)鏈開放平臺的愿景，即依托人工智能技術(shù)與供應(yīng)鏈系統(tǒng)，打造智能供應(yīng)鏈產(chǎn)業(yè)生態(tài)，賦能現(xiàn)代供應(yīng)鏈的生產(chǎn)、流通、消費三大場景。”雖然電商和物流業(yè)中多模態(tài)技術(shù)的應(yīng)用還不夠成熟，但姚霆十分看好這一L域的發(fā)展空間。

多模態(tài)技術(shù)被很多人視為未來獲得真正的機器智能的途徑之一，對于這一觀點，姚霆表示不能完全認同。他認為，首先需要肯定的是，相比于只側(cè)重單一模態(tài)的技術(shù)（比如圖像識別、動作檢測、機器翻譯等），多模態(tài)技術(shù)一定距離真正的機器智能更近一些，因為機器智能的終J目的是模擬人的智能，而人之本身對于這個世界的認識一定是視聽說的結(jié)合，這就對應(yīng)著多模態(tài)技術(shù)的融合。因此，對于機器而言，只有綜合來源于不同模態(tài)的知識才能對這個真實的世界實現(xiàn)多面綜合的理解，這也正是達到真正人類級別的智能的基石之一。但是，當前的多模態(tài)技術(shù)還遠遠未達到能通向真正機器智能的水平，因為它缺乏了人的智能中為關(guān)鍵的推理能力，這也正是多模態(tài)技術(shù)在未來亟需突破的一個瓶頸。

多模態(tài)研究歷史不長，至今沒有顛覆性的成果出現(xiàn)，要想獲得進一步發(fā)展，多模態(tài)技術(shù)研究將來要對準哪些突破口？

對此，姚霆也有自己的看法，“目前大部分多模態(tài)技術(shù)走的還是深度學(xué)習(xí)中拿大量的已標注多模態(tài)數(shù)據(jù)來喂深度模型的老路子，即數(shù)據(jù)驅(qū)動模型的感知計算，這就導(dǎo)致訓(xùn)練得到的多模態(tài)模型不具備人腦一樣的推理能力，其在真實場景下的泛化能力也大大受限。如果能在現(xiàn)有的多模態(tài)技術(shù)中融入專家、常識知識（例如結(jié)合知識圖譜），則能利用數(shù)據(jù)與知識的聯(lián)合驅(qū)動讓多模態(tài)技術(shù)更為“智能”。同時，也可以在多模態(tài)模型訓(xùn)練的過程中引入多種自監(jiān)督的推理型任務(wù)，“強迫”多模態(tài)模型進行推理和思考，這也能在一定程度上讓機器去慢慢學(xué)會推理。”

此外，姚霆還指出，當前的多模態(tài)技術(shù)還是屬于狹隘的單任務(wù)學(xué)習(xí)，整個訓(xùn)練和測試的過程都是在封閉和靜態(tài)的環(huán)境下進行，這就和真實世界中開放動態(tài)的應(yīng)用場景存在一定的差異性。為了彌補這一差異，我們可以在訓(xùn)練過程不斷結(jié)合真實世界數(shù)據(jù)的回流來持續(xù)升級多媒體模型，甚至于可以利用元學(xué)習(xí)的方式來讓模型自己學(xué)會如何認知新的多模態(tài)知識，實現(xiàn)適用于開放動態(tài)場景并具備終生學(xué)習(xí)能力的多模態(tài)模型。