蛋播视频一区,无码鲁丝一区二区,精品 久久 五月天,国产老熟女,五月草草在线观看,中文日韩欧美,情色一区二区三区,欧美日韩亚洲激情在线,亚洲制服在线香蕉

2021年11月12日，中國科學院大學人工智能與應用MBA項目特色課程《領(lǐng)域大數(shù)據(jù)系列講座》第六期如期開講，邀請到中國科學院計算技術(shù)研究所蔣樹強研究員，通過線上與同學們分享“視覺媒體的上下文關(guān)聯(lián)分析與理解”。本期講座由經(jīng)濟與管理學院副院長田英杰教授主持。

蔣樹強研究員從現(xiàn)實需求與國家戰(zhàn)略切入，引出視覺媒體分析與理解是新一代人工智能技術(shù)體系重要組成部分，是我國需要實現(xiàn)超越的核心技術(shù)領(lǐng)域，并重點介紹了視覺媒體的“局部區(qū)域關(guān)聯(lián)”、“多模態(tài)關(guān)聯(lián)”兩大研究問題及相應的創(chuàng)新方法，同時對“圖像識別技術(shù)”、“動態(tài)視頻識別與預測”進行了普及。

“人類具有與生俱來的局部關(guān)聯(lián)和全局聚合能力，如何建模和表示局部區(qū)域間的多樣關(guān)聯(lián)關(guān)系是視覺媒體分析的核心科學問題。” 蔣樹強研究員講到，“局部區(qū)域關(guān)聯(lián)表示局部區(qū)域是組成圖像的基本單元，包含豐富而多樣的信息，局部區(qū)域間也存在多種形式的關(guān)聯(lián)?！蓖ㄟ^建立局部模式的非均等化處理機制，蔣樹強研究員提出了局部概念關(guān)聯(lián)分布學習方法，突破了概念分布在局部區(qū)域獨立處理的限制，并由此引出三種技術(shù)思路及對應的創(chuàng)新方法：

（一）對于局部區(qū)域在空間層面的概念共生性關(guān)聯(lián)，使用局部語義描述的共生建模。該方法首次在概念空間構(gòu)建分層局部上下文關(guān)聯(lián)，在特值維度只有2%的情況下，識別準確率提升1.5%。（二）對于局部區(qū)域在尺度層面的概念差異性關(guān)聯(lián)，使用局部區(qū)域多尺度多模型融合。該方法基于局部區(qū)域響應差異性構(gòu)建了多尺度多源融合模型，消除了多源模型中的尺度敏感性偏差，實現(xiàn)了模型景物表達能力的互補增強，在MIT67和SUN397上準確率比同期方法高出7%以上。（三）對于局部區(qū)域在類別層面的概念知識性關(guān)聯(lián)，使用物體關(guān)系的關(guān)聯(lián)表示與提取。該方法利用物體在場景中是空間分布提高場景識別性能，通過空間關(guān)系特征矩陣建模（COOR）和物體與空間關(guān)系的圖題描述（SOOR）等多種空間關(guān)系建模，使得識別結(jié)果在當時公開的RBG-D數(shù)據(jù)達到了最好的性能。

“多模態(tài)關(guān)聯(lián)是說視覺媒體本身不是孤立存在的，和其他模態(tài)的信息存在復雜多樣的關(guān)聯(lián)?！笔Y樹強研究員提出模態(tài)關(guān)聯(lián)增強的視覺理解與交互的方法，實現(xiàn)了模態(tài)的差異性與適應性融合，克服了異質(zhì)模態(tài)增益效用性低的問題，并展開介紹了以下三種方法：

（一）深度（Depth）圖像神經(jīng)網(wǎng)絡(luò)表示方法：面對Depth圖像數(shù)據(jù)量不足以訓練深層CNN模型和RGB模態(tài)微調(diào)不能很好刻畫深度圖像特征的挑戰(zhàn)，采用“圖像塊弱監(jiān)督預訓練”及“全局圖像微調(diào)訓練”的解決方案，取得了比從RGB模態(tài)的遷移特征表示的更好結(jié)果（提升4.9%），解決了Depth深度模型依賴RGB預訓練的問題。

（二）基于地理信息的圖像識別：通過本人手機及餐廳的地理信息，計算圖像屬于每一類的概率，選擇最高得分對應的類別作為預測結(jié)果。這里蔣樹強研究員結(jié)合“食品+AI”的研究展開講解，提出了食品計算框架及相應的分類體系，并和美團、普惠三農(nóng)等一起開展食品智能分析技術(shù)的產(chǎn)學研合作。

（三）雙軌多模態(tài)自動學習技術(shù)：視覺軌道能夠同時具有學習新類別和新事例的能力，知識軌道通過挖掘各種多模態(tài)信息實現(xiàn)對知識的持續(xù)更新，兩者關(guān)聯(lián)增強。

之后蔣樹強研究員對圖像識別技術(shù)做了普及，在視覺感知的能力與挑戰(zhàn)、研究意義、產(chǎn)學界關(guān)注、主要研究任務以及圖像理解與描述任務等幾方面做了簡要介紹。

在動態(tài)視頻識別與預測方面，蔣樹強研究員重點對視頻理解的三個工作展開進行講解：

（一）異常干擾感知的視頻識別：主要指面向異常狀態(tài)的實時場景識別系統(tǒng)，如環(huán)境亮度變化、視頻幀模糊、深度信息缺失等，通過梯度敏感卷積核與感知異常狀態(tài)的注意力機制來進行訓練與提升。（二）結(jié)合直覺與因果等因素的第一視角視頻行為預測：主要應用在視屏監(jiān)控、自動駕駛等領(lǐng)域，預測尚未發(fā)生的行為，為決策提供技術(shù)支持。蔣樹強研究員這里提出一個實用場景，如何在只觀看部分視頻的情況下，預測后續(xù)未看到的動作，并從心理學角度出發(fā)，構(gòu)建一個融入直覺與分析的第一視角行為預測模型，提升整體性能及低頻類別預測率。（三）基于層次化場景建模的視覺導航：在三維環(huán)境中，給定目標物體的語義，智能體尋找該目標物體。通過構(gòu)建物體到區(qū)域分層經(jīng)驗知識圖等方法，提升找尋目標物體的概率。

“人工智能與各行各業(yè)的深度融合還處在起步階段，發(fā)展空間潛力巨大?！弊詈?，蔣樹強研究員以分享心得收尾，并與同學們進行了交流互動。

蔣樹強研究員的講解采用理論與應用相結(jié)合的方式，深入淺出層層遞進，激發(fā)了同學們的學習熱情，取得了非常好的效果。同學們紛紛表示對視覺媒體分析與理解方面有了基本的了解，并愿意探索人工智能在自身行業(yè)的積極應用，為自己熱愛的行業(yè)做出更大的貢獻。

國科大MBA

掃二維碼｜關(guān)注我們

作 者｜趙旭瑞

配 圖｜趙旭瑞

編 輯｜MBA教育管理中心