西浦學(xué)者讓助聽(tīng)器也能“看得見(jiàn)”

2018-12-11 00:00 瀏覽量: 3589
?智能總結(jié)聽(tīng)覺(jué)作為人類(lèi)感知手段之一,幾十年來(lái)一直是不少研究人員的重點(diǎn)領(lǐng)域。西交利物浦大學(xué)計(jì)算機(jī)科學(xué)與軟件工程系的Andrew Abel博士和他的團(tuán)隊(duì)設(shè)計(jì)了一個(gè)新系統(tǒng),他們?cè)谥?tīng)器中加入了捕捉人說(shuō)話(huà)時(shí)唇形特征的視...
聽(tīng)覺(jué)作為人類(lèi)感知手段之一,幾十年來(lái)一直是不少研究人員的重點(diǎn)領(lǐng)域。西交利物浦大學(xué)計(jì)算機(jī)科學(xué)與軟件工程系的Andrew Abel博士和他的團(tuán)隊(duì)設(shè)計(jì)了一個(gè)新系統(tǒng),他們?cè)谥?tīng)器中加入了捕捉人說(shuō)話(huà)時(shí)唇形特征的視覺(jué)信號(hào),以提高助聽(tīng)器的使用效果。他們的最新研究成果也在2018年IEEE計(jì)算智能研討會(huì)(IEEE-SSCI 2018)上進(jìn)行發(fā)表。 Abel博士介紹說(shuō),很多傳統(tǒng)的助聽(tīng)器都是通過(guò)放大患者接收不到的聲音頻率來(lái)達(dá)到助聽(tīng)效果;有些助聽(tīng)器內(nèi)安置了除噪音的算法,能夠降低對(duì)話(huà)之外的聲音音量;還有一些帶有定向麥克風(fēng),能夠探測(cè)到來(lái)自某些特定方向的聲音。 “但是人們聊天的時(shí)候不僅僅是靠聲音來(lái)交流的?!盇bel博士說(shuō),“人們還會(huì)相互觀(guān)察面部表情、肢體語(yǔ)言,而且或多或少都會(huì)觀(guān)察對(duì)方的唇部動(dòng)作?!?比如,當(dāng)人們聽(tīng)到“ba”這個(gè)音節(jié),但是看到的是“fa”這個(gè)音節(jié)的唇部動(dòng)作,人們就會(huì)誤以為自己聽(tīng)到的是“fa”甚至是“va”。(請(qǐng)看下面的視頻) “這被稱(chēng)為‘麥格克效應(yīng)’?!?Abel博士解釋說(shuō),“大腦在同時(shí)接收到一個(gè)視覺(jué)信息和一個(gè)聽(tīng)覺(jué)信息的時(shí)候,有可能視覺(jué)信息會(huì)覆蓋掉聽(tīng)覺(jué)信息并造成視聽(tīng)幻覺(jué)?!?這種現(xiàn)象充分展示了視覺(jué)信息在談話(huà)中的重要性。因此Abel博士和他的團(tuán)隊(duì)一直在思考:如何才能開(kāi)發(fā)出接收聲音以外信息的機(jī)器?如何讓這些機(jī)器像人類(lèi)一樣去“聽(tīng)”? Abel博士在就職于蘇格蘭斯特靈大學(xué)時(shí)和Amir Hussain教授一起研究過(guò)助聽(tīng)科技,他們嘗試把一個(gè)可穿戴的小型照相機(jī)連接到助聽(tīng)器上,讓系統(tǒng)同時(shí)處理接收到的聽(tīng)覺(jué)和視覺(jué)信息。在這些視覺(jué)信息中,會(huì)影響系統(tǒng)處理結(jié)果的是唇部動(dòng)作、嘴巴張開(kāi)或閉合、寬度及深度等唇形特征。 受到之前研究的啟發(fā),Abel博士、西浦計(jì)算機(jī)系畢業(yè)生高成翔以及斯特靈大學(xué)研究人員聯(lián)合開(kāi)發(fā)了一個(gè)新系統(tǒng),專(zhuān)門(mén)記錄唇形特征信息并建立唇部的3D模型。 (上圖:西交利物浦大學(xué)研究人員開(kāi)發(fā)的嘴部動(dòng)作捕捉方法。) “這個(gè)3D模型可以用來(lái)確定說(shuō)話(huà)時(shí)的音量和音調(diào)特征,這些特征有利于提高助聽(tīng)器的降噪功能,也能運(yùn)用于我們?cè)谘芯康拇秸Z(yǔ)讀取。” Abel博士補(bǔ)充說(shuō)。 他正在指導(dǎo)一項(xiàng)將唇讀科技運(yùn)用于對(duì)外漢語(yǔ)教學(xué)的畢業(yè)設(shè)計(jì),只要系統(tǒng)接收到正確的視覺(jué)和聽(tīng)覺(jué)信號(hào)就可以區(qū)分不同的中文發(fā)音,這些信息會(huì)自動(dòng)反饋給學(xué)習(xí)漢語(yǔ)的人。 “中文是一種聲調(diào)語(yǔ)言,發(fā)音和其他語(yǔ)言不太一樣,學(xué)好正確發(fā)音是有一定難度的?!?Abel博士研究的另一個(gè)領(lǐng)域是利用圖像識(shí)別技術(shù)來(lái)改善助聽(tīng)器過(guò)濾噪音的效果。例如,攝像機(jī)可以識(shí)別出用戶(hù)所處的環(huán)境是安靜的辦公室還是喧鬧的酒吧,根據(jù)環(huán)境的不同可以采取不同的噪音過(guò)濾方法。 “在大腦處理聲音的時(shí)候,感知效應(yīng)是非常重要的一部分?!?Abel博士說(shuō)。 比如人們會(huì)根據(jù)環(huán)境聲音的大小來(lái)調(diào)整自己的說(shuō)話(huà)聲音,這被稱(chēng)為“倫巴效應(yīng)”。此外,聽(tīng)力正常的人在嘈雜的環(huán)境中也可以進(jìn)行高效溝通,這是因?yàn)榇竽X自動(dòng)忽略掉了其他人的說(shuō)話(huà)聲音以及無(wú)關(guān)的環(huán)境音,這被稱(chēng)為“雞尾酒會(huì)效應(yīng)”。 “目前我們無(wú)法將所有視覺(jué)信息整合到助聽(tīng)器中,但是我們正在朝著‘感知型助聽(tīng)器’這個(gè)方向努力。” Abel博士和他的同事希望能夠?qū)⒃~語(yǔ)識(shí)別和預(yù)判對(duì)話(huà)結(jié)合,同時(shí)整合環(huán)境識(shí)別及其他視覺(jué)信息處理手段,有一天能創(chuàng)造出能夠像人一樣“思考”的改進(jìn)型助聽(tīng)器。 “在我們理解并復(fù)制人耳處理聲音的過(guò)程時(shí),我們不僅能改良助聽(tīng)器科技,還學(xué)到了很多關(guān)于人類(lèi)自身及人腦思維運(yùn)作方式的知識(shí)。”他說(shuō)。 (記者:習(xí)丹義 翻譯:肖波強(qiáng) 編輯:胡秋辰) (圖片提供:西浦計(jì)算機(jī)科學(xué)和軟件工程系 其它圖片:Shutterstock)
內(nèi)容編輯:
(本文轉(zhuǎn)載自 ,如有侵權(quán)請(qǐng)電話(huà)聯(lián)系13810995524)
* 文章為作者獨(dú)立觀(guān)點(diǎn),不代表MBAChina立場(chǎng)。采編部郵箱:news@mbachina.com,歡迎交流與合作。
備考交流
- 【MBAChina 官方社群矩陣】
- 涵蓋 199管理類(lèi)聯(lián)考備考 · 復(fù)試調(diào)劑 · 博士申請(qǐng) · 中外合辦學(xué) 四大板塊。
- ??2027 MBA/MPA/MEM/MPAcc /EMBA聯(lián)考備考群
- ??2026 管理類(lèi)聯(lián)考復(fù)試調(diào)劑群
- ??博士項(xiàng)目交流群
- ??中外合作辦學(xué)項(xiàng)目群
- ?? 添加微信:MBAChina001
- 備注【報(bào)考項(xiàng)目】,邀請(qǐng)您加入專(zhuān)屬交流群
免費(fèi)領(lǐng)取價(jià)值5000元MBA備考學(xué)習(xí)包 購(gòu)買(mǎi)管理類(lèi)聯(lián)考MBA/MPAcc/MEM/MPA大綱配套新教材

掃碼關(guān)注我們
- 獲取報(bào)考資訊
- 了解院?;顒?dòng)
- 學(xué)習(xí)備考干貨
- 研究上岸攻略
最新動(dòng)態(tài)
活動(dòng)日歷
2022年度
- 01月
- 02月
- 03月
- 04月
- 05月
- 06月
- 07月
- 08月
- 09月
- 10月
- 11月
- 12月
- 06/01 6月1日直播預(yù)告:香港理工大學(xué)SPEED學(xué)院_全新碩士課程專(zhuān)場(chǎng)!26fall入學(xué)!
- 06/03 6月3日活動(dòng)報(bào)名 | 北大光華-凱洛格國(guó)際EMBA項(xiàng)目Coffee Chat@上海
- 06/03 【活動(dòng)報(bào)名】中國(guó)科學(xué)技術(shù)大學(xué)科技商學(xué)院專(zhuān)題講座重磅開(kāi)啟!
- 06/04 6月4日 席位鎖定中 | 香港中文大學(xué)(深圳)MBM2027級(jí)招生說(shuō)明會(huì)
- 06/06 長(zhǎng)春理工大學(xué)2027級(jí)工商管理碩士(MBA)考生見(jiàn)面會(huì)
- 06/06 重磅!上財(cái)?shù)嗡呓?027級(jí)全日制金融碩士“新興金融探索日”活動(dòng)通知
- 06/06 深圳場(chǎng) | 清華-康奈爾雙學(xué)位金融MBA公開(kāi)課暨2027級(jí)招生說(shuō)明會(huì)報(bào)名中!
- 06/06 上海 | 紫荊課堂暨2027級(jí)清華MBA招生咨詢(xún)會(huì)報(bào)名開(kāi)啟!
- 06/06 浪潮已至|南科大科創(chuàng)MBA 2027級(jí)招生啟動(dòng)大會(huì)來(lái)了
- 06/06 活動(dòng)報(bào)名 | “迅策科技”校友企業(yè)參訪(fǎng)暨清華五道口金融EMBA深圳招生說(shuō)明會(huì)
展開(kāi)
熱門(mén)資訊
掃碼關(guān)注 MBAChina
掃碼關(guān)注
EMBA







