復旦大學團隊研發AI大模型 助視障者「看見」世界

 【中新社上海三月二日電】(記者陳靜)記者二日獲悉,在復旦大學自然語言處理實驗室(FudanNLP)師生的努力下,基於多模態大模型「復旦.眸思」(MouSi)為視障者量身打造的「聽見世界」APP日前上線,將成為視障人士的生活助手與智能管家。

 二0二三年上半年,復旦大學自然語言處理實驗室發佈了開發MOSS對話式大型語言模型,被稱為中國版的GPT,僅用半年時間多模態模型「眸思」問世。據介紹,「眸思」和基於文本的MOSS不同,它能夠理解並識別圖片內容,致力于成為視障者的一雙「眸」。

 基於「眸思」,「聽見世界」APP為視障者日常生活需求量身打造街道行走模式、自由問答模式和尋物模式。在街道行走模式中,「眸思」如一位忠實的向導。紅綠燈、十字路口、障礙物……它能細緻掃描道路情況,提示潛在風險,陪伴視障者安全通行「看不見」的漫漫長路。在自由問答模式中,「眸思」則像一位貼心的朋友,走進博物館、藝術館、公園……捕捉四周景象的每個細節,用聲音構建豐富的生活場景,傳遞每一處日常之美。在尋物模式中,「眸思」將成為一名可靠的管家,讓視障人士找尋日常物件變得輕鬆。◇