近期,耶魯大學攜手劍橋大學及達特茅斯學院,在醫療人工智能領域取得了突破性進展,聯合發布了一款名為MindLLM的創新工具。這款AI工具能夠將復雜的腦部功能性磁共振成像(fMRI)數據轉化為清晰可讀的文字信息,其性能在多項基準測試中超越了現有的UMBRAE、BrainChat和UniBrain等技術。
MindLLM的核心架構融合了fMRI編碼器與大型語言模型,具備強大的數據分析能力。它通過解析fMRI掃描中的立體像素(Voxels),深入解讀腦部活動模式。該工具的fMRI編碼器采用了先進的神經科學注意力機制,能夠靈活適應多樣化的輸入信號形態,從而高效完成多種分析任務。
為了進一步提升MindLLM的性能,研究團隊引入了創新的腦部指令調優(BIT)方法。這一方法顯著增強了模型從fMRI信號中提取豐富語義信息的能力,使其能夠勝任圖像描述、問答推理等多種解碼任務,展現出廣泛的應用潛力。
在嚴格的基準測試中,MindLLM展現出了卓越的表現。在文字解碼、跨個體泛化以及新任務適應性等方面,相較于業界現有模型,其性能提升幅度分別高達12.0%、16.4%和25.0%。這一結果表明,MindLLM在適應新受試者以及處理未知語言推理任務時,均展現出了優于傳統模型的顯著優勢。
盡管目前MindLLM僅能分析靜態圖像信號,但研究人員對其未來發展前景充滿信心。他們表示,通過持續的改進和優化,MindLLM有望發展成為實時fMRI解碼器,并在神經控制、腦機接口以及認知神經科學等領域發揮重要作用。這一創新技術有望為神經假肢修復感知能力、精神狀態監控以及腦機交互等應用帶來革命性的突破。