AI醫療新紀元：複旦王爍研究員引領多模态醫學人工智能技術革新

在人工智能與醫療健康深度融合的今天,AI技術正以前所未有的速度推動着醫療行業的革新與進步。AI醫療不僅提高了醫療服務的精準性和效率,更為患者帶來了更加便捷、高效的診療體驗。

  王爍是複旦大學數字醫學研究中心的青年研究員,因其在AI+醫療領域的探索和成果,以“基于飛槳平台的大規模人群心髒數字孿生研究”課題獲得2023年CCF-百度松果基金(以下簡稱“松果基金”)的支持。

  松果基金于2020年由百度與中國計算機學會(CCF)共同發起,是目前國内*基于中國*自主研發、開源開放、功能豐富的産業級深度學習平台飛槳和産業級知識增強大模型文心大模型設立的科研基金。通過為期一年的課題項目,基金為青年學者提供數百萬課題基金,以及價值千萬的平台、數據、技術等多維度支持,全球 AI 創新人才搭建産教融合及學術交流的平台。

  在松果基金的支持下,王爍開展了一系列面向臨床診療的多模态醫學人工智能(AI for Multi-Modal Medicine, AIM3)工作。基于多模态醫學大數據,結合生成式人工智能(Generative AI)和科學智能(AI for Science,AI4S),實現了大規模人群的心髒數字孿生,為心髒疾病的早期發現和精準治療提供有力工具。

  與此同時,為提高全社會對于新生兒先天性耳畸形這一疾病的重視,王爍利用百度文心大模型強大的自然語言處理和跨模态信息分析的能力,與複旦大學附屬眼耳鼻喉科醫院整形外科張天宇、傅窈窈主任團隊合作,訓練新生兒耳畸形識别模型,研發新生兒耳畸形鑒别與科普問答插件——Fdear。用戶通過上傳新生兒耳朵圖片至Fdear,即可得到耳畸形鑒别結果。Fdear既能精準判斷耳朵是否存在畸形,還能初步判斷屬于哪種畸形。

  王爍研究員在2024文心大模型生态大會報告

  除此之外,對于耳畸形的治療,Fdear提供基于大模型的互動式問答科普,給出關于治療期、手術期的一系列注意事項。該插件不但為需要初步自查的用戶提供了便利,将來也可以作為衛生課的教學工具、兒童保健的科普工具等。

  王爍研究員在科研工作中

  複旦大學數字醫學研究中心與百度的深度合作,是對AI在醫療領域應用的一次大膽且富有成效的嘗試。事實上,松果基金成立5年以來,已經支持了衆多像王爍這樣的青年科學家。他們在各自的研究領域内取得了實質性進展。相信在未來,随着更多青年科研人才的崛起和科研成果的轉化應用,AI醫療技術将在更多領域發揮重要作用。松果基金将繼續發揮其獨特作用,為青年學者提供更多元化的支持和幫助,助力他們在AI領域取得更大的科研成果。