想象一下
一位經(jīng)驗豐富的“中醫大師”
與一位精通數據的“科學(xué)家”攜手
將古老的中醫智慧
與人工智能技術(shù)結合
一款MCM多模態(tài)中醫問(wèn)診大模型
讓“互聯(lián)網(wǎng)看病”變得更加精準和高效
近日,在2024浦源大模型應用挑戰賽(夏季賽)上,上海計算機軟件技術(shù)開(kāi)發(fā)中心團隊研發(fā)的MCM多模態(tài)中醫問(wèn)診大模型獲得一等獎?!爸嗅t的獨特診療方式在大數據和人工智能的支持下,可以達到前所未有的精準度和效率?!鄙虾S嬎銠C軟件技術(shù)開(kāi)發(fā)中心人工智能研究部副部長(cháng)馬澤宇告訴上??萍?,“尤其是在面對多模態(tài)數據時(shí),中醫的診療過(guò)程可以通過(guò)智能模型得到顯著(zhù)提升?!?/span>
1.傳統問(wèn)診如何煥發(fā)智能活力?
如今,“互聯(lián)網(wǎng)看病”已經(jīng)成為新常態(tài),為患者提供了前所未有的便利。但同時(shí),這種新興方式也面臨著(zhù)挑戰:診斷的準確性、建議的相關(guān)性,都是患者在選擇線(xiàn)上問(wèn)診時(shí)的顧慮。
“現在的中醫問(wèn)診過(guò)程,除了傳統的望聞問(wèn)切外,醫生通常需要綜合考慮多種類(lèi)型的患者數據,包括文本記錄、影像資料、病史信息等?!瘪R澤宇介紹。
然而,現有的人工智能模型往往只能夠處理單一模態(tài)的數據,無(wú)法實(shí)現對多模態(tài)數據的有效整合與分析。這導致了診斷過(guò)程中的信息孤島現象,影響醫生做出全面、準確的診斷決策。
因此,構建一個(gè)能夠處理和分析多模態(tài)數據的大模型顯得尤為重要,以便幫助醫生整合多種信息,提升診斷的準確性和效率?!拔覀冋幵谝粋€(gè)轉折點(diǎn),AI的介入將為中醫問(wèn)診帶來(lái)前所未有的變革?!瘪R澤宇表示。
這一多模態(tài)數據大模型的構建并非沒(méi)有障礙。首先,問(wèn)診的可解釋性問(wèn)題令人頭疼。
“網(wǎng)上醫生給出的診斷與實(shí)際病例結果常常存在偏差,由于人工智能的‘黑盒子’特性,AI輔診系統往往只給出結論,而無(wú)法告訴用戶(hù)‘為什么’?!瘪R澤宇指出,“這不僅讓患者感到困惑,也使得醫生難以信任AI的判斷?!?/strong>
其次,現有線(xiàn)上問(wèn)診方式常常被不相關(guān)信息所干擾,上下文的關(guān)聯(lián)性更是難以保證?!盎颊呖赡芴岬酵耆幌嚓P(guān)的信息,比如冰箱壞了,但這與他們的胃痛并無(wú)直接聯(lián)系?!彼忉尩?。最后,現有中醫問(wèn)診模型大多只能處理文本等單一類(lèi)型的數據,這種模態(tài)的單一性限制了問(wèn)診的全面性和準確性。
面對這些挑戰,MCM模型提出了一系列創(chuàng )新的解決方案。它通過(guò)整合多模態(tài)數據,比如文本和醫學(xué)圖像,來(lái)提供更為全面的診斷支持?!拔覀儾粌H關(guān)注患者說(shuō)什么,也關(guān)注他們的醫學(xué)影像‘說(shuō)’什么?!瘪R澤宇說(shuō)。
此外,MCM模型還引入了上下文處理機制,以確保問(wèn)診過(guò)程的連貫性和魯棒性?!拔覀兊哪繕耸菢嫿ㄒ粋€(gè)能夠理解、分析并適應復雜臨床情境的智能系統?!彼a充道。
2.當AI成為中醫的“新學(xué)徒”
打造MCM多模態(tài)中醫問(wèn)診大模型的過(guò)程,第一步就是處理數據并將知識注入模型。馬澤宇及其團隊收集了700部中醫古代典籍、真實(shí)的問(wèn)診記錄,以及醫學(xué)常識在內的大量數據。
這些數據通過(guò)特殊工具進(jìn)行預處理,把古代中醫典籍里的內容翻譯成現代漢語(yǔ),并生成了一些問(wèn)答對話(huà)。馬澤宇將其形象地比喻為“準備食材”的過(guò)程,可以將晦澀難懂的知識變成大模型可以接受的形式。
接下來(lái)是“知識注入”,就像給模型補充營(yíng)養。這個(gè)過(guò)程分兩個(gè)階段,首先用翻譯后的中醫古籍和醫學(xué)知識進(jìn)行訓練,讓模型更好地理解中醫。然后,用生成的問(wèn)答對話(huà)和真實(shí)的問(wèn)診記錄進(jìn)一步訓練模型,使它能更聰明地回答中醫領(lǐng)域的問(wèn)題,確保模型既有廣泛的中醫知識,又能靈活應對問(wèn)診?!斑@就是教模型如何理解和回答問(wèn)題?!瘪R澤宇解釋說(shuō)。
知識圖譜是MCM大模型的一大亮點(diǎn)。開(kāi)發(fā)團隊從《黃帝內經(jīng)》《神農本草經(jīng)》等經(jīng)典中醫古籍中提取了大量信息,通過(guò)翻譯和信息提取工具,這些古籍內容被轉化為結構化的數據,例如藥方中的成分、治療方法等。然后,這些信息被儲存在知識圖譜中,構成了一個(gè)中醫藥的“知識網(wǎng)絡(luò )”。
“有了這個(gè)知識圖譜,模型在問(wèn)診時(shí)就能更加精準。例如,當你描述一個(gè)癥狀,模型可以通過(guò)圖譜找到可能的疾病及其治療方法。這種方式不僅提高了問(wèn)診的準確性,也使得整個(gè)過(guò)程更有條理、更容易理解?!瘪R澤宇說(shuō)。
MCM大模型還具備“無(wú)感上下文處理”功能,這就像是模型有了“聰明耳朵”,讓問(wèn)診更貼心。馬澤宇介紹:“每當用戶(hù)輸入信息,模型會(huì )自動(dòng)將當前和過(guò)去的信息進(jìn)行整合,形成一個(gè)更清晰的問(wèn)題。比如,醫生在聽(tīng)病人描述時(shí),會(huì )把零散的信息串聯(lián)起來(lái)?!?/span>
此外,如果用戶(hù)在對話(huà)中說(shuō)了一些與醫學(xué)無(wú)關(guān)的話(huà)題,模型會(huì )自動(dòng)判斷并過(guò)濾掉這些無(wú)關(guān)信息,從而專(zhuān)注于對病情的分析。這樣一來(lái),問(wèn)診不僅更加精準,還能避免被不相關(guān)的內容干擾。
3.智慧中醫的無(wú)限可能
“我們正在探索如何
將更多的中醫、藏醫經(jīng)典文獻數字化,
融入到模型的知識圖譜中,
以提高模型對復雜病例的診斷能力?!?/span>
馬澤宇透露。
團隊還計劃將模型的應用場(chǎng)景進(jìn)一步拓展,不僅僅局限于診療環(huán)節,還可以在中醫藥的研發(fā)、個(gè)性化健康管理等領(lǐng)域發(fā)揮作用。馬澤宇說(shuō):“我們的目標是讓這個(gè)大模型成為中醫診療的‘超級助手’,不僅能夠輔助醫生,還能為患者提供全方位的健康管理建議?!?/span>
此外,團隊非常重視與產(chǎn)業(yè)界的合作,以推動(dòng)中醫智能診療的廣泛應用。馬澤宇介紹:“我們已經(jīng)與多家醫院建立了合作關(guān)系,希望通過(guò)產(chǎn)學(xué)研一體化的模式,加速技術(shù)的落地和推廣?!?/span>
他相信,只有將技術(shù)與實(shí)際應用場(chǎng)景緊密結合,才能真正發(fā)揮出中醫智能診療的潛力,讓這一古老而智慧的醫學(xué)體系造福更多患者。
轉載自上??萍?
電話(huà):86-21-54325166
傳真:86-21-54325591
地址:中國上海聯(lián)航路1588號技術(shù)中心大樓3樓
版權所有 ?2021. 上海計算機軟件技術(shù)開(kāi)發(fā)中心 All Rights Reserved 滬公網(wǎng)安備 31011202012393號,滬ICP備14033306號-25