由企業(yè)大模型專(zhuān)家、AI算法工程師、醫院信息部門(mén)和臨床醫生組建聯(lián)合研發(fā)團隊，在醫院場(chǎng)景中直接開(kāi)發(fā)、測試和應用大模型，實(shí)施研發(fā)應用一體化策略，加速大模型落地應用�；�于多模態(tài)影像、通用文本、病歷文書(shū)等語(yǔ)料，構建醫療影像-文本大模型和醫療文本大模型。前者突破傳統AI影像的單病種、單器官的研發(fā)范式，充分利用大語(yǔ)言模型的文本理解能力，自動(dòng)挖掘醫學(xué)影像和診斷報告的相關(guān)性，實(shí)現大規模數據快速標注，融合語(yǔ)言生成和圖像處理兩種技術(shù)，構建圖文混合模態(tài)的生成大模型，從醫學(xué)影像直接生成診斷報告，實(shí)現一掃多查。后者通過(guò)學(xué)習大量專(zhuān)業(yè)語(yǔ)料和臨床病歷，輔助醫生書(shū)寫(xiě)病歷和進(jìn)行質(zhì)控，減輕醫生工作量，提升書(shū)寫(xiě)質(zhì)量和效率。

當前，醫學(xué)影像AI已有不少落地場(chǎng)景，但大部分長(cháng)于計算分析，尚不能直接產(chǎn)生報告，且對每個(gè)應用都要訓練特定模型，訓練時(shí)需要人工/半人工標注數據，標注工作耗時(shí)費力。因此，能夠快速自動(dòng)標注數據、實(shí)現多病同查、直接生成終報告的影像AI更為符合臨床需要。

結構化、內容完整、數據準確、撰寫(xiě)及時(shí)的G質(zhì)量病歷是醫療安全和質(zhì)量的重要保證，涉及醫保支付和醫院評價(jià)。完整病歷包括入院記錄、首程記錄、鑒別診斷、手術(shù)計劃、執行手術(shù)、手術(shù)記錄、出院記錄、術(shù)后隨訪(fǎng)等豐富內容，需要醫生記錄客觀(guān)數據并進(jìn)行大量推理，大大增加了醫生負擔。病歷質(zhì)控、結構化和輔助信息推斷臨床需求較大。

本項目主要基于自研的影智醫療大模型，直接采用“研發(fā)應用一體化”策略，組建由大模型專(zhuān)家、信息部門(mén)、算法工程師和臨床專(zhuān)家的混合團隊，在復旦大學(xué)附屬中山醫院內開(kāi)展模型的訓練、測試和應用。一是在影像科，開(kāi)發(fā)落地醫療影像-文本大模型產(chǎn)品，突破傳統的醫療影像AI模型的研發(fā)范式，實(shí)現從影像到完整報告的自動(dòng)生成。二是在臨床科室（心外和呼吸內科），開(kāi)發(fā)落地醫療文本大模型產(chǎn)品，實(shí)現臨床輔助診斷和電子病歷輔助結構化書(shū)寫(xiě)。

醫生根據影像書(shū)寫(xiě)報告的過(guò)程本質(zhì)就是對影像進(jìn)行專(zhuān)業(yè)的文本描述，我們基于這一點(diǎn)設計“圖像-文本大模型”�！皥D像-文本大模型”具有顯著(zhù)的優(yōu)勢，不僅可以充分利用大語(yǔ)言模型LLM的語(yǔ)言理解能力，自動(dòng)挖掘文本報告和醫學(xué)影像內容的相關(guān)性，跳過(guò)繁瑣的精細標注步驟，還可以打破單病種/單器官逐一攻克的研發(fā)范式，同時(shí)學(xué)習到多種器官、病灶的影像特征。

在中山醫院影像科的開(kāi)發(fā)工作中，我們重點(diǎn)針對G狀動(dòng)脈CT血管造影 (CCTA)、乳腺鉬靶（FFDM)、胸部CT、腦部MR等多模態(tài)影像數據進(jìn)行自動(dòng)分析，目標是基于病人信息和醫學(xué)影像快速生成放射影像報告。目前已經(jīng)實(shí)現D一步目標——開(kāi)發(fā)出一種通用的醫學(xué)圖像分割大模型gMIS，該大模型可以只使用少量新樣本，就能快速拓展到新的器官或者病灶，如在大模型學(xué)習腎動(dòng)脈血管分割任務(wù)時(shí)，僅需10個(gè)腎動(dòng)脈訓練數據就可以達到傳統小模型需要使用200+個(gè)數據才能達到的性能水平，顯著(zhù)提升了醫療AI的研發(fā)效率。

影智文本大模型是基于100B token的中英文醫學(xué)語(yǔ)料庫訓練而成，涵蓋醫學(xué)論文、教科書(shū)和診斷指南，確保了模型的專(zhuān)業(yè)性和準確性。該模型能根據住院病人的病歷記錄和醫患對話(huà)信息，自動(dòng)生成患者住院期間全流程不同階段的結構化病歷，如首次病程錄、手術(shù)記錄、單病種上報文件及出院小結等。同時(shí)，模型還能根據病史輔助生成診斷建議，供醫生選擇使用。此外，醫生可利用本模型輕松完成臨床文本數據的導入與管理。該產(chǎn)品在嚴格標準下的診斷準確率已達80%以上。在推理階段，模型的處理速度G達50 token/s，USMLE 考試分數為74分（超過(guò)ChatGPT3.5得分），表明其專(zhuān)業(yè)水平符合醫療執業(yè)標準。此外，我們整合了RAG（檢索增強的生成）技術(shù)，使模型在生成文本時(shí)能進(jìn)行動(dòng)態(tài)檢索，提G生成內容的準確性和相關(guān)性，進(jìn)一步提升醫療文本處理的效率和質(zhì)量。

我們的模型能夠在影像分析中自動(dòng)完成復雜的數據處理，顯著(zhù)提升工作效率，減輕醫務(wù)人員負擔。此外，通過(guò)提供輔助診斷功能，模型能夠為醫生提供準確的診斷建議，幫助他們更快更準確地作出決策，從而提G醫療服務(wù)質(zhì)量。

目前影智大模型已經(jīng)在中山醫院的幾個(gè)科室落地使用。未來(lái)將通過(guò)知識服務(wù)收費和個(gè)人知識庫嵌入為醫生提供一個(gè)平臺，使其能夠根據個(gè)人需求進(jìn)行自主創(chuàng )新，同時(shí)利用用戶(hù)反饋進(jìn)行模型的持續迭代。除了通過(guò)入院模式與醫院進(jìn)行合作外，也基于移動(dòng)APP平臺，吸引普通用戶(hù)和醫生用戶(hù)參與。此外，我們也在構建算力生態(tài)和語(yǔ)料生態(tài)，以支持模型的廣泛應用和持續發(fā)展。

本項目形成的技術(shù)可以平移到其他醫院，從而構建一個(gè)開(kāi)放和持續進(jìn)步的商業(yè)模式。