1)設計并構建一個(gè)基于 自研的Decoder-only GPT系列架構的 0penCSG 醫療大模型，參數量達到70 億，采用自研G性能中英文雙語(yǔ)分詞器，J大提Gtoken 壓縮比，自研基座模型架構但同時(shí)易于轉換為llama、mistral、qwen等主流模型結構，以實(shí)現更好的下游應用表現。

2)收集和處理大規模G質(zhì)量的醫療數據，數據比例為 60% 醫療專(zhuān)業(yè)數據 +40%通用數據，確保模型能學(xué)習到豐富的醫學(xué)知識。醫療數據包括但不限于各科權威教材、臨床指南、醫學(xué)文獻、病歷報告、醫患對話(huà)語(yǔ)料等。

3)基于自研的G性能、G可用、可拓展的LightLLM分布式大模型訓練框架，在海量異構數據上對OpenCSG 醫療大模型進(jìn)行G效訓練，大限度提升模型理解和生成醫學(xué)語(yǔ)言的能力。

4)引入多維度評估體系，在訓練過(guò)程中持續跟蹤模型性能。涵蓋醫學(xué)語(yǔ)言理解、知識掌握、語(yǔ)言生成、邏輯推理、安全和倫理等方面的能力評估。

1)基于自研架構 OpenCSG 醫療大模型研發(fā)的智能問(wèn)診、自動(dòng)處方分析、醫療知識檢索等系列創(chuàng )新應用，助力醫療L域科技公司打造行業(yè)L先的智慧醫療服務(wù)平臺。

2) OpenCSG 醫療大模型的出色表現將為醫療L域科技公司在醫療 AI市場(chǎng)開(kāi)拓新的業(yè)務(wù)場(chǎng)景，樹(shù)立技術(shù)L導力品牌形象，吸引更多醫療機構達成戰略合作。

3)探索大語(yǔ)言模型技術(shù)和傳統醫學(xué)專(zhuān)家知識的佳結合路徑，形成可規�；瘡椭频慕�(jīng)驗模式。為醫療L域科技公司在醫療及更多垂直行業(yè)大模型應用方面積累寶貴的技術(shù)和商業(yè)化經(jīng)驗。

本案例采用OpenCSG 自研的 LightLLM 分布式訓練框架進(jìn)行 OpenCSG 醫療大模型的預訓練。 預訓練數據采集與清洗：

數據采集

1)根據項目預算，與醫學(xué)數據供應商合作采購G質(zhì)量結構化和非結構化醫療數據，包括但不限于：

OpenCSG 醫療大模型的研發(fā)成功，將實(shí)現人工智能技術(shù)與傳統醫學(xué)專(zhuān)家經(jīng)驗的G度融合，促進(jìn)人機協(xié)同診療新模式的形成，助推智慧醫療行業(yè)的變革發(fā)展。OpenCSG 公司將為醫學(xué)醫療科技公司基于項目成果持續打造面向全科醫療的"醫學(xué)認知智能"，引L多模態(tài)醫學(xué)大模型的技術(shù)趨勢，在醫療AIL域確立難以撼動(dòng)的L導者地位。

大模型+醫療的結合有望催生智能教學(xué)、科研輔助、新藥研發(fā)等全新應用，幫助醫學(xué)科技公司持續發(fā)掘新的價(jià)值空間，牽引產(chǎn)學(xué)研用一體化創(chuàng )新。

隨著(zhù)基于 OpenCSG 醫療大模型的應用規�；�落地，將為醫療服務(wù)供給側帶來(lái)效率倍增。廣大患者可享受到更加出色、均等的智能化診療服務(wù)，大幅提升就醫獲得感。