本項目旨在基于道客云原生知識庫平臺快速構建金融合規助手，為銀行員工提供G效、便捷的合規查詢(xún)服務(wù)。面對行內GPU資源利用率低、模型人才短缺及數據合規的嚴格挑戰，采用道客云原生知識庫平臺實(shí)現大模型快速落地，全圖形化配置管理讓業(yè)務(wù)人員能自助維護知識庫。同時(shí)，私有大模型部署確保數據隱私與合規，分布式云原生架構提升資源利用率與復用性。多租戶(hù)自服務(wù)能力為用戶(hù)帶來(lái)安全、隔離的私有大模型體驗，顯著(zhù)增強IT業(yè)務(wù)響應能力。本案例成功展示了道客云原生知識庫平臺智能合規助手應用潛力，為銀行創(chuàng )新發(fā)展注入新動(dòng)力。

• 希望基于大模型構建面向合規場(chǎng)景的智能合規助手，能夠基于行內的各種合規規范流程，為員工提供合規查詢(xún)。

• 行內現有 GPU 卡都被各個(gè)業(yè)務(wù)應用獨占，資源利用率需要提升，并希望能夠實(shí)現算力資源的復用。

• 當前銀行缺乏模型人才和能力積累，希望能夠讓業(yè)務(wù)人員自己設計和管理企業(yè)知識庫的構建。

由于數據合規的要求，需要使用大模型私有化部署的方式，所有數據和模型需要在行內。

基于道客云原生知識庫平臺的金融合規助手，具備強大的合規信息查詢(xún)與智能分析能力。

道客云原生知識庫平臺是一款基于云原生和分布式計算框架的智能問(wèn)答解決方案，支持多種大語(yǔ)言模型，可構建智能問(wèn)答應用，配置個(gè)性化語(yǔ)料庫，提供準確的問(wèn)答能力；同時(shí)，它還提供可擴展的GPU能力和向量數據庫，實(shí)現G效的文本向量化與存儲，并采用相似度匹配提升查詢(xún)準確性；另外，通過(guò)基于Ray的分布式推理，實(shí)現與用戶(hù)的快速互動(dòng)，使應用與用戶(hù)交互更加迅捷，圖1為道客知識庫平臺的業(yè)務(wù)框架。

云原生平臺：承載了所有運行時(shí)的容器環(huán)境。

算力服務(wù)層：算力統一納管平臺，提供了一站式管理。

基礎設施：主要體現底層物理資源的能力，包括 AI 場(chǎng)景中很重要的 GPU資源，以及依賴(lài)的存儲和網(wǎng)絡(luò )等物理資源。

知識庫UI：提供用戶(hù)訪(fǎng)問(wèn)所需的客戶(hù)端；

業(yè)務(wù)層：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研組件和Nacos、Gateway、Mysql、Redis等外部組件；

接口層：通過(guò) AIGC knowledge Engine 來(lái)提供統一的接口。

核心層：提供 Embedding Ray Service 和QA Ray Service 兩大服務(wù)，都基于Ray的分布式計算框架，多組服務(wù)并行。

框架層：由KubeRay和容器集群組成。

基于道客云原生知識庫平臺的金融合規助手，快速實(shí)現了大模型在銀行的落地應用，全圖形化的配置管理使得業(yè)務(wù)人員可以自助維護知識庫，并基于私有通用大模型與向量化知識庫結合快速構建合規助手應用，提供G效的知識檢索和問(wèn)答服務(wù)。同時(shí)，對資源利用情況進(jìn)行優(yōu)化，提G了業(yè)務(wù)效率，為銀行創(chuàng )造了更多的商業(yè)價(jià)值。在商業(yè)模式方面，該項目采用私有化部署方式，確保了數據的安全與合規，滿(mǎn)足了銀行對隱私保護的需求。通過(guò)提供智能化的合規助手服務(wù)，項目為銀行提供了穩定的收入來(lái)源，并建立了長(cháng)期穩定的客戶(hù)關(guān)系。隨著(zhù)金融行業(yè)的不斷發(fā)展，該項目的應用前景廣闊，有望在未來(lái)實(shí)現更廣泛的推廣與應用。