嘉為藍(lán)鯨作為數(shù)字研運(yùn)解決方案的引領(lǐng)者，在保持研運(yùn)一體化運(yùn)維平臺(tái)穩(wěn)定發(fā)展的同時(shí)，堅(jiān)持創(chuàng)新，結(jié)合運(yùn)維領(lǐng)域最新的大數(shù)據(jù)、機(jī)器學(xué)習(xí)和大語言模型技術(shù)，融入嘉為藍(lán)鯨上千家政企客戶的實(shí)踐經(jīng)驗(yàn)和發(fā)展訴求，推出的嘉為藍(lán)鯨運(yùn)維數(shù)據(jù)與智能平臺(tái)，已經(jīng)在多家頭部銀行和運(yùn)營商客戶落地，幫助客戶解決海量規(guī)模下的運(yùn)維質(zhì)量、成本、效率和體驗(yàn)問題，取得了良好的效果。

嘉為藍(lán)鯨運(yùn)維大模型開發(fā)平臺(tái)V1.2（以下簡稱“LLMOps平臺(tái)”）發(fā)布，不僅進(jìn)一步完善了嘉為藍(lán)鯨運(yùn)維數(shù)據(jù)與智能中心的功能版圖，補(bǔ)充了運(yùn)維大模型基礎(chǔ)技術(shù)能力，而且通過統(tǒng)一的AI Agent開發(fā)框架，提升了嘉為藍(lán)鯨應(yīng)用融合大模型能力的速度，幫助嘉為藍(lán)鯨一體化運(yùn)維解決方案完成了“平臺(tái)化”到“智能化”的躍遷。

LLMOps平臺(tái)致力于為運(yùn)維全生命周期提供卓越的大模型賦能支持，為滿足不同業(yè)務(wù)場景需求提供自定義AI開發(fā)擴(kuò)展能力。LLMOps平臺(tái)包含了大模型管理層、網(wǎng)關(guān)服務(wù)層、資源管理層。其中，大模型管理層提供靈活的模型服務(wù)以滿足不同場景需求，支持托管與私有化部署2種模型服務(wù)集成方式，默認(rèn)內(nèi)置60多種常見模型適配器，也以最快速度支持了DeepSeek V3、DeepSeek R1、QwQ-32B等最先進(jìn)的大模型。

網(wǎng)關(guān)服務(wù)層Gateway屏蔽不同LLM模型之間的差異，為上層應(yīng)用提供業(yè)界標(biāo)準(zhǔn)的OpenAI協(xié)議API接口，并提供權(quán)限、審計(jì)、監(jiān)控、配額限流等管理能力。

LLM資源管理提供了AI場景建設(shè)過程中用到的各種資源、工具的支持。包括知識(shí)庫管理、工具管理、智能Agent管理、Prompt管理、長短記憶管理等。

01.LLMOps 平臺(tái)的核心功能包括

1）多模型接入

支持 60+ 模型接入框架，包括私有化部署和托管接入方式，同時(shí)通過LLM Gateway屏蔽不同LLM模型之間的差異，為上層應(yīng)用提供業(yè)界標(biāo)準(zhǔn)的OpenAI協(xié)議的API，并提供權(quán)限、審計(jì)、監(jiān)控、配額限流等管理能力。

2）私域知識(shí)管理

支持根據(jù)知識(shí)類型創(chuàng)建多個(gè)不同層級的知識(shí)庫，支持文件上傳、手工錄入、網(wǎng)頁知識(shí)等多種形式錄入知識(shí)，并使用 RAG 技術(shù)進(jìn)行向量化處理，可在聊天過程中指定回復(fù)引用特定的知識(shí)庫。

3）工具開發(fā)支持

工具（Tools）功能在當(dāng)前版本，主要是支持場景問答對接藍(lán)鯨產(chǎn)品或第三方系統(tǒng)的API，從第三方接口獲取數(shù)據(jù)知識(shí)后總結(jié)回復(fù)。核心流程是“新建工具”、“對話綁定工具”、“工具調(diào)用（FunctionCall）”、“大模型總結(jié)回復(fù)”等步驟。下一個(gè)版本計(jì)劃支持MCP協(xié)議，集成除API外更多類型的工具。

4）智能體開發(fā)框架

LLM Agent Framework ，是一個(gè) LLM 智能 Agent 應(yīng)用開發(fā)框架，提供單 Agent 智能代理與基于 Graph 編排的多 Agent 智能協(xié)同能力，使用 Graph 組合 Agent, Chain, Retriever 等各類子組件，編排業(yè)務(wù)流程，解決復(fù)雜多變的業(yè)務(wù)問題，同時(shí)最大程度保留可復(fù)用性。

作為整個(gè)嘉為藍(lán)鯨一體化運(yùn)維體系的一部分，與一體化運(yùn)維系統(tǒng)之間通過功能調(diào)用，以及數(shù)據(jù)和知識(shí)接入，形成有機(jī)互動(dòng)，實(shí)現(xiàn)更為豐富的場景化應(yīng)用。

基于LLMOps技術(shù)底座，嘉為藍(lán)鯨已經(jīng)發(fā)布了多個(gè)大模型運(yùn)維場景應(yīng)用，推動(dòng)運(yùn)維體系從被動(dòng)響應(yīng)向主動(dòng)預(yù)防轉(zhuǎn)變、自動(dòng)化向智能化運(yùn)維升級、知識(shí)驅(qū)動(dòng)的運(yùn)維決策閉環(huán)。

（1）LLMOps+DeepSeek 知識(shí)問答

DeepSeek通過先進(jìn)的模型架構(gòu)，帶來了高效率與低成本優(yōu)勢，在運(yùn)維問題推理和知識(shí)總結(jié)場景通過選擇高性能低成本的 DeepSeek-V3 或高效推理模型 DeepSeek-R1，兼具高準(zhǔn)確率、低成本、高性能等優(yōu)勢。

（2）嘉為藍(lán)鯨全棧智能觀測中心

有了AI助手智能小鯨（基于 LLM Agent Framework 開發(fā)的智能體）加持的嘉為藍(lán)鯨全棧智能觀測觀測中心，仿佛有了“千里眼”，業(yè)務(wù)系統(tǒng)的全景可觀測數(shù)據(jù)盡收眼底，能自動(dòng)精準(zhǔn)解析告警事件，快速定位故障根因，并提供高效解決方案。

（3）智能化IT服務(wù)臺(tái)

通過智能問答和智能提單，能大幅提升用戶自助解決率，降低服務(wù)臺(tái)一線人員壓力。

在ITSM工單處理完成后，可以利用AI輔助知識(shí)沉淀，助力知識(shí)管理，提高類似事件的處理效率。

（4）智能化技術(shù)賦能發(fā)布變更管理

在發(fā)布變更場景，借助大模型的意圖識(shí)別、知識(shí)檢索、工具調(diào)用能力，可以調(diào)用FAQ知識(shí)庫與行業(yè)最佳實(shí)踐，提供故障根因分析、修復(fù)路徑推薦及風(fēng)險(xiǎn)預(yù)警。還能支持回滾、降級等復(fù)雜場景的一鍵式操作。

（5）更多智能運(yùn)維場景參考