在數(shù)字化轉(zhuǎn)型浪潮中，代理式AI (Agentic Al) 作為前沿技術(shù)的代表，正逐漸成為企業(yè)提升效率、優(yōu)化決策的關(guān)鍵工具。NVIDIA團(tuán)隊以Agentic AI技術(shù)在多個場景中實現(xiàn)創(chuàng)新突破。本文將基于其官方技術(shù)博客，還原四大類實踐的核心技術(shù)路徑與成果，為廣大開發(fā)者提供可參考的落地范本。 

01

實踐一：AI銷售助手——企業(yè)級數(shù)據(jù)中樞 

在NVIDIA，銷售團(tuán)隊依賴于內(nèi)外部文檔，需要多個存儲庫來查找信息，耗時高且跨系統(tǒng)數(shù)據(jù)一致性難以保障。此外，NVIDIA的產(chǎn)品組合多種多樣，要求銷售團(tuán)隊在快節(jié)奏的AI市場中及時了解最新信息。  

基于此，NVIDIA使用LLM和檢索增強(qiáng)生成 (RAG) 技術(shù)開發(fā)了一個集成到工作流中的AI銷售助理，可即時訪問專有數(shù)據(jù)和外部數(shù)據(jù)，以簡化銷售工作流，解決上述挑戰(zhàn)。

統(tǒng)一的信息訪問：通過Perplexity API和網(wǎng)絡(luò)搜索將內(nèi)部NVIDIA數(shù)據(jù)與更廣泛的見解相結(jié)合。

企業(yè)級聊天：使用Llama-3.1-405B-instruct等模型處理拼寫檢查、摘要、編碼和分析等各種查詢。

簡化的CRM集成：使用Text2SQL方法直接在CRM系統(tǒng)中匯總銷售數(shù)據(jù)，從而自動生成SQL查詢并增強(qiáng)報告功能。

LLM輔助文檔提取工作流：所有文本均使用LLM處理，并將其轉(zhuǎn)換為標(biāo)準(zhǔn)化的Markdown格式以供提取。相關(guān)步驟包括使用NVIDIA Multimodal PDF Ingestion Blueprint解析PDF、使用NVIDIA Parakeet NIM轉(zhuǎn)錄音頻文件、使用Llama 3.1 70B進(jìn)行編輯和翻譯，以及將結(jié)果存儲到Milvus數(shù)據(jù)庫中。

Wide RAG集成：在文本生成過程中使用prompts，將引用替換為簡潔的字母數(shù)字鍵。在后續(xù)的postprocessing步驟中，這些密鑰將替換為完整的引用詳細(xì)信息，從而顯著提高內(nèi)聯(lián)引用的可靠性和準(zhǔn)確性。

事件驅(qū)動型聊天架構(gòu)：通過LlamaIndex工作流管理生成過程，Chainlit上下文管理器展示進(jìn)度。對于需要復(fù)雜推理的任務(wù)，使用帶有思維鏈推理的結(jié)構(gòu)化生成技術(shù)顯著提高為CRM數(shù)據(jù)生成的查詢的質(zhì)量。

早期進(jìn)展指標(biāo)：引文卡可在第三方API調(diào)用期間提供實時反饋。

• AI銷售助理優(yōu)化了查詢處理，確保高性能和準(zhǔn)確性，滿足動態(tài)數(shù)據(jù)密集型環(huán)境的需求。

• 提供即時的定制見解，同時顯著提高工作流程效率和用戶參與度。

02

實踐二：代碼審查優(yōu)化——小模型的高效實踐 

微調(diào)小語言模型 (SLM) 通常利用知識蒸餾等技術(shù)，可以應(yīng)對一些LLM帶來的挑戰(zhàn)，例如成本高、數(shù)據(jù)隱私問題、需要大量的提示工程才能在特定用例中實現(xiàn)高準(zhǔn)確性等挑戰(zhàn)。這些較小的模型可提供接近更大模型的性能，并且速度更快、成本效益更高。然而，微調(diào)較小的模型需要高質(zhì)量的標(biāo)記數(shù)據(jù)，而創(chuàng)建這些數(shù)據(jù)既耗時又昂貴。

NVIDIA構(gòu)建了一種自動微調(diào)方法，該方法通過使用數(shù)據(jù)飛輪策略來應(yīng)對這些挑戰(zhàn)。通過使用大型“教師”模型生成和結(jié)構(gòu)化合成訓(xùn)練數(shù)據(jù)，此方法可優(yōu)化微調(diào)過程，使較小的模型能夠更有效地處理復(fù)雜任務(wù)，同時盡可能減少人工干預(yù)。 

NVIDIA開發(fā)的自動微調(diào)方法從教師如何調(diào)整課程以解決學(xué)生的特定改進(jìn)領(lǐng)域中汲取靈感。它采用師生范式，融合了知識蒸餾的原則。詳細(xì)微調(diào)方法可閱讀官方博客。

代碼審查對于確保軟件質(zhì)量和性能至關(guān)重要，傳統(tǒng)上由人工審查人員執(zhí)行。

經(jīng)過微調(diào)的SLM增強(qiáng)了NVIDIA自動代碼審查：

• 提高LLM在分配嚴(yán)重程度時的準(zhǔn)確性。

• 提高LLM的推理清晰度和質(zhì)量。 

03

實踐三：Slackbot智能助手——快速構(gòu)建實戰(zhàn)

Slackbot作為寶貴的虛擬助手，能夠處理各種任務(wù)。這不僅可以節(jié)省時間和資源，還可以打造更具協(xié)作性和高效的工作環(huán)境。如何快速構(gòu)建超越簡單自動化的智能Slackbot？

使用NVIDIA NIM和LangChain針對特定用例可創(chuàng)建自定義Slackbot智能體。  

Slackbot的初始實施支持通過Slack通道、線程和聊天機(jī)器人個人信息進(jìn)行交互。支持這種交互的主要模型是llama-3_1-405b-instruct，可以訪問外部工具來增強(qiáng)響應(yīng)。這些工具涉及調(diào)用和預(yù)處理外部端點。

在開始構(gòu)建Slackbot之前，請確保：

• 設(shè)置Slack。

• 熟悉一下LangChain和代理。

   

安裝所需的庫包括以下內(nèi)容：

您還需要以下資源：

• 來自的API密鑰NVIDIA API Catalog。

• AWS帳戶 (適用于Amazon EC2、Amazon Aurora、Amazon DynamoDB、Amazon ElastiCache等) 或類似云服務(wù)。

• Jupyter Lab notebook用于初始測試。

以下是在AWS上部署Slackbot的步驟：

• 安裝所需的庫: 在設(shè)置代理之前，請確保安裝了必要的庫，例如LangChain、 LangChain NVIDIA AI端點 、Slack SDK等

• 定義主智能體：定義用于用戶交互的主要Slack功能，并將NIM模型集成為主代理 

• 設(shè)置DynamoDB進(jìn)行內(nèi)存管理: 要跟蹤代理交互，請初始化DynamoDB表并配置會話內(nèi)存

• 配置對話式內(nèi)存: 將聊天消息歷史記錄集成到agent的對話內(nèi)存中

• 定義基于關(guān)鍵字的工具用法: 添加基于關(guān)鍵字的觸發(fā)器，以提示機(jī)器人使用特定工具

• 完成智能體: ReACT是一個框架，其中大型語言模型 (LLM) 將推理與行動相結(jié)合。使用它根據(jù)所提供的示例解決任務(wù)。使用預(yù)定義的變量創(chuàng)建ReACT代理和代理執(zhí)行程序

• 在Amazon Aurora PostgreSQL中保存交互: 將交互保存在Amazon Aurora PostgreSQL數(shù)據(jù)庫的預(yù)定義函數(shù)中

AI智能體正在通過自動執(zhí)行任務(wù)、優(yōu)化流程和提高生產(chǎn)力來轉(zhuǎn)變企業(yè)應(yīng)用。NVIDIA NIM微服務(wù)提供了一種無縫集成多個代理和工具的方式，使企業(yè)能夠創(chuàng)建定制的AI驅(qū)動解決方案。

該實踐展示了如何使用NIM AI端點創(chuàng)建具有自定義工具的端到端Slackbot智能體。這一解決方案增強(qiáng)了簡單的Slack界面，使其能夠處理更復(fù)雜的任務(wù)并解決獨特的挑戰(zhàn)。

有關(guān)更多示例，請查看官方/NVIDIA/GenerativeAIExamples GitHub 庫。

04

實踐四：自動化測試生成——Hephaestus框架

在軟件開發(fā)中，測試對于確保最終產(chǎn)品的質(zhì)量和可靠性至關(guān)重要。然而，創(chuàng)建測試計劃和規(guī)范可能耗時且需要大量人力，尤其是在復(fù)雜系統(tǒng)中管理多種需求和不同測試類型時。許多此類任務(wù)通常由測試工程師手動執(zhí)行。  

為了簡化這一過程，NVIDIA的DriveOS團(tuán)隊開發(fā)了Hephaestus (HEPH)，這是一個用于自動測試生成的內(nèi)部生成式AI框架。HEPH可自動執(zhí)行各種測試的設(shè)計和實施，包括集成測試和單元測試。

HEPH在測試生成過程的每個步驟（從文檔追蹤到代碼生成）中都使用LLM智能體。這實現(xiàn)了整個測試工作流程的自動化，并為工程團(tuán)隊節(jié)省了大量時間。

• 節(jié)省時間：HEPH顯著加快了測試創(chuàng)建過程。在NVIDIA多個試點團(tuán)隊的試驗中，團(tuán)隊報告節(jié)省了多達(dá)10周的開發(fā)時間。

• 上下文感知測試生成：HEPH使用項目文檔和接口規(guī)范生成測試規(guī)范和實現(xiàn)。每個測試都經(jīng)過編譯、執(zhí)行和驗證，以確保正確性。測試覆蓋率數(shù)據(jù)會反饋回模型，以進(jìn)一步優(yōu)化測試生成。

• 多格式支持和模塊化：HEPH支持各種輸入格式，包括PDF、RST、RSTI和HTML，并與內(nèi)部工具如Confluence和JIRA集成。

結(jié)語

NVIDIA四大實踐展現(xiàn)了代理式AI在企業(yè)級場景落地的關(guān)鍵技術(shù)路徑：

1.RAG+LLM實現(xiàn)動態(tài)數(shù)據(jù)整合

2.小模型微調(diào)突破成本與隱私瓶頸

3.NVIDIA NIM+LangChain構(gòu)建輕量級智能體

4.需求驅(qū)動測試生成提升質(zhì)量工程效率

本文僅為核心要點導(dǎo)讀，開發(fā)者可點擊“https://developer.nvidia.com/zh-cn/blog/tag/chat-labs/?sessionid=-1029657812”獲取以上實踐的完整技術(shù)細(xì)節(jié)與代碼示例，探索代理式AI落地應(yīng)用的更多可能性。

封面圖片來源：NVIDIA官方技術(shù)博客

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 解密NVIDIA團(tuán)隊的代理式AI技術(shù)實踐