在第二屆拯救者杯OPENAIGC開發(fā)者大賽中，涌現(xiàn)出一批技術(shù)突出、創(chuàng)意卓越的作品。為了讓這些優(yōu)秀項(xiàng)目被更多人看到，我們特意開設(shè)了優(yōu)秀作品報(bào)道專欄，旨在展示其獨(dú)特之處和開發(fā)者的精彩故事。
無論您是技術(shù)專家還是愛好者，希望能帶給您不一樣的知識(shí)和啟發(fā)。讓我們一起探索AIGC的無限可能，見證科技與創(chuàng)意的完美融合！

創(chuàng)未來AI應(yīng)用賽-高校組金獎(jiǎng)

作品名稱：基于混合大語言模型與多模態(tài)的全過程通用AI Agent（以數(shù)據(jù)科學(xué)全過程分析為例）

參賽團(tuán)隊(duì)：悉尼大學(xué)計(jì)算機(jī)學(xué)院斯塔克工業(yè)

作品簡(jiǎn)介

你能用ChatGPT進(jìn)行完整的數(shù)據(jù)分析嗎？可以。但如果我們使用語音命令而不是鍵盤來控制整個(gè)過程呢？這正是我們的目標(biāo)。在漫威電影《鋼鐵俠》中，托尼·斯塔克用語音命令指示J.A.R.V.I.S.尋找新元素以供弧形反應(yīng)堆使用。我們的項(xiàng)目雖然沒有那么先進(jìn)，但想象一下能夠通過語音對(duì)話來指揮一個(gè)AI系統(tǒng)，并讓它自動(dòng)完成簡(jiǎn)單的機(jī)器學(xué)習(xí)數(shù)據(jù)分析，這將是多么激動(dòng)人心！

該項(xiàng)目的當(dāng)前階段集中于設(shè)計(jì)和開發(fā)一個(gè)能夠執(zhí)行基于機(jī)器學(xué)習(xí)的任務(wù)（如通過數(shù)據(jù)分析預(yù)測(cè)天氣狀況或股票價(jià)格）的語音控制AI代理。該項(xiàng)目將涵蓋數(shù)據(jù)科學(xué)生命周期的所有階段，包括數(shù)據(jù)收集、清洗、分析和建模。

應(yīng)用背景

該項(xiàng)目立足于當(dāng)前市場(chǎng)上大模型的生產(chǎn)端與應(yīng)用端缺乏供應(yīng)鏈連接的問題，創(chuàng)新地引入AI工程化的概念，架起原生大模型與生產(chǎn)應(yīng)用之間的橋梁。該項(xiàng)目目前正在第二階段，展示項(xiàng)目為第一階段，以數(shù)據(jù)科學(xué)分析任務(wù)為例。

技術(shù)架構(gòu)和實(shí)現(xiàn)

1. 原生自研高級(jí) RAG 技術(shù)，有效解決外部知識(shí)庫(kù)數(shù)據(jù)理解和 Information retrieval（非采用 Langchain, LlamaIndex 等封裝好的框架，使全流程透明可控）

2. LLM agnostic - 支持任何原生大模型的 Embedding 和 Text completion (HuggingFace Transformers、Sentence Transformer、GPT, Llama 等）

3. Database agnostic - 支持任何向量數(shù)據(jù)庫(kù)和 Knowledge base

4. 增強(qiáng)版記憶機(jī)制 - 比 ChatGPT 的 memory 更有效更可控

5. 語音對(duì)話 - 基于先進(jìn)的 TTS 和 STT 模型，整個(gè)對(duì)話過程可用語音控制

6. Agent - 自研 Agent 框架，在覆蓋特定領(lǐng)域任務(wù)的全生命周期外，力求 Agent 在任務(wù)執(zhí)行過程中對(duì) Token 的消耗降本增效...

應(yīng)用價(jià)值

本項(xiàng)目主要專注于基于 RAG 和 Agent 的基礎(chǔ)技術(shù)研究，專注于通用之上的專用、隱私，并無特定的限制，理論上，當(dāng)前大模型能夠被應(yīng)用到的地方（多種自然語言處理任務(wù)，如問答系統(tǒng)、文檔生成、智能助手、信息檢索和知識(shí)圖譜填充等），本項(xiàng)目都可以用于加強(qiáng)現(xiàn)有大模型的能力。

當(dāng)前項(xiàng)目展示以數(shù)據(jù)科學(xué)的分析任務(wù)全流程為例，完全由 Agent 計(jì)劃并執(zhí)行，覆蓋數(shù)據(jù)科學(xué)任務(wù)的全生命周期、支持對(duì)每個(gè)階段內(nèi)執(zhí)行的任務(wù)進(jìn)行調(diào)整并重新執(zhí)行。未來會(huì)加入更多流程，如數(shù)學(xué)分析、化學(xué)分析、軟件工程等。

未來發(fā)展

RAG 技術(shù)才剛剛開始興起，與大語言模型相輔相成，即便是未來大模型支持的文本輸入窗口無限增大，成本是需要考慮的，數(shù)據(jù)隱私也是需要考慮的，而 RAG 作為外部的知識(shí)檢索和存取技術(shù)，支持本地部署，且不會(huì)消耗太多額外的算力，相比本地部署大模型，RAG 的性價(jià)比更高。

借助于 RAG 的優(yōu)勢(shì)，加上我們與 Agent 的整合，我們希望該系統(tǒng)的能力會(huì)進(jìn)一步增強(qiáng)，具體可以體現(xiàn)在：信息檢索和召回更準(zhǔn)確、token消耗量更小、每一步流程更透明可控。同時(shí)，語音交互也為未來的空間計(jì)算提供了基礎(chǔ)。

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > OPENAIGC開發(fā)者大賽高校組金獎(jiǎng) | 基于混合大語言模型與多模態(tài)的全過程通用AI Agent