ChatGPT、Gemini等文本理解、生成方面現(xiàn)出了前所未有的能力，極大地推動(dòng)了生成式AI的技術(shù)創(chuàng)新。但這些模型在實(shí)際應(yīng)用中有時(shí)會(huì)生成聽(tīng)起來(lái)合理，但實(shí)際上并不準(zhǔn)確的“幻覺(jué)”內(nèi)容，就是一本正經(jīng)的胡說(shuō)八道。

為了解決這一難題，谷歌研究院在官網(wǎng)發(fā)布了創(chuàng)新框架AGREE，可增強(qiáng)大模型生成內(nèi)容和引用的準(zhǔn)確性。

研究人員在Llama-2-13b等知名大模型進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示，與現(xiàn)有方法相比，AGREE在提升內(nèi)容回答準(zhǔn)確性和引用性方面非常出色。

論文地址：https://arxiv.org/abs/2311.09533

AGREE的核心技術(shù)是通過(guò)檢索文檔中的相關(guān)段落來(lái)增強(qiáng)大模型生成回答的事實(shí)基礎(chǔ)，并提供相應(yīng)的引用。這種方法不僅可以提高回答的準(zhǔn)確性，還可以為用戶提供驗(yàn)證信息真實(shí)性的途徑，主要由訓(xùn)練階段微調(diào)和測(cè)試時(shí)自適應(yīng)兩大塊組成。

訓(xùn)練階段微調(diào)

訓(xùn)練階段微調(diào)是AGREE提升大模型自我歸因能力的關(guān)鍵模塊，在生成每一個(gè)回答時(shí)都能夠提供支持其聲明的可靠來(lái)源。

首先使用基礎(chǔ)的大模型生成一系列回答，作為微調(diào)流程的起點(diǎn)。然后，使用了自然語(yǔ)言推理模型（NLI），來(lái)評(píng)估一個(gè)給定的段落是否支持一個(gè)特定的聲明。在AGREE框架中，NLI模型被用來(lái)從未標(biāo)記的查詢中自動(dòng)構(gòu)建訓(xùn)練數(shù)據(jù)集。

構(gòu)建訓(xùn)練數(shù)據(jù)的過(guò)程包括將基礎(chǔ)大模型生成的回答與檢索到的文檔進(jìn)行匹配，NLI模型會(huì)為每個(gè)聲明找到最相關(guān)的支持性段落，并將其作為引用附加到聲明上；如果聲明沒(méi)有找到支持的段落，則被標(biāo)記為未支持。

在微調(diào)階段，AGREE框架采用了LORA的輕量級(jí)微調(diào)技術(shù)，通過(guò)在大模型的權(quán)重矩陣上添加低秩更新，來(lái)實(shí)現(xiàn)高效且針對(duì)性的調(diào)整，有助于減少計(jì)算資源的消耗，同時(shí)保持模型的泛化能力。

測(cè)試時(shí)自適應(yīng)

測(cè)試時(shí)自適應(yīng)是一種動(dòng)態(tài)、迭代的推理增強(qiáng)方法，可幫助大模型在面對(duì)新的內(nèi)容查詢時(shí)，能夠主動(dòng)地從大型語(yǔ)料庫(kù)中檢索相關(guān)信息，并對(duì)之前生成的回答進(jìn)行補(bǔ)充和修正。這種方法與傳統(tǒng)的靜態(tài)回答生成方式不同，它強(qiáng)調(diào)的是在測(cè)試時(shí)不斷優(yōu)化和調(diào)整回答，以確保生成的內(nèi)容盡可能準(zhǔn)確和全面。

測(cè)試時(shí)自適應(yīng)的工作流程開(kāi)始于接收到一個(gè)新的查詢，經(jīng)過(guò)微調(diào)的大模型會(huì)首先根據(jù)其訓(xùn)練階段學(xué)到的知識(shí)生成一個(gè)初步的回答，然后進(jìn)入一個(gè)自動(dòng)迭代的過(guò)程，大模型會(huì)自我評(píng)估生成的回答，并識(shí)別出其中尚未歸因或需要進(jìn)一步支持的聲明。

一旦識(shí)別出需要額外信息的聲明，測(cè)試時(shí)自適應(yīng)就會(huì)啟動(dòng)檢索過(guò)程。這一過(guò)程涉及到在預(yù)先構(gòu)建的語(yǔ)料庫(kù)中搜索與未歸因聲明相關(guān)的段落。

這些段落被選出來(lái)后，大模型會(huì)嘗試將它們與先前的回答結(jié)合起來(lái)，生成一個(gè)更加完善、準(zhǔn)確的內(nèi)容。同時(shí)會(huì)不斷迭代循環(huán)，直至達(dá)到預(yù)定的推理效果或模型認(rèn)為回答已足夠完美為止。

本文素材來(lái)源AGREE論文，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 谷歌推出AGREE，增強(qiáng)大模型生成回答準(zhǔn)確性