Transformer對大模型界的影響力不言而喻，ChatGPT、Sora、Stable Difusion等知名模型皆使用了該架構(gòu)。

但有一個很明顯的缺點，其注意力復(fù)雜度的二次方增長在處理書籍、PDF等超長文檔時會顯著增加算力負(fù)擔(dān)。

雖然會通過滑動窗口注意力和稀疏注意力等技術(shù)來解決這一問題,在處理極長序列時仍存在局限性。

因此，谷歌的研究人員提出了全新架構(gòu)TransformerFAM，可以無縫與預(yù)訓(xùn)練模型集成,并通過LoRA進(jìn)行少量精調(diào)從而大幅度提升模型性能。

研究人員在1B、8B和24B三種參數(shù)的Flan-PaLM大語言模型上評估了Transformer FAM的性能。實驗結(jié)果顯示,與Transformer架構(gòu)相比,TransformerFAM在長序列任務(wù)上取得了好的能力并且資源消耗更低。

論文地址：https://arxiv.org/abs/2404.09173

TransformerFAM的技術(shù)靈感來自人腦中工作記憶的機(jī)制。研究人員發(fā)現(xiàn),大腦中的工作記憶能力是由前額葉皮層和視床之間的反饋循環(huán)維持的,即持續(xù)的神經(jīng)元脈沖活動形成了一個反饋回路,從而實現(xiàn)了對短期記憶的維持和更新。

受此啟發(fā),研究人員設(shè)計了一個集成在Transformer中的反饋循環(huán),使得注意力機(jī)制不僅可以關(guān)注輸入序列,還能自我關(guān)注自身的潛在表示，使大模型能夠存儲超長和更新全局上下文信息。

簡單來說，可以把TransformerFAM看成是一個"便簽本"，可以幫助大模型記住很多短暫、細(xì)小的事情，又不會對內(nèi)存、算力造成過多的負(fù)擔(dān)。

反饋注意力記憶

反饋注意力記憶（Feedback Attention Memory，F(xiàn)AM）是TransformerFAM架構(gòu)的核心模塊，主要通過反饋循環(huán)使神經(jīng)網(wǎng)絡(luò)能夠注意到自身的潛在表示，從而允許大模型處理超長的輸入序列。

研究人員在每個Transformer層中都加入了FAM模塊，在自注意力過程中被激活，使得輸入查詢不僅關(guān)注當(dāng)前塊和滑動窗口覆蓋的過去記憶段,還能關(guān)注前一步的FAM狀態(tài),將全局上下文知識融入當(dāng)前表示。

同時一個專門的FAM查詢則負(fù)責(zé)根據(jù)當(dāng)前塊和上一步的FAM,更新后續(xù)的FAM狀態(tài)以實現(xiàn)全局上下文信息的傳遞。

這種巧妙設(shè)計使得每個Transformer層都能夠維持一個與其抽象層次相對應(yīng)的分布式工作記憶狀態(tài)。

塊內(nèi)壓縮

塊內(nèi)壓縮是Transformer架構(gòu)中處理長序列數(shù)據(jù)的關(guān)鍵技術(shù)。主要是將長序列分成若干個小塊，然后對每個塊中的信息進(jìn)行壓縮，以便模型能夠更高效地處理和記憶這些信息。

在每個Transformer層中，塊內(nèi)壓縮通過自注意力機(jī)制將當(dāng)前塊的信息壓縮成一個固定長度的表示用于反饋記憶的激活。然后再與之前的FAM狀態(tài)結(jié)合，通過一個前饋網(wǎng)絡(luò)進(jìn)行更新生成全新的FAM狀態(tài)。

更新后的FAM狀態(tài)會被傳遞到下一個塊，作為那里的額外上下文信息，從而實現(xiàn)跨塊的數(shù)據(jù)信息傳遞。

隨著模型逐塊處理整個序列，新的記憶狀態(tài)會包含越來越多跨塊的信息，從而形成一個全局的上下文理解，但對內(nèi)存、算力的需求幾乎沒有額外增加，同時又獲得了“記憶存儲”的泛化能力。

本文素材來源TransformerFAM論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 谷歌推出TransformerFAM架構(gòu)，以更低的消耗處理長序列文本