備受關(guān)注的大語(yǔ)言模型，核心是自然語(yǔ)言的理解與文本內(nèi)容的生成，對(duì)于此，你是否好奇過它們究竟是如何理解自然語(yǔ)言并生成內(nèi)容的，其工作原理又是什么呢？

要想了解這個(gè)，我們就不得不先跳出大語(yǔ)言模型的領(lǐng)域，來(lái)到機(jī)器翻譯這里。傳統(tǒng)的機(jī)器翻譯方式，還是采用 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)。

就“我畫一幅畫”這句話而言，它會(huì)先將其拆分為“我”、“畫”、“一幅”、“畫”四個(gè)詞，然后遞進(jìn)式一個(gè)詞一個(gè)詞對(duì)這句話進(jìn)行理解翻譯，像是：

然后輸出：I have drawn a picture.

這種方式簡(jiǎn)單直接，但因?yàn)?RNN 自身的線性結(jié)構(gòu)導(dǎo)致其無(wú)法對(duì)海量文本進(jìn)行并行處理，運(yùn)行緩慢，另外還會(huì)有“讀到后面忘了前面”，使 RNN 在處理長(zhǎng)序列時(shí)會(huì)出現(xiàn)梯度消失或爆炸的狀況。

直到2017年，Google Brain 和 Groogle Research 合作發(fā)布了一篇名為《Attention Is All You Need》的論文，該論文為機(jī)器翻譯處理提供了一個(gè)嶄新的方式，同時(shí)起了一個(gè)與《變形金剛》相同的名字——Transformer。

Transformer 能對(duì)海量文本進(jìn)行并行處理，因?yàn)樗褂玫氖且环N特殊的機(jī)制，稱為自注意力(self-attention)機(jī)制。就像我們?cè)谶M(jìn)行長(zhǎng)閱讀時(shí)，大腦會(huì)依靠注意力選擇重點(diǎn)詞進(jìn)行關(guān)聯(lián)，從而“略讀”后對(duì)文章更好的理解，該機(jī)制的作用就是賦予AI這項(xiàng)能力。

同樣還是“請(qǐng)注意垃圾分類”這句話，同樣是被分成“我”、“畫”、“一幅”、“畫”四個(gè)詞，在 Transformer 中它們會(huì)經(jīng)歷輸入、編碼器（encoder）、解碼器（decoder）、輸出四個(gè)階段。

具體來(lái)看，當(dāng)句子拆解后輸入到編碼器（encoder）中，編碼器會(huì)先對(duì)每個(gè)詞的生成一個(gè)初始表征，可簡(jiǎn)單理解為對(duì)每個(gè)詞的初始判斷，比如“畫”是名詞，也可以是動(dòng)詞。

然后，利用自注意力(self-attention)機(jī)制計(jì)算詞與詞之間的關(guān)聯(lián)程度，可以理解為進(jìn)行打分，比方第一個(gè)“畫”與“我”的關(guān)聯(lián)程度高就給打6分，第二個(gè)“畫”與“一幅”的關(guān)聯(lián)也高打8分，“我”與“一幅”沒什么關(guān)聯(lián)就打-2分。

接著，根據(jù)打分對(duì)先前生成的初始表征進(jìn)行加工，第一個(gè)“畫”與“我”的關(guān)聯(lián)程度高，那就可以降低表征中對(duì)名詞詞性的判斷，提升動(dòng)詞詞性的判斷；第二個(gè)“畫”與“一幅”的關(guān)聯(lián)程度高，那就可以降低表征中對(duì)動(dòng)詞詞性的判斷，提升名詞詞性的判斷。

最后，將加工過的表征輸入到解碼器（decoder），解碼器（decoder）再根據(jù)對(duì)每個(gè)詞的了解結(jié)合上下文，再輸出翻譯。在這期間，每個(gè)詞與詞之間都可以同時(shí)進(jìn)行，大大提高了處理速率。

可這樣的 Transformer 和大語(yǔ)言模型有什么關(guān)系呢？

大語(yǔ)言模型本就是指使用大量文本數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型，而 Transformer 正好能為大量文本數(shù)據(jù)訓(xùn)練提供足夠的動(dòng)力。另外，在加工過的表征輸入到解碼器（decoder）后，能依靠這些表征推斷下一個(gè)詞出現(xiàn)的概率，然后從左到右逐字生成內(nèi)容，在這個(gè)過程中還會(huì)不斷結(jié)合先前已生成的這個(gè)詞共同推斷。

比如根據(jù)“一幅”、“畫”這兩個(gè)詞推斷出下一個(gè)詞是“風(fēng)格”的概率最大，再兼顧“一幅”、“畫”與“風(fēng)格”推斷下下個(gè)詞是“水墨”，以此類推再下下下個(gè)詞，下下下下個(gè)詞，這才有了我們看到的大語(yǔ)言模型的內(nèi)容生成。

這也是為什么大家普遍認(rèn)為，大語(yǔ)言模型的誕生起點(diǎn)，就是 Transformer。

那么，Transformer 中最關(guān)鍵的自注意力(self-attention)機(jī)制是如何知道“打多少分”的呢？

這是一套比較復(fù)雜的計(jì)算公式：

作簡(jiǎn)單理解的話，可以想想數(shù)學(xué)課本上關(guān)于向量的知識(shí)，當(dāng)兩個(gè)向量 a 和 b 同向，a.b=lallb|；當(dāng) a 和 b 垂直，a.b=0；當(dāng) a 和 b 反向，a.b=-lallbl。

如果把這里的 a、b 兩個(gè)向量，看作是“我”、“畫”、“一幅”、“畫”四個(gè)詞當(dāng)中的兩個(gè)在空間中的投射，那 a 乘 b 的數(shù)值就是打分。

只是這是簡(jiǎn)單理解，在現(xiàn)實(shí)中還需要一套紛繁復(fù)雜的計(jì)算過程，并且還需要多次的重復(fù)，才能獲取到更加準(zhǔn)確的信息，確定每個(gè)詞符合上下文語(yǔ)境的含義。

以上就是大語(yǔ)言模型的工作原理了，強(qiáng)大 Transformer 的實(shí)用性還不止于在自然語(yǔ)言處理領(lǐng)域，包括圖像分類、物體檢測(cè)和語(yǔ)音識(shí)別等計(jì)算機(jī)視覺和語(yǔ)音處理任務(wù)也都有它的身影，可以說 Transformer 就是是今年大模型井噴式爆發(fā)的關(guān)鍵。

當(dāng)然，Transformer 再?gòu)?qiáng)也只是對(duì)輸入的處理過程，要想生成式 AI 生成的內(nèi)容更符合我們的需求，一個(gè)好的輸入是重要前提，所以下一期我們就來(lái)聊聊什么是好的輸入，Prompt 又是什么？