著名云數(shù)據(jù)平臺(tái)Snowflake的研究人員發(fā)布了一篇論文，主要對OpenAI的GPT-4系列模型進(jìn)行了研究，查看其文本生成、圖像理解、文檔摘要等能力。

在DocVQA、InfographicsVQA、SlideVQA和DUDE數(shù)據(jù)集上對GPT-4、GPT-4V、GPT-4Turbo V +OCR等進(jìn)行了多維度測試。

結(jié)果顯示，使用GPT-4去執(zhí)行解讀文檔任務(wù)時(shí)，無法達(dá)到滿意的效果。這是因?yàn)?，文檔理解不僅是對文本的解析，還涉及到對文檔布局、圖片視覺內(nèi)容的理解、推理和整合。

使用GPT-4 V去執(zhí)行時(shí)評測數(shù)據(jù)有了很大的改善，當(dāng)使用GPT-4Turbo V+第三方OCR（光學(xué)字符識(shí)別）視覺引擎時(shí)，例如，Tesseract、Azure Cognitive 、Amazon Textract等，可明顯提升大模型的視覺理解能力。

可能存在數(shù)據(jù)污染

研究人員在DocVQA和InfographicsVQA兩個(gè)數(shù)據(jù)集測試GPT-4系列模型時(shí)，發(fā)現(xiàn)它并不是完全理解測試問題，而是之前在預(yù)訓(xùn)練過程中接觸過該數(shù)據(jù)集給出了看似正確的答案，可能存在數(shù)據(jù)污染的現(xiàn)象。

這是因?yàn)椋?strong>DocVQA和InfographicsVQA兩個(gè)數(shù)據(jù)集在GPT-4之前就已經(jīng)發(fā)布，有可能在GPT-4模型訓(xùn)練時(shí)被包含在內(nèi)。如果這些數(shù)據(jù)集真的被包含在訓(xùn)練數(shù)據(jù)中，那么模型在這些數(shù)據(jù)集上的高得分可能并不代表其真正的理解能力，而只是對訓(xùn)練數(shù)據(jù)的一種記憶。

為了解開這個(gè)謎題，研究人員采用了一種“指導(dǎo)性指令”的技術(shù)。這種方法通過在模型的輸入提示中加入特定的數(shù)據(jù)集名稱，來檢查模型是否能夠根據(jù)數(shù)據(jù)集的特定特征給出不同的答案。

例如，如果模型在接收到“回答DocVQA數(shù)據(jù)集測試分割中的問題”的指令后，給出了與接收到“回答SQuAD數(shù)據(jù)集測試分割中的問題”的指令不同的答案，這可能表明模型對不同數(shù)據(jù)集有特定的反應(yīng)。

在進(jìn)行數(shù)據(jù)污染分析時(shí)，當(dāng)在提示中明確提及數(shù)據(jù)集名稱時(shí)，模型的性能有所提高，這可能意味著模型在訓(xùn)練時(shí)已經(jīng)接觸過這些數(shù)據(jù)集，因此在評估時(shí)能夠給出更加符合預(yù)期的答案。

此外，即使是使用不同的數(shù)據(jù)集名稱進(jìn)行誤導(dǎo)性的指導(dǎo)，也可能會(huì)改變模型的輸出，這進(jìn)一步表明模型的輸出受到了預(yù)訓(xùn)練數(shù)據(jù)的影響。

OCR能提升模型的視覺性能

在測試的實(shí)驗(yàn)中，研究者還發(fā)現(xiàn)，當(dāng)GPT-4Turbo V結(jié)合了第三方OCR引擎識(shí)別的文本和文檔圖像輸入時(shí)，其在文檔理解任務(wù)上的表現(xiàn)有了顯著提升。

這種提升在SlideVQA和DUDE數(shù)據(jù)集上尤為明顯，能夠達(dá)到最先進(jìn)的性能水平。這表明OCR技術(shù)在增強(qiáng)模型對文檔的視覺理解方面發(fā)揮了重要作用。

這是因?yàn)椋?strong>OCR能夠?qū)D像中的文本內(nèi)容轉(zhuǎn)換為機(jī)器可讀的格式，從而使模型能夠直接處理文本信息。

在文檔理解任務(wù)中，這意味著模型不僅能夠“看到”文檔中的文本，還能夠“理解”這些文本的含義。

但不同的OCR例如，Tesseract、Azure Cognitive Services和Amazon Textract。在不同的測試數(shù)據(jù)集上表現(xiàn)也各不相同。這表明在實(shí)際應(yīng)用中，開發(fā)者可以根據(jù)應(yīng)用場景來選擇不同的OCR來搭配使用。

本文素材來源Snowflake論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國RPA生態(tài)發(fā)展 | 流 > GPT-4系列模型，在文檔理解中的多維度評測