自然語言處理（Natural Language Processing，NLP）技術(shù)是與自然語言的計(jì)算機(jī)處理有關(guān)的所有技術(shù)的統(tǒng)稱，其目的是使計(jì)算機(jī)能夠理解和接受人類用自然語言輸入的指令，完成從一種語言到另一種語言的翻譯功能。
自然語言處理技術(shù)的研究，可以豐富計(jì)算機(jī)知識處理的研究內(nèi)容，推動(dòng)人工智能技術(shù)的發(fā)展。
本文來源：大數(shù)據(jù)DT（ID：hzdashuju）
自然語言處理技術(shù)的核心為語義分析。語義分析是一種基于自然語言進(jìn)行語義信息分析的方法，不僅進(jìn)行詞法分析和句法分析這類語法水平上的分析，而且還涉及單詞、詞組、句子、段落所包含的意義，目的是用句子的語義結(jié)構(gòu)來表示語言的結(jié)構(gòu)。語義分析技術(shù)具體包括如下幾點(diǎn)。
詞法分析包括詞形分析和詞匯分析兩個(gè)方面。 一般來講，詞形分析主要表現(xiàn)在對單詞的前綴、后綴等進(jìn)行分析，而詞匯分析則表現(xiàn)在對整個(gè)詞匯系統(tǒng)的控制，從而能夠較準(zhǔn)確地分析用戶輸入信息的特征，最終準(zhǔn)確地完成搜索過程。
句法分析是對用戶輸入的自然語言進(jìn)行詞匯短語的分析，目的是識別句子的句法結(jié)構(gòu)，以實(shí)現(xiàn)自動(dòng)句法分析的過程。
語用分析相對于語義分析又增加了對上下文、語言背景、語境等的分析，即從文章的結(jié)構(gòu)中提取出意象、人際關(guān)系等附加信息，是一種更高級的語言學(xué)分析。它將語句中的內(nèi)容與現(xiàn)實(shí)生活中的細(xì)節(jié)關(guān)聯(lián)在一起，從而形成動(dòng)態(tài)的表意結(jié)構(gòu)。
語境分析主要是指對原查詢語篇之外的大量“空隙”進(jìn)行分析，以便更準(zhǔn)確地解釋所要查詢語言的技術(shù)。這些“空隙”包括一般的知識、特定領(lǐng)域的知識以及查詢用戶的需求等。
AI驅(qū)動(dòng)的引擎能夠根據(jù)收集的數(shù)據(jù)生成描述，通過遵循將數(shù)據(jù)中的結(jié)果轉(zhuǎn)換為散文的規(guī)則，在人與技術(shù)之間創(chuàng)建無縫交互的軟件引擎。結(jié)構(gòu)化性能數(shù)據(jù)可以通過管道傳輸?shù)阶匀徽Z言引擎中，以自動(dòng)編寫內(nèi)部和外部的管理報(bào)告。
自然語言生成接收結(jié)構(gòu)化表示的語義，以輸出符合語法的、流暢的、與輸入語義一致的自然語言文本。早期大多采用管道模型研究自然語言生成，管道模型根據(jù)不同的階段將研究過程分解為如下三個(gè)子任務(wù)：
-
內(nèi)容選擇：決定要表達(dá)哪些內(nèi)容。
-
句子規(guī)劃：決定篇章及句子的結(jié)構(gòu)，進(jìn)行句子的融合、指代表述等。
-
表層實(shí)現(xiàn)：決定選擇什么樣的詞匯來實(shí)現(xiàn)一個(gè)句子的表達(dá)。
早期基于規(guī)則的自然語言生成技術(shù)，在每個(gè)子任務(wù)上均采用了不同的語言學(xué)規(guī)則或領(lǐng)域知識，實(shí)現(xiàn)了從輸入語義到輸出文本的轉(zhuǎn)換。
鑒于基于規(guī)則的自然語言生成系統(tǒng)存在的不足之處，近幾年來，學(xué)者們開始了基于數(shù)據(jù)驅(qū)動(dòng)的自然語言生成技術(shù)的研究，從淺層的統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型，到深層的神經(jīng)網(wǎng)絡(luò)模型，對語言生成過程中每個(gè)子任務(wù)的建模，以及多個(gè)子任務(wù)的聯(lián)合建模，開展了相關(guān)的研究，目前主流的自然語言生成技術(shù)主要有基于數(shù)據(jù)驅(qū)動(dòng)的自然語言生成技術(shù)和基于深度神經(jīng)網(wǎng)絡(luò)的自然語言生成技術(shù)。
自然語言處理應(yīng)用的技術(shù)體系主要包括字詞級別的自然語言處理，句法級別的自然語言處理和篇章級別的自然語言處理：
-
字詞級別的分析主要包括中文分詞、命名實(shí)體識別、詞性標(biāo)注、同義詞分詞、字詞向量等；
-
句法級別的分析主要包括依存文法分析、詞位置分析、語義歸一化、文本糾錯(cuò)等；
-
篇章級別的分析主要包括標(biāo)簽提取、文檔相似度分析、主題模型分析、文檔分類和聚類等。
中文分詞是計(jì)算機(jī)根據(jù)語義模型，自動(dòng)將漢字序列切分為符合人類語義理解的詞匯。分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程。
在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能夠通過明顯的分界符來進(jìn)行簡單的劃界，唯獨(dú)詞沒有一個(gè)形式上的分界符，雖然英文也同樣存在短語的劃分問題，不過在詞這一層面上，中文比英文要復(fù)雜得多、困難得多。
命名實(shí)體識別又稱作“專名識別”（NER），是指對具有特定意義的實(shí)體進(jìn)行自動(dòng)識別的技術(shù)，是信息提取、知識圖譜、問答系統(tǒng)、句法分析、搜索引擎、機(jī)器翻譯等應(yīng)用的重要基礎(chǔ)。
詞性標(biāo)注（Part-of-Speech tagging或POS tagging）又稱詞類標(biāo)注，是指為分詞結(jié)果中的每個(gè)單詞標(biāo)注一個(gè)正確的詞性的程序。具體來說就是，確定每個(gè)詞是名詞、動(dòng)詞、形容詞或者是其他詞性的過程（如圖3-2所示）。
在漢語中，詞性標(biāo)注比較簡單，因?yàn)闈h語詞匯詞性多變的情況比較少見，大多數(shù)詞語只有一個(gè)詞性，或者出現(xiàn)頻次最高的詞性遠(yuǎn)遠(yuǎn)高于第二位的詞性。常用的方法有：基于最大熵的詞性標(biāo)注、基于統(tǒng)計(jì)的最大概率輸出詞性、基于隱馬爾可夫模型（HMM）的詞性標(biāo)注。
由于不同地區(qū)的文化差異，輸入的查詢文字很可能會(huì)出現(xiàn)描述不一致的問題。此時(shí)，業(yè)務(wù)系統(tǒng)需要對用戶的輸入做同義詞、糾錯(cuò)、歸一化處理。同義詞挖掘是一項(xiàng)基礎(chǔ)工作，同義詞算法包括詞典、百科詞條、元搜索數(shù)據(jù)、上下文相關(guān)性挖掘，等等。
詞向量技術(shù)是指將詞轉(zhuǎn)化為稠密向量，相似的詞對應(yīng)的詞向量也相近。在自然語言處理應(yīng)用中，詞向量作為深度學(xué)習(xí)模型的特征進(jìn)行輸入。因此，最終模型的效果在很大程度上取決于詞向量的效果。一般來說，字詞表示有兩種方式：one-hot及分布式表示。
one-hot是指向量中只有一個(gè)維度的值為1，其余維度為0，這個(gè)維度代表了當(dāng)前詞。分布式表示（word embedding）指的是將詞轉(zhuǎn)化為一種分布式表示，又稱詞向量，分布式表示將詞表示成一個(gè)定長的稠密向量。
詞向量的生成可分為兩種方法：基于統(tǒng)計(jì)方法（例如，共現(xiàn)矩陣、奇異值分解（SVD）和基于語言模型（例如，word2vec中使用的CBOW、Skip-gram等）。
依存文法通過分析語言單位內(nèi)成分之前的依存關(guān)系解釋其句法結(jié)構(gòu)，主張句子中的核心謂語動(dòng)詞是支配其他成分的中心成分。而它本身卻不會(huì)受到其他任何成分的支配，所有受支配的成分都以某種關(guān)系從屬于支配者，如圖3-3所示。
從分析結(jié)果中我們可以看到，句子的核心謂語動(dòng)詞為“召開”，主語是“民航局”，“召開”的賓語是“會(huì)”，“會(huì)”的修飾語是“通用航空發(fā)展工作專題”。有了上面的句法分析結(jié)果，我們就可以比較容易地看到，是“民航局”“召開”了會(huì)議，而不是“促進(jìn)”了會(huì)議，即使“促進(jìn)”距離“會(huì)”更近。
文章中不同位置的詞對文章語義的貢獻(xiàn)度也不同。文章首尾出現(xiàn)的詞成為主題詞、關(guān)鍵詞的概率要大于出現(xiàn)在正文中的詞。對文章中的詞的位置進(jìn)行建模，賦予不同位置不同的權(quán)重，從而能夠更好地對文章進(jìn)行向量化表示。
語義歸一化通常是指從文章中識別出具有相同意思的詞或短語，其主要的任務(wù)是共指消解。共指消解是自然語言處理中的核心問題，在機(jī)器翻譯、信息抽取以及問答等領(lǐng)域都有著非常重要的作用。
就拿常見的信息抽取的一個(gè)成型系統(tǒng)來講，微軟的學(xué)術(shù)搜索引擎會(huì)存有一些作者的檔案資料，這些信息可能有一部分就是根據(jù)共指對象抽取出來的。比如，在一個(gè)教授的訪談錄中，教授的名字可能只會(huì)出現(xiàn)一兩次，更多的可能是“我”“某某博士”“某某教授”或“他”之類的代稱，不出意外的話，這其中也會(huì)有一些同樣的詞代表記者，如何將這些詞對應(yīng)到正確的人，將會(huì)成為信息抽取的關(guān)鍵所在。
文本糾錯(cuò)任務(wù)指的是，對于自然語言在使用過程中出現(xiàn)的錯(cuò)誤進(jìn)行自動(dòng)地識別和糾正。文本糾錯(cuò)任務(wù)主要包含兩個(gè)子任務(wù)，分別為錯(cuò)誤識別和錯(cuò)誤修正。錯(cuò)誤識別的任務(wù)是指出錯(cuò)誤出現(xiàn)的句子的位置，錯(cuò)誤修正是指在識別的基礎(chǔ)上自動(dòng)進(jìn)行更正。
相比于英文糾錯(cuò)來說，中文糾錯(cuò)的主要困難在于中文的語言特性：中文的詞邊界以及中文龐大的字符集。由于中文的語言特性，兩種語言的錯(cuò)誤類型也是不同的。
英文的修改操作包括插入、刪除、替換和移動(dòng)（移動(dòng)是指兩個(gè)字母交換順序等），而對于中文來說，因?yàn)槊恳粋€(gè)中文漢字都可獨(dú)立成詞，因此插入、刪除和移動(dòng)的錯(cuò)誤都只是作為語法錯(cuò)誤。由于大部分的用戶均為母語用戶，且輸入法一般會(huì)給出正確提示，語法錯(cuò)誤的情況一般比較少，因此，中文輸入糾錯(cuò)主要集中在替換錯(cuò)誤上。
文檔的標(biāo)簽通常是幾個(gè)詞語或者短語，并以此作為對該文檔主要內(nèi)容的提要。標(biāo)簽是人們快速了解文檔內(nèi)容、把握主題的重要方式，在科技論文、信息存儲(chǔ)、新聞報(bào)道中具有極其廣泛的應(yīng)用。文檔的標(biāo)簽通常具有可讀性、相關(guān)性、覆蓋度等特點(diǎn)。
可讀性指的是其本身作為一個(gè)詞語或者短語就應(yīng)該是有意義的；相關(guān)性指的是標(biāo)簽必須與文檔的主題、內(nèi)容緊密相關(guān)；覆蓋度指的是文檔的標(biāo)簽?zāi)茌^好地覆蓋文檔的內(nèi)容，而不能只集中在某一句話中。
文本相似度在不同領(lǐng)域受到了廣泛的討論，然而由于應(yīng)用場景的不同，其內(nèi)涵也會(huì)有差異，因此沒有統(tǒng)一的定義。
從信息論的角度來看，相似度與文本之間的共性和差異度有關(guān)，共性越大、差異度越小，則相似度越高；共性越小、差異度越大，則相似度越低；相似度最大的情況是文本完全相同。
相似度計(jì)算一般是指計(jì)算事物的特征之間的距離，如果距離小，那么相似度就大；如果距離大，那么相似度就小。
相似度計(jì)算的方法可以分為四大類：基于字符串的方法、基于語料庫的方法、基于知識的方法和其他方法。
基于字符串的方法是指從字符串的匹配度出發(fā)，以字符串共現(xiàn)和重復(fù)程度為相似度的衡量標(biāo)準(zhǔn)；基于語料庫的方法是指利用從語料庫中獲取的信息計(jì)算文本的相似度；基于知識的方法是指利用具有規(guī)范組織體系的知識庫計(jì)算文本的相似度。
主題分析模型（Topic Model）是以非監(jiān)督學(xué)習(xí)的方式對文檔的隱含語義結(jié)構(gòu)進(jìn)行統(tǒng)計(jì)和聚類，以用于挖掘文本中所蘊(yùn)含的語義結(jié)構(gòu)的技術(shù)。隱含狄利克雷分布（Latent Dirichlet Allocation，LDA）是常用的主題模型計(jì)算方法。
按照特定行業(yè)的文檔分類體系，計(jì)算機(jī)自動(dòng)閱讀文檔的內(nèi)容并將其歸屬到相應(yīng)類目的技術(shù)體系下。其典型的處理過程可分為訓(xùn)練和運(yùn)轉(zhuǎn)兩種。即計(jì)算機(jī)預(yù)先閱讀各個(gè)類目的文檔并提取特征，完成有監(jiān)督的學(xué)習(xí)訓(xùn)練，在運(yùn)轉(zhuǎn)階段識別新文檔的內(nèi)容并完成歸類。
文本聚類主要是依據(jù)著名的聚類假設(shè)：同類的文檔相似度較大，而不同類的文檔相似度較小。作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，聚類由于不需要訓(xùn)練過程，以及不需要預(yù)先對文檔的類別進(jìn)行手工標(biāo)注，因此具有一定的靈活性和較高的自動(dòng)化處理能力。
文本聚類已經(jīng)成為對文本信息進(jìn)行有效地組織、摘要和導(dǎo)航的重要手段。文本聚類的方法主要有基于劃分的聚類算法、基于層次的聚類算法和基于密度的聚類算法。
有關(guān)語義分析與AI自動(dòng)化應(yīng)用的更多詳細(xì)內(nèi)容，詳見由達(dá)觀數(shù)據(jù)撰寫的《智能RPA實(shí)戰(zhàn)》。
《智能RPA實(shí)戰(zhàn)》從應(yīng)用角度講解“AI+RPA”如何為企業(yè)數(shù)字化轉(zhuǎn)型賦能，從基礎(chǔ)知識、平臺(tái)構(gòu)成、相關(guān)技術(shù)、建設(shè)指南、項(xiàng)目實(shí)施、落地方法論、案例分析、發(fā)展趨勢8個(gè)維度對智能RPA做了系統(tǒng)解讀，為企業(yè)認(rèn)知和實(shí)踐智能RPA提供全面指導(dǎo)。
特別聲明：
文章來源：達(dá)觀數(shù)據(jù)（Datagrand_）
原文鏈接：https://mp.weixin.qq.com/s/2mzTjh0_VPaYmaJymVycFw
RPA中國推薦閱讀，轉(zhuǎn)載此文是出于傳遞更多信息之目的。如有來源標(biāo)注錯(cuò)誤或侵權(quán)，請聯(lián)系更正或刪除，謝謝。
繼續(xù)閱讀：流程自動(dòng)化 RPA AI 自然語言處理 語義分析
未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國RPA生態(tài)發(fā)展 | 流 > 詳解自然語言處理5大語義分析技術(shù)及14類應(yīng)用
heng.png)
RPA CoE x GPT = 未來企業(yè)
RPA技術(shù)的進(jìn)階之路：智能化、多元化與增強(qiáng)發(fā)展
沒錢沒需求，企業(yè)數(shù)字化轉(zhuǎn)型怎么干？
從ChatGPT數(shù)據(jù)泄露事件，看組織安全穩(wěn)定自動(dòng)化的重要性
熱門信息
閱讀 (14728)
1 2023第三屆中國RPA+AI開發(fā)者大賽圓滿收官&獲獎(jiǎng)名單公示閱讀 (13753)
2 《Market Insight：中國RPA市場發(fā)展洞察（2022）》報(bào)告正式發(fā)布 | RPA中國閱讀 (13055)
3 「RPA中國杯 · 第五屆RPA極客挑戰(zhàn)賽」成功舉辦及獲獎(jiǎng)名單公示閱讀 (12964)
4 與科技共贏，與產(chǎn)業(yè)共進(jìn)，第四屆ISIG中國產(chǎn)業(yè)智能大會(huì)成功召開閱讀 (11567)
5 《2022年中國流程挖掘行業(yè)研究報(bào)告》正式發(fā)布 | RPA中國