如果問RPA對程序開發(fā)以及自動化有哪些貢獻，其中一個答案便是它改變了人機交互（HCI，human-computer interaction）。
在傳統(tǒng)工作流自動化工具中，軟件開發(fā)人員不得不生成一個操作列表，使用內部應用程序編程接口（API）或專用腳本語言自動執(zhí)行任務和與后端系統(tǒng)的接口。
RPA系統(tǒng)則通過觀察用戶在應用程序的圖形用戶界面（GUI）中執(zhí)行該任務來開發(fā)操作列表，然后通過直接在GUI 中重復這些任務來執(zhí)行自動化，并且能夠給在多個應用程序之間處理數(shù)據(jù)。
這個看似簡單并被稱作“外掛”的形式，有效降低了產品中使用自動化的障礙，并進一步讓更多組織的端到端自動化成為可能。
作為一種改變數(shù)字工作者工作形式的業(yè)務流程自動化技術，二十多年來它不僅將人力資源從簡單重復的工作解放出來，還讓程序開發(fā)變得更加簡單。同時它還締造了一種“人+RPA”的人機交互模式，讓廣大組織能夠更簡單地實現(xiàn)人機協(xié)同。
尤其是近些年足夠成熟、有彈性、可擴展和可靠性強的RPA平臺出現(xiàn)后，很多大型組織都可以RPA改善與優(yōu)化其業(yè)務流程和開發(fā)模式，實現(xiàn)增效降本。
以上這些的實現(xiàn)，皆因RPA不斷改善和優(yōu)化業(yè)務流程自動化以及程序開發(fā)中的人機交互。
沒錯，得到眾多技術加持的RPA在不斷滲透到更多行業(yè)的同時，也在持續(xù)改變不同領域多種業(yè)務場景的人機交互。
尤其是近幾年RPA的再次火爆，正是因為它深度融合了AI技術。以RPA為核心的超自動化技術合集更是囊括了所有與自動化相關的技術，讓端到端自動化的人機交互體驗持續(xù)增強，進而受到更多組織的青睞。
現(xiàn)在，AI大模型時代到來，不斷進化的RPA同樣也在融合生成式AI技術。當前融合LLM（Large Language Model，大型語言模型）的RPA，可以說在人機交互上是一次巨大進步，甚至是一種對以往RPA模式的顛覆。
既然要聊LLM對RPA人機交互的影響，自然要從人機交互談起。到底LLM對人機交互有什么影響？RPA是如何改善人機交互的？LLM又對RPA有什么影響？
上世紀70年代，大多數(shù)辦公室的業(yè)務運行仍舊使用金屬文件、打字機和大量紙張。而體積龐大的計算機，只能存放在只有少數(shù)人可以操作的冷藏室中。
為了解決這些問題，一些公司開始研發(fā)個人計算機。施樂公司于1973年開發(fā)了施樂Alto，雖然因為造價太高等問題該產品始終未能上市，但它卻成了GUI的第一個草圖，成為了Macintosh（麥金塔電腦）和Windows的靈感來源。
受到一系列研究和相應研發(fā)的影響，以及當時市場對于小型計算機的強烈需求，作為研究如何以及為什么使計算機對用戶更加友好的一種手段，人機交互這個概念以及全新學科便出現(xiàn)于70年代末80年代初。
從那時起，HCI領域不斷發(fā)展，主要用于剖析人類行為以解決社會最復雜的問題，研究人們如何與計算機交互以及用戶能夠在多大程度上與計算機交互，目標是在計算機和用戶之間進行成功的交互，并探索哪些領域需要更多的相關開發(fā)。
由于能夠解決當時社會生產力的尖銳矛盾，HCI的研究領域在很短時間內就擴展到所有IT領域。
同時研究人員意識到，他們必須將與計算機的交互擴展到每個人，而不僅僅是信息技術專業(yè)人員。因此在幾年之內，HCI就快速擴展到幾乎所有信息技術設計的變化。
在史蒂夫喬布斯等人的努力之下，蘋果公司在1984年推出了Macintosh個人計算機，人機交互形式由此徹底改變了。它使得計算機的使用變得更加容易，使通信變得更加簡單，鍵盤、鼠標和基于圖標的用戶界面開始流行。
后來，蘋果公司成為個人PC先驅，微軟推出了windows系統(tǒng)，這些產品和軟件完全改變并顛覆了全球的業(yè)務流程與辦公的人機交互形式。
直到今天，IoT已成為網(wǎng)絡連接基礎，人工智能也已無處不在，而人機交互仍舊是各種技術、產品及解決方案的重點。
通過前面的發(fā)展簡史，相信大家應該已經對人機交互有一個大體認知。那么到底什么是人機交互呢？且看下一節(jié)。
02
人機交互的四要素、六目標和七原則
通用定義認為，人機交互技術（Human-Computer Interaction Techniques）是指通過計算機輸入、輸出設備，以有效的方式實現(xiàn)人與計算機對話的技術。
人機交互技術包括機器通過輸出或顯示設備給人提供大量有關信息及提示請示等，人通過輸入設備給機器輸入有關信息，回答問題及提示請示等。因此，人機交互技術是計算機用戶界面設計中的重要內容之一。
在學術上，人機交互是一門與人類使用的交互式計算系統(tǒng)的設計，評估和實施有關的，以及研究圍繞它們的主要現(xiàn)象的學科。
人機交互關注人（用戶）與計算機之間接口（交互界面），關注計算機技術的設計和使用。人機交互涵蓋多門學科，包括計算機科學，心理學，社會學，圖形設計，工業(yè)設計等，是一門綜合性非常強的現(xiàn)代科學。
維基百科認為，人與計算機之間的接口對于促進這種互動至關重要。桌面應用程序，互聯(lián)網(wǎng)瀏覽器，掌上電腦等利用了當今流行的GUI。語音識別和合成系統(tǒng)利用了語音用戶界面（VUI）。
新興的多模態(tài)和圖形用戶界面，則允許人們以其他界面無法實現(xiàn)的方式與具體的角色和智能體交互。
所以，人機交互領域的發(fā)展導致了交互質量的提高，并導致了許多新的研究領域。不同的研究分支不是設計常規(guī)接口，而是專注于多模態(tài)而不是單模態(tài)的概念、智能自適應接口而不是基于命令/操作的接口以及主動接口而不是被動接口的概念。
從人機交互的名字中，我們可以推導出它由三部分組成，即用戶，計算機本身以及它們協(xié)同工作的方式。
后來這三部分擴展為四個基本要素，也就是用戶、任務、工具/界面和背景。
-
用戶，即在項目上一起工作的個人或一組個人稱為用戶組件。HCI研究用戶的需求，目標和交互方式。
-
任務，即以目標為導向的任務，使用計算機時，用戶總是有一個目的或目標。為了實現(xiàn)這一點，計算機呈現(xiàn)事物的數(shù)字表示。
-
界面，也就是可以提高用戶交互質量的基本HCI元素是界面。需要考慮許多與界面相關的因素，包括交互類型、屏幕分辨率、顯示尺寸，甚至顏色對比度。
-
背景，HCI不僅涉及在用戶和計算機之間提供更好的通信，還涉及考慮訪問系統(tǒng)的上下文和環(huán)境。
同時HCI具備六個目標，分別是高效使用（效率）、 安全使用（安全）、 具有良好的效用（實用性）、 易于學習（可學習性）以及易于記憶如何使用（可記憶性）。
在此基礎上，也衍生出了HCI的7個設計原則，如下：
在具體應用中，物聯(lián)網(wǎng)、眼動追蹤技術、語音識別技術、AR/VR的使用以及云計算等，都是非常典型的人機交互案例。
HCI發(fā)展史以及大量觀點及案例證明，技術可以明顯改善HCI。
伴隨著通訊與信息技術的突破與發(fā)展，它們持續(xù)為HCI帶來明顯的影響與改善。比如這些年借助AI技術蓬勃發(fā)展的RPA，就為業(yè)務流程自動化以及辦公業(yè)務場景帶來了極大的人機交互帶來體驗改善。
前文我們提到，人機交互的目標是使計算機能夠更好地適應人的需求，提供更友好、更智能、更自然的交互方式，如語音識別、圖像識別、自然語言處理、手勢控制等。
RPA是一種利用軟件機器人模擬人類操作的技術，它可以通過用戶界面與企業(yè)的應用系統(tǒng)交互，并完成預期任務的技術。
當代RPA還融合了人工智能（AI）和機器學習（ML）相結合，實現(xiàn)智能流程自動化（IPA），處理更復雜的用例，如自然語言處理（NLP）、計算機視覺（CV）和數(shù)據(jù)分析等。
RPA可以實現(xiàn)重復性、基于規(guī)則的工作流程的自動化，提高工作效率、準確性和合規(guī)性，降低人力成本，減少錯誤率，節(jié)省成本和時間，適用于各種重復性、標準化的業(yè)務場景，如財務、人力資源、供應鏈、信息技術等。
在當代企業(yè)管理軟件系統(tǒng)以及各種自動化工具中，從操作難度、部署周期、投資成本等角度而言，RPA可以算是廣大組織應用人機協(xié)同最好的方式。
在這其中，RPA最大的優(yōu)勢就是降低了程序開發(fā)難度，可以讓一線的業(yè)務人員參與到簡單應用的開發(fā)之中，讓全民開發(fā)成為進一步成為現(xiàn)實。
RPA之所以能做到這一點，在于它改變了程序開發(fā)的人機交互模式。使得不會編程的普通員工借助RPA工具，也能像程序員一樣開發(fā)他們需要的自動化程序或者說軟件機器人。
一方面RPA讓開發(fā)程序變得更加簡單，從寫代碼變成了“拖拉拽”各種功能組件；另一方面可以讓更多的業(yè)務流程實現(xiàn)自動化，不再需要人力去重復執(zhí)行。可以說，RPA同時改變了程序開發(fā)和業(yè)務執(zhí)行的人機交互。
所以，RPA與人機交互有著密切的聯(lián)系。因為RPA本質上是一種人機協(xié)同的工作模式，它需要人來定義規(guī)則、監(jiān)督執(zhí)行、優(yōu)化改進，機器則負責執(zhí)行規(guī)則、提供反饋、學習改進。
RPA不僅可以模擬人類的操作，還可以結合AI技術，實現(xiàn)對人類的理解和決策。比如利用OCR（光學字符識別）技術識別圖像中的文字，利用NLP技術理解語言中的意圖，利用智能決策技術制定最優(yōu)方案等。
融合AI等技術的RPA，具備以下幾個優(yōu)勢：
1、有效減輕工作負擔，讓人們從繁瑣的后臺任務中解放出來，專注于更有價值的創(chuàng)新和戰(zhàn)略性的工作；
2、提高人機交互的速度和質量，軟件機器人可以全天候地工作，不受時間、地點和情緒的影響，也不會犯錯或遺漏；
3、拓展人機交互的范圍和深度，軟件機器人可以訪問和整合多個不相關的軟件系統(tǒng)，處理大量結構化和非結構化數(shù)據(jù)，并利用AI和ML的能力進行學習和優(yōu)化。
由此，RPA是一種有效且典型的優(yōu)化人機交互的技術。它可以實現(xiàn)流程自動化、智能化和優(yōu)化，為企業(yè)帶來效率、質量和價值的提升。
LLM是一種利用神經網(wǎng)絡在大量無標注文本上進行自監(jiān)督學習或半監(jiān)督學習的語言模型。LLM具有海量的參數(shù)（通常為數(shù)十億或更多），能夠在多種任務上表現(xiàn)出優(yōu)異的性能。
從目前各領域的應用來看，基于LLM的生成式AI技術的出現(xiàn)，為人機交互帶來了顛覆性的變化。
生成式AI給人們最直接的感觸就是，原來工作流中的好多各種軟件操作以及跨軟件操作，現(xiàn)在只需要跟生成式AI進行幾輪對話就完成了。
比如用Midjourney生成圖片或者是ChatGPT Plus生成軟件應用代碼，已經完全不需要使用繪圖軟件及編程軟件。并且ChatGPT 的插件生態(tài)正在快速完善，以后將會有越來越多應用場景的業(yè)務操作，只需要對話就能搞定。
這就是交互方式的改變，它直接將原有的與各種軟件UI的人機交互，變成了與一個聊天窗口進行交互，是一種前所未有的交互體驗。
總結起來，LLM或者說生成式AI對人機交互產生了以下幾點影響：
首先，提高了人機交互的效率、質量和便利性。通過生成式AI，用戶可以快速獲取想要的信息或服務，不需要花費大量的時間和精力。同時LLM可以根據(jù)用戶輸入和上下文生成合適的回復，減少用戶輸入負擔，提高交互流暢性和自然性。此外，生成式AI還可以根據(jù)用戶的反饋和偏好，動態(tài)地調整自己的輸出，以達到更好的交互效果。
比如ChatGPT可以幫助用戶完成寫作、設計、編程等復雜的任務，或者為用戶提供個性化的推薦、咨詢、娛樂等內容。
其次，增加人機交互的多樣性和創(chuàng)造性。LLM可以根據(jù)用戶需求和偏好生成不同風格的文本、音頻、視頻等內容，滿足用戶的個性化和多元化的需求。通過生成式AI，用戶可以接觸和選擇更多的內容，從而拓展視野和思維。當然，生成式AI也可以與用戶進行更深入和靈活的對話，滿足用戶不同的情感和情緒需求。
比如通過生成式AI為用戶提供不同風格和主題的文本、圖像、音樂等，或者為用戶生成一些新穎和有趣的內容，如詩歌、故事、笑話等。
第三，改變人機交互的關系和意義。通過生成式AI，用戶可以與人工智能建立更緊密和信任的聯(lián)系，甚至產生一種共創(chuàng)與合作的感覺。
基于LLM的聊天機器人，可以為用戶提供更多的反饋和建議，或者與用戶共享自己的想法和感受。生成式AI還可以讓用戶更加了解自己和人工智能的優(yōu)勢和局限，以及如何更好地利用和發(fā)展它們。
第四，拓展人機交互的領域和場景。ChatGPT等生成式AI應用具有強大的適應性和泛化性，可以應用于各種不同的領域和場景，如教育、娛樂、醫(yī)療、商業(yè)等。無論用戶想要學習、游戲、咨詢、購物等，都可以通過與ChatGPT等應用交流來達到目的。
第五，增強人機交互的趣味性和親切感。基于LLM的生成式AI應用具有豐富的知識和個性，可以根據(jù)用戶的興趣和情緒來調整自己的語言風格和話題，甚至可以生成一些幽默、詩歌、故事等創(chuàng)意內容來娛樂用戶。
這樣，用戶不會感到與機器人交流是一件枯燥無味的事情，而會覺得與機器人交流是一件有趣和溫馨的事情。
LLM對人機交互有著重要而復雜的影響，使得它在各個領域都有著巨大發(fā)展?jié)摿托袠I(yè)應用價值。廣大組織應該積極地探索和利用LLM以及生成式AI，提升人機交互的水平和體驗，提高人機交互效率和質量，增強人機交互關系，拓展人機交互的領域和場景。
當然，我們也應該注意其帶來的風險和挑戰(zhàn)，以及如何合理地使用和監(jiān)督它。
需要說明的是，目前基于大語言模型的生成式AI正在與RPA快速融合，生成式AI將會為RPA的人機交互帶來質的飛躍。
RPA可以自動化執(zhí)行重復性、規(guī)則性和低價值的業(yè)務流程，可以提高效率、降低成本和減少錯誤。但它也面臨著一些挑戰(zhàn)和局限性，比如難以處理復雜、多變和高價值的業(yè)務場景，以及難以適應業(yè)務流程的變化，需要不斷地維護和更新，難以處理復雜的、非結構化的、需要創(chuàng)造性或判斷力的任務等。
雖然超自動化架構已經讓RPA的運行足夠穩(wěn)定，但對于復雜流程而言也會存在穩(wěn)定運行的隱患。
之前廠商們想盡各種辦法解決這些問題，但無法從根本上杜絕這些問題。直到基于LLM的生成式AI橫空出世，一下就解決了之前RPA遇到的多重難題。
LLM可以為RPA提供更強大的自然語言處理能力，提供更強大的知識獲取和推理能力，以及提供更強大的生成和創(chuàng)造能力。
具體而言，LLM對于RPA人機交互的影響可以體現(xiàn)于以下幾個方面：
提高RPA的智能水平。應用LLM，能夠更好地識別和理解用戶的自然語言輸入以及生成自然語言，更好地滿足用戶的需求和意圖。還可以根據(jù)上下文和目標生成合適的操作步驟，進行多輪對話和推理，處理更復雜和多樣的業(yè)務場景，實現(xiàn)更復雜和靈活的業(yè)務流程自動化。
用戶可以通過語音或文字與RPA進行對話，告訴它要執(zhí)行什么任務，而不需要通過復雜的編程或拖拽組件來設計流程。
此外，LLM也可以幫助RPA進行知識抽取和推理，從而提供更有價值的信息和建議。
擴展RPA的應用范圍。LLM可以有效擴大RPA的應用范圍，讓軟件機器人能夠處理更多涉及自然語言的任務，比如文本分類、文本摘要、文本生成、機器翻譯、問答系統(tǒng)等。也可以通過與其他模態(tài)的數(shù)據(jù)進行交互，比如圖像、音頻、視頻等，從而實現(xiàn)更豐富和多維的業(yè)務流程。
LLM還可以讓軟件機器人能夠與其他AI技術如OCR、NLP、低代碼、流程挖掘、chatbot等進行集成和協(xié)作，實現(xiàn)超級自動化。
通過使用LLM，RPA可以跨越語言和文化的障礙，服務更廣泛和多元的客戶和市場。
增加RPA的創(chuàng)新潛力。LLM可以增強RPA的創(chuàng)造力和靈活性，使其能夠根據(jù)不同的場景和數(shù)據(jù)生成適合的文本，如報告、摘要、建議等。例如，RPA可以根據(jù)用戶提供的關鍵詞或主題，自動生成一篇博客文章，并在文章中插入相關的圖片、視頻、鏈接等。
通過使用LLM，RPA可以進行更靈活和自適應的學習和生成，產生更多新穎和有趣的內容和方案。LLM也可以與人類進行更有效和友好的協(xié)作和溝通，激發(fā)更多的創(chuàng)意和靈感。
提升RPA的開發(fā)效率。生成式AI可以讓用戶通過簡單的語言描述來定義和修改業(yè)務流程，而不需要編寫復雜的代碼或者使用圖形化界面。并可以根據(jù)用戶的反饋和數(shù)據(jù)分析來優(yōu)化和調整業(yè)務流程，實現(xiàn)持續(xù)改進。
優(yōu)化RPA交互體驗和用戶滿意度。融合LLM的RPA能夠與用戶進行更加自然、友好、有趣的對話，增加用戶的信任和參與感。RPA可以根據(jù)用戶的情緒和興趣，調整語氣和風格，甚至講一些幽默或者引用一些名人名言來調節(jié)氣氛。
當然，LLM對RPA人機交互的影響不只是智能、效率和創(chuàng)新層面的，它還直接影響了RPA的軟件架構變化。
07
后記：LLM影響下的RPA架構變遷
在LLM之前，RPA已經極大地改善了程序開發(fā)以及流程自動化的人機交互。并且，很多廠商都已經打出了“RPA人人可用”的概念。在這個概念的背后，其實就是RPA的易用性越來越強，應用它開發(fā)程序并實施流程自動化越發(fā)簡單。
在易用性方面，從CV到屏幕抓取再到AI模型，廠商們做了大量的探索與嘗試。在RPA的程序開發(fā)環(huán)節(jié)上，基于AI、0代碼等技術，RPA正在逐步擺脫原有的“拖拉拽”形式，向“點選用”以及對話式（包括語音驅動）流程創(chuàng)建的方式過渡。
在人機交互上，對話式流程創(chuàng)建，可以說是RPA乃至超自動化的終極狀態(tài)。未來我們要使用超自動化，只要在系統(tǒng)內打幾行字或者說一句話就能創(chuàng)建各種軟件機器人或者自動化程序。
但是之前的對話式創(chuàng)建，僅適用于簡單的預設置流程。稍微復雜的流程便無能為力，或者需要更多流程步驟去觸發(fā)和調動更多流程才能實現(xiàn)。流程的健壯性難以經受考驗，并且用戶必須熟悉相應語法及指令才能使用。
LLM出現(xiàn)之后，對于融合生成式AI的RPA產品，用戶使用自然語言都能驅動RPA去創(chuàng)建流程。
并且生成式AI以生成內容的形式彌補RPA在情緒識別、非結構化數(shù)據(jù)處理等方面的不足，可以讓任何人無需太多學習就能更加簡單、快速、高效的驅動RPA開發(fā)各種自動化程序，真正讓RPA實現(xiàn)了人人可用。
以前使用RPA，是人直接操作RPA通過托拉拽搭積木的方式搭建各種程序?，F(xiàn)在則是人通過自然語言與GPT等生成式AI溝通，多模態(tài)AI在理解人類操作意圖后，進一步驅動RPA連接企業(yè)管理軟件去自動化執(zhí)行各種業(yè)務流程。
GPT等AI大模型則進一步連接了人與RPA等系統(tǒng)，向上連接人的意圖，向下指揮RPA機器人，成為人和RPA等自動化系統(tǒng)之間的一個紐帶，讓程序開發(fā)與自動化流程的操作更加簡單。
GPT把人和基于RPA的超自動化連接起來，這是人機交互體驗上一個巨大的進步。
從過去的“人+RPA”到現(xiàn)在的“人+生成式AI+RPA”，引入LLM以及集成生成式AI，表面看是極大地提升了RPA產品的人機交互，本質上是LLM影響了RPA的架構變化。
現(xiàn)在幾乎所有廠商都在重度研究LLM與RPA以及超自動化的全面融合，RPA都已在產品架構中加入了模型層。
這意味著，不管是調用第三方模型還是自研模型，RPA都已成為標準的模型層上的應用。
可以預見，接下來隨著LLM成為RPA的標配，它也將全面變革大模型時代的RPA。
繼續(xù)閱讀：
未經允許不得轉載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 大模型時代來臨，基于LLM的生成式AI正在快速變革RPA人機交互
heng.png)
為何說數(shù)字化的本質就是自動化
科技爆炸，白領辦公新style，工作吩咐一聲，電腦自動完成
如何通過人工智能和自動化提高供應鏈彈性？
經濟蕭條下，RPA投入應該被“犧牲”掉嗎？
熱門信息
閱讀 (14728)
1 2023第三屆中國RPA+AI開發(fā)者大賽圓滿收官&獲獎名單公示閱讀 (13753)
2 《Market Insight：中國RPA市場發(fā)展洞察（2022）》報告正式發(fā)布 | RPA中國閱讀 (13055)
3 「RPA中國杯 · 第五屆RPA極客挑戰(zhàn)賽」成功舉辦及獲獎名單公示閱讀 (12964)
4 與科技共贏，與產業(yè)共進，第四屆ISIG中國產業(yè)智能大會成功召開閱讀 (11567)
5 《2022年中國流程挖掘行業(yè)研究報告》正式發(fā)布 | RPA中國