什么是 RPA？RPA 是機(jī)器人流程自動(dòng)化 Robotic Process Automation 的簡(jiǎn)寫。在《智能RPA實(shí)戰(zhàn)》中，我們這樣定義：通過特定的、可模擬人類在計(jì)算機(jī)界面上進(jìn)行操作的技術(shù)，按照規(guī)則自動(dòng)執(zhí)行相應(yīng)的流程任務(wù)，代替或輔助人類完成相關(guān)的計(jì)算機(jī)操作。一句話總結(jié)就是：用軟件機(jī)器人自動(dòng)化之前由人完成的任務(wù)。

那么什么是 IPA 呢？IPA (Intelligent Process Automation) = RPA+AI。簡(jiǎn)單來說就是使用 AI 來強(qiáng)化 RPA 的各項(xiàng)能力。比如：加強(qiáng) RPA 的界面元素識(shí)別能力、賦能 RPA 來完成 RPA 任務(wù)執(zhí)行過程中的智能決策等。我們通常把 RPA 比作抓手、AI 比作大腦。AI 負(fù)責(zé)思考，RPA 負(fù)責(zé)行動(dòng)。RPA 是一個(gè)數(shù)字化平臺(tái)，可以調(diào)用計(jì)算機(jī)所有軟硬件能力。AI 可以作為其中一個(gè)智能組件存在，被 RPA 調(diào)用。AI 也可以作為 RPA 的一部分進(jìn)行賦能，比如智能化機(jī)器人調(diào)度邏輯。

目前，主要有 CV 和 NLP 兩個(gè)領(lǐng)域的 AI 技術(shù)在 RPA 中應(yīng)用比較廣泛。

• Template Matching 模板匹配：模板匹配是大圖中定位小圖（模板）的算法。比如在桌面中定位一個(gè)圖標(biāo)的位置、尋找窗體中的一個(gè)按鈕等。

• OCR (Optical Character Recognition) 光學(xué)字符識(shí)別：通過輸入一張圖像，OCR 模型分析處理后，輸出圖像上的結(jié)構(gòu)化字符信息（字符的坐標(biāo)、字符的具體值）。比如驗(yàn)證碼識(shí)別、提取發(fā)票上的信息等。

• OD (Object Detection) 目標(biāo)檢測(cè)：通過給計(jì)算機(jī)輸入一張圖像，讓計(jì)算機(jī)分析出其中的物體。比如分析一個(gè)應(yīng)用窗體內(nèi)的所有控件（按鈕、編輯框等）來進(jìn)行后續(xù)的 RPA 操作。

• IDP (Intelligent Document Processing) 智能文檔處理：比如合同文檔自動(dòng)解析：自動(dòng)化處理大量合同文檔、快速應(yīng)對(duì)審閱、查找、校對(duì)等工作。文件信息分析提?。簩?duì)企業(yè)招投標(biāo)文件、內(nèi)部文檔資料等長(zhǎng)篇幅文件進(jìn)行解析。HR人崗精準(zhǔn)匹配：對(duì)簡(jiǎn)歷進(jìn)行關(guān)鍵信息提取構(gòu)建人才畫像，匹配精準(zhǔn)崗位。

• 文本審核：黃反審核，識(shí)別文本中色情等低俗信息；識(shí)別宗教、槍支等反動(dòng)信息。涉政識(shí)別，識(shí)別文本中涉政等敏感信息。廣告過濾，識(shí)別和攔截廣告信息，并對(duì)用戶發(fā)言進(jìn)行識(shí)別和分析。垃圾檢測(cè)，識(shí)別文本中罵人、刷帖等垃圾信息。

• 提升企業(yè)效率：時(shí)間上，人類選手 5 x 8h = 40h。機(jī)器選手 7 x 24h = 168h 是人類的 4.2 倍！畢竟 RPA 機(jī)器人一天有 3 個(gè)工作日，上一天班加兩天班…速度上，業(yè)務(wù)系統(tǒng)響應(yīng)有多快，RPA 就能執(zhí)行有多快。并且不會(huì)因?yàn)楣ぷ鲿r(shí)間延長(zhǎng)而出現(xiàn)疲勞或準(zhǔn)確率降低等問題。

• 降低人工風(fēng)險(xiǎn)：人類擅長(zhǎng)抽象、推理。機(jī)器擅長(zhǎng)重復(fù)。人類在疲倦、外界干擾、主觀情感波動(dòng)時(shí)，容易產(chǎn)生誤操作、誤判。RPA 機(jī)器人擅長(zhǎng)不斷地重復(fù)執(zhí)行特定的工作。

• 打通業(yè)務(wù)系統(tǒng)：不需要改造原有系統(tǒng)、不需要開發(fā)接口或 SDK 來實(shí)現(xiàn)對(duì)接。也就是大家所聽到的“非侵入式”。典型應(yīng)用就是：完成孤立應(yīng)用間的數(shù)據(jù)轉(zhuǎn)移。

• 有人值守階段：在這個(gè)階段 RPA 以“虛擬助手”的身份出現(xiàn)，幾乎涵蓋了機(jī)器人自動(dòng)化的主要功能、以及現(xiàn)有桌面自動(dòng)化軟件的全部操作。部署在員工PC機(jī)上，用于提高工作效率。缺點(diǎn)是難以實(shí)現(xiàn)端到端的自動(dòng)化，做不到成規(guī)模應(yīng)用。不過已能夠有效減少業(yè)務(wù)平均處理時(shí)間，可有效改善客戶體驗(yàn)并節(jié)省成本。

• 無(wú)人值守階段：在這個(gè)階段 RPA 被稱為“虛擬勞動(dòng)力”，主要目標(biāo)即實(shí)現(xiàn)端到端的自動(dòng)化，以及虛擬員工分級(jí)。主要部署在VMS虛擬機(jī)上，能夠編排工作內(nèi)容，集中化管理機(jī)器人、分析機(jī)器人的表現(xiàn)等。缺點(diǎn)是對(duì)于 RPA 軟件機(jī)器人的工作仍然需要人工的控制和管理。無(wú)人值守 RPA 機(jī)器人可以全天候工作 24 * 7，并用業(yè)務(wù)流程代替了人機(jī)交互，釋放了更大的增效降本可能性。

• 自主性 RPA 階段：在這個(gè)階段，RPA 的主要目標(biāo)是實(shí)現(xiàn)端到端的自動(dòng)化和成規(guī)模多功能虛擬勞動(dòng)力。通常部署在云服務(wù)器和 SaaS 上，特點(diǎn)是實(shí)現(xiàn)自動(dòng)分級(jí)、動(dòng)態(tài)負(fù)載平衡、情景感知、高級(jí)分析和工作流。缺點(diǎn)是處理非結(jié)構(gòu)化數(shù)據(jù)仍較為困難。但更多技術(shù)的融合，使得自主性 RPA 可從根本上提升業(yè)務(wù)價(jià)值并為用戶帶來更多優(yōu)勢(shì)。

• 認(rèn)知性 RPA 階段：這個(gè)階段將是未來RPA發(fā)展的方向。開始運(yùn)用人工智能、機(jī)器學(xué)習(xí)以及自然語(yǔ)言處理等技術(shù)，以實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的處理、預(yù)測(cè)和分析、自動(dòng)接受任務(wù)處理等。借助認(rèn)知能力，決策過程全都由機(jī)器人執(zhí)行，從而可以將所有漫長(zhǎng)而復(fù)雜的任務(wù)自動(dòng)化。

01

RPA 的核心模塊 

• 流程設(shè)計(jì):當(dāng)我們有一個(gè)想法，我們想使它變?yōu)榭勺远▓?zhí)行的流程，我們就需要用它來設(shè)計(jì)一個(gè)流程?？梢暬幊探缑妗⒌痛a編程，提供拖拉拽方式進(jìn)行業(yè)務(wù)邏輯的設(shè)計(jì)。必須要有設(shè)計(jì)復(fù)雜流程的能力，如流程、子流程、第三方庫(kù)、自定義組件等功能。也必須要有“封裝”能力，從小流程封裝為大流程。以及提供”復(fù)用“的概念，避免重復(fù)造輪子。另外還有幾個(gè)流程設(shè)計(jì)過程中的必備工具：
   
   
   
  A. 元素分析器：界面上，我們?nèi)庋劭吹降囊粋€(gè)個(gè)按鈕、編輯框等，在 RPA 的世界里都是一個(gè)個(gè)“元素”。很多可視化組件都是以一個(gè)元素作為輸入?yún)?shù)，執(zhí)行相應(yīng)的動(dòng)作，比如“點(diǎn)擊按鈕”、“在編輯框內(nèi)輸入文本”等。通過元素分析器，我們可以很方便地在屏幕上選擇一個(gè)目標(biāo)元素。有了元素分析器，流程設(shè)計(jì)者不必?fù)碛羞^多的底層界面元素技術(shù)知識(shí)即可識(shí)別、定位元素，指哪兒就是哪兒。
   
   
  B.元素錄制器：顧名思義，通過錄制一段用戶的操作，自動(dòng)地生成一堆可視化組件。在環(huán)境干擾比較小的時(shí)候，往往很有用。再結(jié)合調(diào)試進(jìn)行微調(diào)，往往可以較快設(shè)計(jì)出一個(gè)流程原型。
   
   
  C.數(shù)據(jù)抓?。哼@是一個(gè)特別有意思的功能，可以抓取屏幕上的結(jié)構(gòu)化信息：任何看起來像列表、表格、樹的數(shù)據(jù)都應(yīng)支持被抓取。
   
   
  D.智能組件包：也就是部分通過 AI 賦能的可視化組件，通過簡(jiǎn)單拖拽方式，可以完成像下面的一些功能：
   

• 流程調(diào)試：流程開發(fā)過程中，我們可能需要實(shí)時(shí)進(jìn)行調(diào)試來發(fā)現(xiàn)流程中存在的問題。比如隨機(jī)斷點(diǎn)、單步調(diào)試、單步進(jìn)入、單步跳出、查看當(dāng)前狀態(tài)（如變量）等信息。利用調(diào)試功能，我們可以很方便地停留在流程的任一步驟，檢查當(dāng)前的上下文狀態(tài)，以便調(diào)整、優(yōu)化流程。

• 版本管理：流程開發(fā)好以后，我們需要發(fā)布到控制臺(tái)。這個(gè)過程也就是“發(fā)版”。成熟的 RPA 產(chǎn)品應(yīng)當(dāng)有完善的版本化支持，可以為當(dāng)前流程發(fā)布特定的版本。也應(yīng)支持回滾到歷史任意版本。當(dāng)然，也應(yīng)該允許多個(gè)流程設(shè)計(jì)者同時(shí)修改同一個(gè)流程。

• 畫中畫：主要目的是提供環(huán)境隔離。通過提供一層虛擬會(huì)話，將機(jī)器人的運(yùn)行和當(dāng)前宿主機(jī)隔離開。讓機(jī)器人在執(zhí)行的同時(shí)，業(yè)務(wù)老師也能正常使用電腦，互不干擾。

• 代碼支持：也是專家模式，直接調(diào)用底層 API、Block API 等。提供了任意復(fù)雜度的擴(kuò)展，允許有編程能力的流程設(shè)計(jì)同學(xué)進(jìn)行 RPA 的能力擴(kuò)展。

• 流程管理：對(duì)已發(fā)布的可視化流程進(jìn)行管理，也可以進(jìn)行導(dǎo)入導(dǎo)出、查看特定流程版本等。

• 機(jī)器人管理：管理 RPA 機(jī)器人。包含審核機(jī)器人上線、啟用禁用機(jī)器人、是否共享機(jī)器人等功能。也可以通過遠(yuǎn)程桌面技術(shù)，直接查看機(jī)器人桌面。

• 任務(wù)管理：任務(wù)是機(jī)器人運(yùn)行流程的模板（static、靜態(tài)），通過選擇特定的流程、配置特定的參數(shù)，可以創(chuàng)建一個(gè)任務(wù)。任務(wù)創(chuàng)建好以后，控制中心會(huì)根據(jù)任務(wù)的調(diào)度信息對(duì) RPA 機(jī)器人進(jìn)行調(diào)度。

• 作業(yè)管理：當(dāng)任務(wù)開始運(yùn)行，則會(huì)產(chǎn)生“作業(yè)”（runtime、動(dòng)態(tài)）。包含機(jī)器人的運(yùn)行時(shí)的各種各樣的信息。比如運(yùn)行日志、運(yùn)行狀態(tài)等。

• 數(shù)據(jù)資產(chǎn)：簡(jiǎn)單理解就是云端的安全數(shù)據(jù)庫(kù)，在權(quán)限滿足的情況下，流程可以增刪查改指定的數(shù)據(jù)。同時(shí)也有安全字段的概念，比如當(dāng)一個(gè)字段為“加密”類型時(shí)，我們不應(yīng)該能夠在開發(fā)平臺(tái)直接打印出它的值。

• 權(quán)限管理：基于角色的權(quán)限管理模型?？梢詫?duì)不同的賬號(hào)賦予不同的角色，對(duì)不同的角色賦予不同的功能。

• 租戶管理：多租戶是一種單個(gè)軟件實(shí)例可以為多個(gè)不同用戶組提供服務(wù)的軟件架構(gòu)。SaaS 就是一種多租戶架構(gòu)。不同租戶間數(shù)據(jù)完全隔離。

• 運(yùn)維管理：管理 RPA 服務(wù)器本身?？梢詫?duì)服務(wù)器進(jìn)行資源監(jiān)控、系統(tǒng)運(yùn)行監(jiān)控等。

• 報(bào)表分析：控制中心提供了關(guān)于機(jī)器人所有的數(shù)據(jù)，我們可以通過這些數(shù)據(jù)來進(jìn)行各種統(tǒng)計(jì)分析。比如，分析某個(gè)流程的執(zhí)行成功率、某個(gè)機(jī)器人的執(zhí)行效率等。

• 日志審計(jì)：每一次操作，都應(yīng)留痕。應(yīng)包含 RPA 機(jī)器人的相關(guān)日志、也包含用戶操作的相關(guān)日志。

• 用戶界面樹：用戶界面的抽象數(shù)據(jù)結(jié)構(gòu)呈現(xiàn)，包含靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)。樹上的每個(gè)節(jié)點(diǎn)都是用戶界面上的一個(gè)元素。針對(duì)每個(gè)元素，我們可以對(duì)它進(jìn)行屬性查看、操作測(cè)試。

• 元素選擇器：用于在用戶界面樹上定位某個(gè)或某組元素的方式?？梢跃珳?zhǔn)定位某個(gè)元素，比如找一個(gè)標(biāo)題為 X 的窗體；也可以模糊定位某個(gè)元素，找一個(gè)按鈕名稱以 X 開頭的元素。

• 絕對(duì)坐標(biāo)定位：自動(dòng)喝藥輔助外掛。監(jiān)控屏幕上特定坐標(biāo)點(diǎn)的顏色變化，當(dāng)血槽顏色變?yōu)榛疑珪r(shí)，就喝一瓶金瘡藥（按下使用金瘡藥道具的按鍵）
   

  

  圖像識(shí)別示意圖1
   
• 圖像識(shí)別：在大圖中找小圖。循環(huán)監(jiān)控屏幕上是否出現(xiàn)了“地鼠”，出現(xiàn)了以后，則操作鼠標(biāo)點(diǎn)擊目標(biāo)位置。
   

  

• 選擇器定位：DOM (Document Object Model) 文檔對(duì)象模型，把整個(gè) UI 界面抽象成一個(gè)“樹”數(shù)據(jù)結(jié)構(gòu)，使用 XPath、CSS Selector 等語(yǔ)法來定位。我們可以把選擇器寫得很“精確”，也可以把選擇器寫得很“模糊”。
   

• 智能定位：使用 AI 賦能 RPA。比如使用目標(biāo)檢測(cè)相關(guān)算法來進(jìn)行定位。

目標(biāo)檢測(cè)示意圖

• 非 GUI 自動(dòng)化編寫簡(jiǎn)單：測(cè)試代碼相對(duì)容易編寫，調(diào)試容易。運(yùn)行穩(wěn)定，不容易受到環(huán)境變化影響。易于維護(hù)，不需要經(jīng)常更新測(cè)試代碼。運(yùn)行效率高，相對(duì)于 GUI 自動(dòng)化，非 GUI 自動(dòng)化非常快。

• GUI 自動(dòng)化主要是覆蓋范圍廣：大多遵循 UI 框架底層 Accessibility 規(guī)范。非侵入式，不需要業(yè)務(wù)應(yīng)用的源代碼或 SDK 接入。（其實(shí)本質(zhì)上是被侵入了……在 UI 框架層！）最大程度模擬用戶操作，用戶怎么操作就怎么模擬。

• 有一些造成 GUI 自動(dòng)化不穩(wěn)定的因素：

• 窗體識(shí)別：需要通過 FindWindow 和 EnumWindows 來查找到窗口句柄，然后再調(diào)用其它 API GetWindowText，GetWindowRect, GetWindowLong 等來獲取窗口屬性，以此來找到想要的控件或窗口。

• 操控和獲取屬性：通過 SetWindowText 和 GetWindowText 來操作控件上顯示的文字，通過SetForegroundWindow 設(shè)置頂層窗口，GetForegroundWindow 獲取當(dāng)前的頂層窗口，類似的還有 GetActiveWindow 和 SetActiveWindow。從理論上來說，通過 Windows API 和 Windows Message 可以完成對(duì)大部分控件或窗口的操作，也可以獲取部分控件的部分屬性。

• IE自動(dòng)化：MSHTML/Trident - IWebBrowser2 接口。IE 瀏覽器使用的是 Trident 瀏覽器引擎，是 IE4 在 1997 年發(fā)布的。通過提供 IWebBrowser 接口來進(jìn)行自動(dòng)化操控。Windows 10 上的 IE11 已在 2022-06-15 號(hào)停止維護(hù)。
• Chrome Extension：Chrome 瀏覽器插件是允許開發(fā)者自定義用戶使用體驗(yàn)的一種技術(shù)?？梢岳?Web 技術(shù)，如 HTML、CSS、JavaScript 來自定義瀏覽體驗(yàn)。
• CDP (Chrome Devtools Protocol)：DevTools 協(xié)議是 Chrome、Chromium，或任何基于 Blink 引擎的瀏覽器都支持的一種通訊協(xié)議。該協(xié)議可以對(duì)瀏覽器進(jìn)行檢查、調(diào)試、監(jiān)控等。Blink 是 Chromium 的渲染引擎。

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > RPA界面元素定位與操控技術(shù)詳解