近日，Uber宣布開源其AI模型調(diào)試工具Manifold，這是一款與模型無關(guān)的可視化調(diào)試工具，可幫助工程師和科學(xué)家跨ML數(shù)據(jù)切片和模型識別潛在問題，并通過顯示數(shù)據(jù)子集之間的特征分布差異來診斷其根本原因。

通常當(dāng)數(shù)據(jù)科學(xué)家開發(fā)AI模型時會使用匯總得分，例如：對數(shù)損失、曲線下面積（AUC）和平均絕對誤差（MAE）來評估每個候選AI模型。盡管這些指標(biāo)提供了有關(guān)模型執(zhí)行情況的見解，但它們并未傳達有關(guān)模型執(zhí)行不佳的原因，以及如何改善模型性能的大量信息。

因此，模型構(gòu)建者在確定如何改進其模型時傾向于依靠反復(fù)試驗。為了使模型迭代過程更明智和可操作，Uber開發(fā)了Manifold用于ML性能診斷和模型調(diào)試。利用可視化分析技術(shù)，Manifold使ML從業(yè)人員可以快速看到用于測試的AI模型缺點以及改進方式。

Manifold利用所謂的聚類算法（k-Means）將預(yù)測數(shù)據(jù)，根據(jù)其性能相似性分成多個段。該算法通過其KL散度對特征進行排名，KL散度是兩個對比分布之間差異的度量。一般而言，在Manifold中，較高的發(fā)散度表示給定的特征與區(qū)分兩個片段組的因子相關(guān)。

Manifold包括對多種算法類型的支持，包括常規(guī)的二進制分類和回歸模型。在可視化方面，它可以提取數(shù)字和分類以及地理空間要素類型。它與Jupyter Notebook集成在一起，Jupyter Notebook是為數(shù)據(jù)科學(xué)家和ML工程師使用最廣泛的數(shù)據(jù)科學(xué)平臺之一，并且具有交互式數(shù)據(jù)切片和基于每個實例的預(yù)測損失和其他特征值的性能比較。

Uber還添加了各種功能在Manifold中，使AI模型的調(diào)試過程更加容易，功能如下：

• 支持與模型無關(guān)的通用二進制分類和回歸模型調(diào)試：用戶可以分析和比較各種算法類型的AI模型，從而使他們能夠區(qū)分各種數(shù)據(jù)片的性能差異。

• 對表格化要素輸入的可視化支持，包括數(shù)字，分類和地理空間等類型：通過每個數(shù)據(jù)切片的特征值分布信息，使用戶可以更好地了解某些性能問題的潛在原因，例如：模型的預(yù)測損失與其數(shù)據(jù)點的地理位置和分布之間是否存在關(guān)聯(lián)。

   

• 與Jupyter Notebook集成：通過這種集成，Manifold將數(shù)據(jù)輸入作為Pandas DataFrame對象接受，并在Jupyter中呈現(xiàn)此數(shù)據(jù)的可視化。由于Jupyter Notebook是數(shù)據(jù)科學(xué)家和ML工程師使用最廣泛的數(shù)據(jù)科學(xué)平臺之一，因此該集成使用戶可以在不中斷正常工作流程的情況下分析其AI模型。

• 基于每個實例的預(yù)測損失和其他特征值的交互式數(shù)據(jù)切片與性能比較：用戶將能夠基于預(yù)測損失、地面真實性或其他感興趣的特征對數(shù)據(jù)進行切片和查詢。該功能將使用戶能夠通過通用的數(shù)據(jù)切片邏輯快速驗證或拒絕其假設(shè)。

繼續(xù)閱讀：Uber開源   AI

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > Uber開源Manifold，一款可視化AI模型調(diào)試工具