想衡量您的企業(yè)AI計(jì)劃嗎 那你應(yīng)該從模型債務(wù)開始

在討論的第一部分中，我介紹了模型債務(wù)的基本概念，以此作為衡量單個(gè)模型和AI程序總體有效性的一種方法。在第二部分中，我將通過一個(gè)簡(jiǎn)短的示例來說明如何在實(shí)踐中計(jì)算模型債務(wù)。

計(jì)算模型生產(chǎn)債務(wù)和模型價(jià)值損失需要以下輸入：

目標(biāo)生產(chǎn)天數(shù)(TPD)，是從數(shù)據(jù)科學(xué)團(tuán)隊(duì)將其發(fā)布到生產(chǎn)開始到模型在其整個(gè)生命周期中要生產(chǎn)的天數(shù)的計(jì)數(shù)。評(píng)估TPD的關(guān)鍵因素包括：

•“加載鎖定”(LTL)時(shí)間，這是數(shù)據(jù)科學(xué)團(tuán)隊(duì)將模型視為“準(zhǔn)備部署”與首次在生產(chǎn)中部署模型之間的預(yù)期時(shí)間。鎖定加載時(shí)間越短，模型對(duì)業(yè)務(wù)的貢獻(xiàn)就越快。

實(shí)際的鎖定加載時(shí)間將取決于ModelOps流程在企業(yè)AI架構(gòu)師定義的生命周期步驟中移動(dòng)模型的效率，包括技術(shù)檢查(例如，安全掃描，性能驗(yàn)證等)，治理要求(例如，法規(guī)遵從性，可解釋性報(bào)告等)和業(yè)務(wù)考慮因素(例如，關(guān)于KPI的協(xié)議，部門簽字等)。

模型的目標(biāo)刷新率(TRR)，它確定兩次模型刷新之間的理想時(shí)間。每個(gè)模型都有刷新節(jié)奏，與模型目標(biāo)刷新率的任何偏差都會(huì)降低模型的性能。

對(duì)于許多模型，關(guān)注點(diǎn)正在迅速刷新，以跟上用于訓(xùn)練模型的數(shù)據(jù)與當(dāng)前現(xiàn)實(shí)或“運(yùn)行狀況”之間的差異。例如，信用卡客戶獲取模型僅在四分之一后就可能損失其價(jià)值的20%至30%或更多，而保險(xiǎn)定價(jià)模型在短短30天內(nèi)可能損失其價(jià)值的30%。但是，過于頻繁地刷新模型也會(huì)降低模型性能。關(guān)鍵是要確保刷新按照數(shù)據(jù)科學(xué)團(tuán)隊(duì)和企業(yè)AI架構(gòu)師同意的生命周期進(jìn)行。

•實(shí)際生產(chǎn)天數(shù)，表示模型部署和運(yùn)行期間任何TPD的一部分。

•降級(jí)因子，是由于缺少目標(biāo)刷新率而導(dǎo)致的模型性能下降。對(duì)于根據(jù)目標(biāo)時(shí)間表更新的模型，這表示為每日功效相對(duì)于目標(biāo)功效的百分比下降。

•模型每日價(jià)值，這是模型每天或每周的預(yù)期價(jià)值。例如，度量可以是每天收入，基于模型輸出所依賴的業(yè)務(wù)決策，無需人工干預(yù)即可處理的欺詐案件或客戶服務(wù)案件。價(jià)值的短期度量標(biāo)準(zhǔn)(例如，收入或儲(chǔ)蓄/天)對(duì)于花費(fèi)大量時(shí)間才能到期的模型(例如金融服務(wù)中的某些類型的模型)可能沒有意義。對(duì)于這些類型的模型，需要對(duì)價(jià)值進(jìn)行更復(fù)雜的評(píng)估，這將在下一篇文章中介紹。

定義好這些參數(shù)后，我們就可以開始評(píng)估模型債務(wù)了。首先，為模型的整個(gè)生命周期定義目標(biāo)生產(chǎn)方案，以建立與實(shí)際性能進(jìn)行比較的基準(zhǔn)。然后，在生產(chǎn)中連續(xù)監(jiān)視模型，并使用結(jié)果計(jì)算瞬時(shí)和趨勢(shì)模型生產(chǎn)債務(wù)和模型價(jià)值損失。

假設(shè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)開發(fā)了一種用于檢測(cè)欺詐性保險(xiǎn)索賠的模型。經(jīng)過測(cè)試數(shù)據(jù)的訓(xùn)練后，該模型證明了能夠以與人類調(diào)查員相同的準(zhǔn)確性檢測(cè)欺詐行為，從而實(shí)現(xiàn)了全自動(dòng)索賠處理并每天為企業(yè)節(jié)省100,000美元。假設(shè)目標(biāo)模型鎖定加載時(shí)間為五天，目標(biāo)刷新率為每五天，并且在目標(biāo)刷新周期之后的每一天，模型的價(jià)值下降2.5%。在“理想”情況下，模型在發(fā)布后的第五天進(jìn)行部署，然后每隔五天刷新一次，該模型將在60天的時(shí)間內(nèi)提供每天100,000美元的價(jià)值，為期55天，共計(jì)550萬美元。值。

現(xiàn)在，讓我們考慮一種情況，其中ModelOps處理失敗，并且實(shí)際結(jié)果偏離理想狀態(tài)。組織效率低下會(huì)導(dǎo)致模型的初始部署延遲15天，并且其他因素會(huì)使刷新率從5天增加到15天。影響如下：

•根據(jù)目標(biāo)生產(chǎn)情況，該模型應(yīng)該在第五天進(jìn)入生產(chǎn)，但要到第20天才部署，因此該模型的生產(chǎn)債務(wù)在第五天到第20天之間每天累積累積為100%。