Kuidas mõõta AI-piloodi tasuvust?

Alusta lähtejoonest

Enne pilooti vali 20 kuni 50 tavapärast juhtumit ja mõõda tänast protsessi. Väike valim ei tõesta kogu aasta mõju, kuid annab ausa võrdlusbaasi.

Kogu vähemalt:

• aktiivne tööaeg juhtumi kohta;
• kalendriaeg algusest tulemuseni;
• vigade või ümbertöötluse osakaal;
• töö maht nädalas või kuus;
• äriline tulemus, mida protsess toetab.

Viis mõõdikurühma

1. Aeg

Võrdle inimese aktiivset tööaega enne ja pärast. Arvesta eraldi AI väljundi kontrollimise, parandamise ja erandite lahendamise aeg.

2. Kvaliteet

Kasuta sama hindamisjuhendit inimese ja AI-toega tulemuste jaoks. Mõõda faktivigu, täielikkust, reeglite järgimist ning vajaliku ümbertöötluse hulka.

3. Kasutuselevõtt

Loenda, kui suur osa sobivatest juhtumitest läbib uut töövoogu ja mitu kasutajat tuleb selle juurde tagasi. Tehniliselt toimiv lahendus, mida meeskond väldib, ei loo väärtust.

4. Risk

Jälgi tundlike andmete juhtumeid, valesid tegevusi, kontrollpunktide tagasilükkamisi ja eskalatsioone. NISTi AI riskijuhtimise raamistik käsitleb mõõtmist ja haldamist pideva elutsükli osana.

5. Kogukulu

Lisa mudeli- ja tarkvarakulu kõrval arendus, ühendused, testimine, järelevalve, koolitus, tugi ja hooldus. Arvesta ka inimese kontrolliaeg.

Lihtne otsustusvalem

Aastane netokasu = säästetud töötunnid × realistlik tunni kogukulu + kvaliteedist saadav mõõdetav kasu − lahenduse aastane kogukulu.

See on juhtimisvalem, mitte raamatupidamisstandard. Kui kvaliteedi mõju ei saa usaldusväärselt rahaks teisendada, näita seda eraldi mõõdikuna.

Näide

Oletame, et 40 juhtumi lähtejoon näitab keskmiselt 18 minutit aktiivset tööd. Piloodis kulub AI-toega tööle koos kontrolliga 11 minutit. Ajavõit on 7 minutit juhtumi kohta, mitte kogu 18 minutit.

Enne aastase mõju arvutamist kontrolli, kas valim sisaldas erandeid, kas kvaliteet jäi vähemalt samaks ja kui suur osa juhtumeid uut töövoogu tegelikult kasutab.

Lõpeta, paranda või skaleeri

Lõpeta, kui kasu ei kata lisatööd või risk ei ole juhitav.

Paranda, kui väärtus on nähtav, kuid kvaliteet, kasutuselevõtt või erandite käsitlus jääb lävendist alla.

Skaleeri, kui tulemus kordub päris juhtumitel, kasutajad võtavad töövoo omaks, kontrollid töötavad ja kogukulu on põhjendatud.

OpenAI ettevõtete skaleerimise ülevaade rõhutab, et skaleerimine sõltub töövoo disainist, usaldusest, kasutuselevõtust ja tootmiskindlast tõendusest. Microsoft Researchi AI ja tootlikkuse ülevaade koondab uuringuid, kus lisaks ajale hinnatakse ka väljundi kvaliteeti. Üksik uuring ei asenda siiski oma protsessi lähtejoont.

Kopeeri ja kasuta: piloodi mõõtmisleht

Kopeeri ja kasuta: otsuse memo

Piloodi töövoog: [nimi]
Andmeaken ja juhtumite arv: [periood, n]
Võrdlusbaas: [kuidas lähtejoon mõõdeti]
Ajavõit koos kontrolliga: [tulemus]
Kvaliteedi muutus: [tulemus]
Kasutuselevõtt: [tulemus]
Olulised vead ja riskid: [tulemus]
Kogukulu: [tulemus]
Otsus: lõpeta / paranda / skaleeri
Otsuse põhjus: [kolm kontrollitavat lauset]
Järgmine tõend, mida vajame: [üks asi]

Levinud vead

• säästetud minutid korrutatakse kogu töömahuga, kuigi kasutuselevõtt on osaline;
• kvaliteeti hindab piloodi ehitaja ilma pimevõrdluseta;
• mudelikulu näidatakse kogukuluna;
• edu kuulutatakse välja enne erandite ja kõrge mõjuga vigade testimist.

Seotud juhendid