Kako izmeriti ROI AI projekta pre nego što ga pokrenete

Odluka da se pokrene AI projekat gotovo uvek se donese na osnovu utiska. Neko je video demo, neko je pročitao da konkurencija „uvodi veštačku inteligenciju“, i budžet se odobri pre nego što je iko izmerio šta se tačno menja. Šest meseci kasnije neko pita koliko je to donelo, i u sobi zavlada tišina — ne zato što projekat nije uspeo, nego zato što niko nije zabeležio kako je izgledalo pre.

ROI AI projekta se ne računa posle. Računa se pre, jer se povrat meri u odnosu na nešto, a to nešto mora da postoji kao broj pre nego što ijedan model uđe u proces. Ovaj tekst je o tome kako doći do tog broja i kako da odluka o pokretanju bude branljiva, a ne stvar vere.

Bez osnovice nema povrata

Povrat ulaganja je razlika između dva stanja: pre i posle. Ako ne znate kako izgleda „pre“, nemate od čega da oduzimate, pa svaki rezultat deluje kao dobitak. Zato je osnovica prvi artefakt svakog ozbiljnog AI projekta — snimak trenutnog stanja procesa dok se ništa još nije promenilo.

Osnovica mora da se uhvati pre svake intervencije. Čim tim počne da priča o „poboljšanju procesa“, ljudi menjaju ponašanje, i merenje je zagađeno. Ono što merite mora da bude konkretno: koliko upita ili predmeta mesečno, koliko minuta po predmetu, koliki udeo završi eskalacijom ili doradom, i koliko to košta po satu rada osobe koja ga obavlja. Dve do četiri nedelje uzorka su dovoljne da se dobije brojka koja nije anegdota, a ne mesec dana rasprave o tome koliko „otprilike“ traje jedan predmet.

Tri stavke troška koje se redovno zaborave

Većina računica staje na formuli „ušteđeno vreme puta cena sata“ i tu gubi vezu sa stvarnošću. Tri troška se skoro uvek izostave, a svaki od njih ume da pojede celu očekivanu uštedu.

• Trošak zaključivanja na realnom obimu. Demo košta zanemarljivo. Produkcija na hiljadama poziva mesečno ima račun koji raste sa obimom — i taj račun je najveći baš tamo gde je projekat najuspešniji, jer uspeh znači više poziva.
• Evaluacija i nadzor. Model koji je danas tačan ne ostaje takav sam od sebe. Neko mora da gradi test skupove, prati odstupanja i reaguje kad se ponašanje promeni. To je stalni trošak, ne jednokratni.
• Ljudska provera koju ste upravo stvorili. Ako agent predlaže, a čovek proverava, niste eliminisali rad — pomerili ste ga. Provera tuđeg rada ume da bude sporija od samostalnog rada dok se ne izgradi poverenje. Taj minut po predmetu ide u trošak, ne u uštedu.

Nijedan od ova tri troška nije egzotičan, ali sva tri nedostaju u prezentaciji koja je odobrila budžet. Ako ih ne stavite u računicu na početku, oni se pojave sami, u trenutku kad je najskuplje da se projekat preispituje.

Ušteđeno vreme nije ušteđen novac

Najčešća greška u računici je izjednačavanje minuta sa novcem. Ako agent uštedi dva minuta po predmetu na deset hiljada predmeta, to je oko tri stotine trideset sati mesečno „ušteđeno“. Ali ti sati postaju novac samo pod jednim od dva uslova: ili se oslobođeni kapacitet preusmeri na posao koji donosi vrednost, ili se plan zapošljavanja menja jer taj posao više ne traži novu osobu.

Ako se ne desi nijedno, ušteda je fantomska. Ljudi rade isto, samo malo ležernije, i trošak firme je nepromenjen. „Oslobodili smo vreme“ nije finansijski rezultat dok neko ne odluči šta će se s tim vremenom raditi. Zato razgovor o ROI-u mora da uključi vlasnika procesa koji će reći: to vreme ide tu i tu, ili tu poziciju ne popunjavamo. Bez te odluke, ušteda ostaje na papiru i nikada ne stigne do bilansa.

Vodeći i zaostajući pokazatelji

Zaostajući pokazatelji su ono što zaista želite — niži trošak po predmetu, kraće vreme obrade, veći broj rešenih slučajeva bez eskalacije. Problem je što se vide tek posle nekoliko meseci, prekasno da bi se pilot vodio na osnovu njih.

Zato tokom pilota gledate vodeće pokazatelje koji predviđaju ishod: udeo predloga koje čovek prihvati bez izmene, udeo slučajeva u kojima agent prizna da ne zna umesto da improvizuje, prosečan broj koraka do rešenja. Kada se vodeći pokazatelji kreću u dobrom smeru i tu se zadrže, zaostajući rezultat po pravilu sledi. Kada ne, nijedno čekanje ga neće popraviti — a čekanje je najskuplji način da se sazna ono što je vodeći pokazatelj mogao da kaže već prvog meseca.

Računica na primeru

Sledeći brojevi su izmišljeni radi ilustracije — ne predstavljaju nijednog klijenta ni tržišni podatak. Cilj je da se pokaže oblik računice, a vi ubacujete svoje izmerene vrednosti.

Pretpostavimo proces sa 8.000 predmeta mesečno, prosečno 6 minuta po predmetu, uz ukupan trošak rada (bruto plata plus davanja plus režija) od 2.000 dinara po satu. Agent skrati obradu na 4 minuta po predmetu, ali dodaje 1 minut ljudske provere. Neto ušteda je 1 minut po predmetu.

Razlika je oko 116.000 dinara mesečno — pod uslovom da se onih 133 oslobođena sata stvarno preusmere ili da se planirano zapošljavanje otkaže. Ako ljudi ostanu na istom poslu istim tempom, kolona „posle“ u stvarnosti i dalje košta 1.600.000, a projekat je čist trošak uvećan za račun modela. Ista tabela sa vašim izmerenim brojevima je razlika između poslovne odluke i nagađanja.

Dizajn pilota koji daje branljiv odgovor

Pilot nije demo sa produženim rokom. Njegov jedini zadatak je da vrati broj u koji se može verovati, i to zahteva nekoliko namernih odluka.

1. Rad u senci. Agent radi paralelno sa čovekom i predlaže, ali ništa ne šalje i ništa ne menja. Poredite predlog sa onim što je čovek zaista uradio. Tako dobijate tačnost bez ijednog rizika po proces.
2. Kontrolna grupa. Deo saobraćaja namerno ostaje bez agenta. Bez kontrolne grupe ne možete da razlikujete efekat agenta od sezonske promene obima ili od toga što je tim tog meseca prosto bio brži.
3. Stopa prihvatanja. Udeo predloga poslatih bez izmene je najpošteniji vodeći pokazatelj. Raste kako model sazreva, i kad se stabilizuje iznad praga koji ste unapred definisali, autonomija za taj tip predmeta je opravdana.
4. Unapred definisan prag. Odlučite pre pilota koja stopa prihvatanja i koji nivo greške čine uspeh. Prag postavljen posle rezultata je racionalizacija, ne merilo.

Ovakav pilot koristimo kada uvodimo NG Saru u prodaju i podršku ili NG Noru na telefonsku liniju: prvo senka, pa predlog, pa autonomija — i samo za tipove predmeta koji su prešli prag. Isti pristup važi i kada NG Operations predlaže plan proizvodnje: predlog se meri u odnosu na odluku planera pre nego što dobije poverenje.

Kada je ispravno ugasiti projekat

Ako posle poštenog pilota stopa prihvatanja ne prelazi prag, ili neto ušteda ne pokriva trošak zaključivanja, nadzora i provere, ispravna odluka je da se projekat zaustavi. To nije neuspeh tima — to je tačno ono zbog čega se pilot i radi: da skupa greška ostane jeftina dok je još jeftina.

Teže je ugasiti projekat kada je model već u produkciji. Tu upada zamka nepovratnog troška: uloženo je toliko meseci i novca da se čini rasipnički stati. Ali potrošeni novac je potrošen bez obzira na odluku — jedino relevantno pitanje je da li sledeći mesec rada donosi više nego što košta. Ako ne, svaki dalji mesec samo uvećava gubitak, a ne vraća ono što je već otišlo.

Zato prag za gašenje treba definisati istovremeno sa pragom za uspeh, dok još niko nije emotivno vezan za rezultat. Ako niste sigurni kako da postavite ta dva praga za svoj proces, to je tačno tema za razgovor pre pokretanja, a ne posle — jer posle je i sam razgovor deo nepovratnog troška.