AI agenti u preduzeću: gde donose ROI, a gde su samo trošak

Demo AI agenta skoro uvek prođe dobro. Postavite pitanje, agent odgovori tečno i ubedljivo, svi u sobi klimnu glavom. Šest meseci kasnije taj isti agent nije u produkciji, ili jeste, ali ga niko ne koristi. To nije problem modela. Problem je u tome što je za demo biran zadatak koji dobro izgleda, a ne zadatak koji dobro radi.

Pitanje nije „može li AI ovo da uradi“. Skoro uvek može, nekako. Pitanje je da li se isplati da to radi, ko snosi posledice kad pogreši, i da li uopšte ima pristup podacima na osnovu kojih bi odluka bila tačna.

Tri osobine posla koji se isplati poveriti agentu

Procesi u kojima agent zaista smanjuje trošak dele tri osobine, i sve tri moraju da postoje istovremeno.

• Učestalost. Posao se ponavlja stotinama puta mesečno. Automatizacija zadatka koji se radi dvaput godišnje je skuplja od samog zadatka.
• Nestrukturiran ulaz. Posao počinje tekstom koji čovek mora da pročita — mejlom kupca, specifikacijom, ponudom dobavljača, reklamacijom. Tu klasičan softver ne pomaže, a jezički model jeste tu tehnologija.
• Proverljiv izlaz. Postoji način da se kaže da li je odgovor tačan. Ili ga proverava sistem, ili ga proverava čovek za nekoliko sekundi, ili se proverava kasnijim ishodom.

Ako nedostaje treća osobina, ne gradite agenta — gradite generator tvrdnji koje niko ne ume da opovrgne. To je najskuplji mogući ishod, jer se greška otkrije tek kad izađe napolje.

Trošak greške određuje arhitekturu

Najkorisnija podela nije po tehnologiji nego po tome šta se desi kad agent pogreši. Odatle direktno sledi koliko autonomije sme da ima.

Ovo zvuči očigledno dok se ne pogleda kako se pilot projekti zapravo postavljaju. Najčešće se agentu da najvidljiviji proces, jer treba impresionirati upravu — a najvidljiviji proces je obično i onaj sa najvišim troškom greške.

Zašto pilot ne pređe u produkciju

Kad se pilot zaustavi, razlog je retko kvalitet odgovora. Gotovo uvek je jedan od tri.

Agent nema pristup podacima. U demou se odgovara iz nekoliko PDF-ova. U stvarnosti odgovor zavisi od stanja zaliha u ERP-u, istorije narudžbina u prodavnici i statusa reklamacije u CRM-u. Ako agent ne može da pročita ta tri sistema u trenutku pitanja, on nagađa — samo tečno.

Agent ne može ništa da uradi. Odgovori na pitanje, ali ne otvori reklamaciju, ne rezerviše robu, ne pošalje ponudu. Korisnik i dalje mora da uđe u tri aplikacije, pa je jedino što je dobio — lepše formulisano pitanje.

Niko ne odgovara za rezultat. Pilot je bio projekat IT-ja, a proces pripada prodaji. Kad se pojavi prvi sporan odgovor, nema vlasnika koji će odlučiti da li je to prihvatljivo, pa se ceo posao tiho ugasi.

Sve tri se svode na isto: agent bez integracije je sagovornik, a ne radnik. Zato integracija sa postojećim sistemima nije faza posle uvođenja AI-a, nego preduslov da AI uopšte ima šta da radi.

Šta zapravo znači „ROI“ ovde

Bez merenja pre uvođenja ne postoji povrat ulaganja, nego samo utisak. A utisak je uvek pozitivan, jer je novo.

Merenje ne mora da bude komplikovano, ali mora da postoji pre nego što agent uđe u proces:

1. Izmerite osnovu. Koliko upita mesečno, koliko minuta po upitu, koliki udeo završi eskalacijom. Dve nedelje uzorka su dovoljne.
2. Definišite prag prihvatljivosti. Ne „tačnost“, nego: koliko grešaka koje vrste je posao spreman da podnese.
3. Pustite agenta u senci. Predlaže, ali ne šalje. Poredite njegov predlog sa onim što je čovek zaista uradio.
4. Merite prihvatanje, ne zadovoljstvo. Udeo predloga koji je poslat bez izmene je jedini broj koji ne laže.
5. Tek onda računajte uštedu — kao razliku vremena po upitu pomnoženu brojem upita, umanjenu za trošak modela i održavanja.

Ovo je isti postupak koji koristimo kad uvodimo NG Saru u prodaju ili NG Noru na telefonsku liniju: prvo u senci, pa u predlogu, pa u autonomiji — i to samo za tipove upita koji su prošli prag.

Objašnjivost nije luksuz

Ako agent kaže kupcu da roba stiže u utorak, neko u firmi mora da može da odgovori na pitanje odakle mu to. Odgovor „model je tako rekao“ nije prihvatljiv ni pred kupcem ni pred inspekcijom.

Praktično, to znači da agent mora da citira izvor: koji dokument, koji red u bazi, koji status porudžbine. Sistemi koji odgovaraju iz vaših podataka umesto iz sopstvenog pamćenja to omogućavaju — i usput drastično smanjuju izmišljanje. Kada agent nema izvor, ispravno ponašanje nije da improvizuje, nego da prizna da ne zna i prosledi čoveku.

Gde AI agent nije odgovor

Postoje procesi u kojima je agent pogrešan alat, i vredi ih reći naglas.

• Determinističke odluke. Ako pravilo može da se napiše kao „ako je iznos veći od X i kupac je iz segmenta Y“, napišite pravilo. Jezički model tu unosi neizvesnost bez ijedne prednosti.
• Proces koji nije definisan. Automatizacija haosa daje brži haos. Ako tri kolege isti posao rade na tri načina, prvo se dogovorite koji je tačan.
• Podaci koji ne postoje. Agent ne može da zna ono što nigde ne piše. Ako se dogovori sa kupcima čuvaju u glavama komercijalista, nijedan model to neće nadoknaditi.

Ko treba da vodi projekat

Vlasnik AI projekta nije IT. IT gradi i održava, ali odluku o tome šta je prihvatljiv odgovor donosi onaj ko je do juče taj posao radio rukama — šef prodaje, šef podrške, šef nabavke. Bez njega niko ne ume da kaže da li je predlog dobar, pa se svaka nedoumica završava kod programera, koji o poslu zna najmanje.

U praksi je potrebno tačno troje ljudi, i nijedan od njih ne sme da bude nominalan:

• Vlasnik procesa. Definiše šta je tačan odgovor i prihvata rizik greške. Ima pravo da zaustavi projekat.
• Inženjer. Povezuje agenta sa sistemima, meri i održava. Ne odlučuje o sadržaju.
• Neko ko sme da kaže „ne isplati se“. Najčešće finansije. Bez te uloge projekat živi na entuzijazmu, koji traje do prve smene prioriteta.

Trošak koji se previdi

Cena modela po pozivu je najmanja stavka i jedina o kojoj se priča. Tri veća troška dolaze kasnije: evaluacija (neko mora da pregleda uzorak odgovora svake nedelje), održavanje konteksta (kad se promeni cenovnik ili proces, agent to ne sazna sam) i vreme ljudskog pregleda, koje ste upravo stvorili tamo gde ga ranije nije bilo.

Zato ušteda ne sme da se računa kao „minuti pre minus minuti posle“. Mora da se oduzme i vreme koje sada odlazi na proveru predloga. Ako ta razlika ostane pozitivna, imate projekat. Ako ne ostane, imate skuplju verziju istog posla.

Redosled koji radi

Uvođenje koje preživi produkciju gotovo uvek ide istim putem: izaberite proces sa visokom učestalošću i niskim troškom greške, povežite agenta sa sistemima u kojima taj proces živi, pustite ga u senci dok ne pređe prag prihvatanja, dajte mu autonomiju samo za deo upita koji je dokazao, i tek onda proširite obim.

Nijedan od tih koraka nije o modelu. Svi su o procesu, podacima i odgovornosti — i to je razlog zašto AI projekti prolaze ili padaju iz razloga koji nemaju veze sa veštačkom inteligencijom.