Înapoi la blogRead in English

Sisteme AI în producție: de la demo impresionant la sistem de încredere

De ce multe proiecte AI mor după demo și cum construiești un sistem care rezistă în producție: scop îngust, date curate, evaluare continuă, om în buclă și costuri sub control.

Un pod de la prototip la producție stă pe patru piloni: scop clar, date curate, evaluare și om în buclă. Monitorizarea erorilor și costului alimentează evaluarea.

Orice echipă a trăit momentul: un prototip AI care răspunde uimitor în fața conducerii, iar două luni mai târziu nimeni nu îl mai folosește. Demo-ul a funcționat pentru că întrebările au fost alese de cineva care știa ce răspunde bine. Producția aduce întrebările pe care nu le-a ales nimeni. În articolul acesta descriu ce separă un demo de un sistem AI de încredere și ce poți face concret, fie că ești antreprenor care comandă un asistent, fie inginer care îl construiește.

Pe scurt

  • Un demo arată ce poate face modelul în cel mai bun caz. Producția cere un comportament acceptabil în cel mai prost caz.
  • Sistemele AI care supraviețuiesc au un scop îngust, o definiție clară a „răspunsului corect” și un set de teste rulat la fiecare schimbare.
  • Modelul este o componentă. Încrederea vine din ce construiești în jurul lui: date, verificări, limite, monitorizare.
  • Omul rămâne în buclă acolo unde greșeala costă mult, iar automatizarea completă se câștigă treptat.
  • Costul se planifică de la început, altfel factura îți spune târziu ce ar fi trebuit să afli devreme.

De ce mor proiectele AI după demo

Primul motiv este banal: demo-ul testează un drum fericit. Cineva pune cinci întrebări bune, modelul răspunde frumos, sala aplaudă. Utilizatorii reali scriu cu greșeli, pun întrebări pe jumătate, cer lucruri pe care sistemul nu le știe și trimit documente în formate ciudate. Fiecare dintre aceste situații este un caz de test pe care nu l-ai scris.

Al doilea motiv este că nimeni nu a definit succesul. „Să răspundă bine” nu este un criteriu. „Să răspundă corect la cel puțin 9 din 10 întrebări din lista de 200 aleasă împreună cu echipa de suport, iar la restul să spună că nu știe” este un criteriu. Prima formulare te lasă cu o impresie, a doua cu un număr pe care îl poți urmări în timp.

Al treilea motiv este responsabilitatea. Un asistent greșit nu este „al nimănui”. Când apare o greșeală vizibilă, cineva trebuie să știe de ce s-a întâmplat și cum se repară. Dacă sistemul nu păstrează urme (ce a primit, ce a căutat, ce a răspuns), nu ai de unde afla.

Începe cu un scop îngust

Cea mai frecventă greșeală de arhitectură este ambiția. „Un asistent care răspunde la orice despre firmă” sună bine în ședință și funcționează prost în practică, pentru că „orice” nu se poate testa. Un scop îngust se poate: „răspunde la întrebările clienților despre retur și livrare”, „pregătește o ciornă de ofertă din briefurile primite”, „sortează cererile de suport pe categorii și urgență”.

Un scop îngust îți dă trei lucruri valoroase:

  1. Un set de teste realist. Poți aduna în două zile o sută de întrebări reale, cu răspunsul corect alături.
  2. O suprafață mică de risc. Știi ce poate greși și cât costă greșeala.
  3. Un răspuns la „merită?”. Poți măsura orele economisite pe un singur proces, nu pe o promisiune generală.

Regula mea de lucru: dacă nu pot scrie scopul într-o propoziție și testa într-o săptămână, este prea mare. Îl tai în bucăți până devine testabil.

Datele decid mai mult decât modelul

Când un sistem AI dă răspunsuri slabe, prima reacție este să schimbi modelul. De cele mai multe ori problema se află în altă parte: documente contradictorii, versiuni vechi lăsate lângă cele noi, informații ținute în capul oamenilor și nescrise nicăieri. Un model mai scump citește la fel de prost un document prost.

Ce funcționează în practică:

  • Un proprietar pentru fiecare sursă. Cineva răspunde de actualitatea listei de prețuri, a procedurii de retur, a politicii de garanție.
  • O singură versiune adevărată. Documentele vechi se arhivează, nu se lasă lângă cele noi.
  • Structură înaintea volumului. Zece documente bine organizate bat o mie de fișiere adunate la grămadă.
  • Date de test separate. Exemplele cu care verifici sistemul nu trebuie să fie aceleași cu cele din care „învață”.

Dacă sistemul tău caută în documente înainte să răspundă, citește și RAG pe înțelesul antreprenorilor, unde explic cum ordinea din documente afectează calitatea răspunsurilor.

Evaluarea este testul de regresie al erei AI

În software clasic, o modificare de cod rulează prin teste automate înainte să ajungă la utilizatori. Sistemele AI au nevoie de același reflex, doar că verificarea este mai nuanțată, fiindcă același răspuns poate fi formulat în zece feluri corecte.

Un set de evaluare minim arată cam așa:

Element Ce conține Exemplu
Întrebarea Textul real al utilizatorului, cu tot cu greșeli „cat dureaza returul la comanda din weekend”
Răspunsul de referință Ce trebuie să conțină răspunsul corect „14 zile de la primire, indiferent de zi”
Sursa așteptată Documentul din care trebuie să vină informația „politica-retur v3”
Tipul cazului Obișnuit, limită, capcană sau „nu știu” „capcană”

Din acest tabel pornești trei verificări distincte. Prima: răspunsul conține informația corectă? A doua: a citat sursa potrivită? A treia: când nu există răspuns în documente, a spus onest că nu știe, în loc să inventeze? A treia este cea mai importantă pentru încredere și cea mai des uitată.

Rulezi setul la fiecare schimbare: alt model, alt prompt, alte documente, altă configurare. Dacă scorul scade, știi înainte să afle clienții. Dacă crește, ai o dovadă, nu o impresie. Un lucru practic: păstrează în set și cazurile care au dat erori în producție. Fiecare greșeală reală devine un test permanent și sistemul nu o mai repetă.

Omul în buclă, la nivelul potrivit

Nu toate deciziile cântăresc la fel. Un asistent care sugerează un titlu de articol poate lucra singur. Unul care trimite o ofertă unui client, aprobă o rambursare sau modifică o comandă are nevoie de o plasă de siguranță.

Un model simplu, pe trei niveluri:

  • Automat. Acțiuni reversibile și cu cost mic: clasificare, rezumat, ciorne interne.
  • Cu aprobare. Sistemul pregătește, omul confirmă cu un click: ofertă, răspuns către client, modificare de date.
  • Doar om. Decizii cu consecințe juridice sau financiare mari, unde AI-ul poate cel mult să adune informațiile.

Important este că nivelul nu este fix. Începi cu aprobare pe aproape tot. Măsori cât de des omul schimbă ce a propus sistemul. Când, pentru o anumită categorie, omul aprobă fără modificări luni la rând, aceea poate trece la automat. Încrederea se câștigă pe date, categorie cu categorie.

Cum greșesc sistemele AI (și cum le prinzi)

Sistemele AI nu cad spectaculos, ci se degradează pe nesimțite. De aceea ai nevoie de plase specifice:

  • Verificarea formatului. Dacă aștepți o dată, o sumă sau un cod de produs, validezi rezultatul cu reguli clasice, nu cu încrederea în model.
  • Citarea sursei. Un răspuns fără sursă se tratează ca suspect. Un răspuns cu sursă poate fi verificat în câteva secunde de un om.
  • Praguri de încredere. Când căutarea nu găsește nimic suficient de apropiat, sistemul oprește generarea și predă conversația unui om.
  • Limite pe acțiuni. Un agent care poate apela API-uri primește doar permisiunile strict necesare, cu plafoane (număr de apeluri, sume maxime).
  • Comportament la eroare. Dacă furnizorul modelului nu răspunde, utilizatorul vede un mesaj clar și o alternativă, nu o rotiță care se învârte la nesfârșit.

Despre ultimul punct: un sistem AI depinde de servicii externe, deci trebuie tratat ca orice sistem distribuit. Timeout-uri, reîncercări cu pauză crescătoare, un model de rezervă pentru cazurile critice. Nimic exotic, doar disciplina obișnuită de inginerie aplicată unei componente nedeterministe.

Observabilitate: să poți răspunde la „de ce a zis asta?”

Cel mai valoros lucru pe care îl poți construi în primele zile este un jurnal bun. Pentru fiecare interacțiune păstrezi: întrebarea, documentele găsite, promptul final, răspunsul, durata, costul și, dacă există, reacția utilizatorului (mulțumit sau nu). Cu datele personale tratezi cu grijă: le mascăm sau le păstrăm doar cât este necesar și conform GDPR.

Din jurnal scoți trei rapoarte simple, suficiente ca să conduci sistemul:

  1. Întrebările fără răspuns bun. Sunt lista ta de îmbunătățiri: documente lipsă, formulări neacoperite.
  2. Cele mai costisitoare interacțiuni. Adesea o mică parte dintre conversații consumă cea mai mare parte din buget.
  3. Reacția utilizatorilor în timp. Dacă satisfacția scade după o schimbare, o vezi în zile, nu în luni.

Costul: planifică-l înainte să crească

Costul unui sistem AI are două părți. Prima este construcția: arhitectură, pregătirea datelor, integrări, teste. A doua este funcționarea: tokenii consumați, infrastructura, timpul oamenilor care verifică și actualizează documentele. A doua parte este cea uitată, deși pe termen lung adesea o depășește pe prima.

Câteva pârghii pe care le folosesc:

  • Model potrivit pentru sarcină. Clasificarea și extragerea cer rar cel mai mare model. Rezervi modelele puternice pentru pasajele care chiar au nevoie.
  • Memorarea răspunsurilor repetate. Dacă 30% dintre întrebări sunt aceleași, nu are rost să le plătești de fiecare dată.
  • Context scurt. Trimiți modelului doar fragmentele relevante, nu documente întregi. Mai ieftin și, de regulă, mai precis.
  • Plafoane și alerte. O limită zilnică și o alertă la depășire te scutesc de surprize.

Formula de bază pentru decizie rămâne simplă: ore economisite pe lună înmulțit cu costul unei ore, minus costul lunar de funcționare. Dacă rezultatul este pozitiv cu o marjă confortabilă, mergi mai departe. Dacă nu, ai aflat asta ieftin, înainte să construiești totul.

Un plan în patru etape

Dacă ar fi să rezum metoda într-un traseu pe care îl poți urma:

  1. Alege un proces îngust și scrie în ce condiții îl consideri reușit.
  2. Adună cazuri reale (100–200) și construiește setul de evaluare înainte de prima linie de cod.
  3. Lansează cu aprobare umană și jurnal complet, pentru un grup mic de utilizatori.
  4. Măsoară, corectează, extinde. Mărești autonomia și domeniul doar după ce numerele o justifică.

Concluzie

Diferența dintre un demo și un sistem de încredere nu este un model mai bun, ci mai multă inginerie în jurul lui: scop clar, date îngrijite, evaluare repetabilă, oameni acolo unde contează, jurnale și costuri vizibile. Cine tratează AI-ul ca pe o componentă serioasă a unui produs obține rezultate care durează. Cine îl tratează ca pe o magie obține demo-uri frumoase.