Evaluarea unui agent AI nu seamănă cu testarea unui chatbot simplu. Un agent care folosește tool-uri poate căuta date, apela API-uri, scrie în fișiere, porni fluxuri și lua decizii în mai mulți pași. De aceea, întrebarea corectă nu este doar „a răspuns bine?”, ci „a ales sarcina potrivită, a folosit tool-ul permis, a respectat limitele și poate fi verificat de un om?”.
Un sistem bun de evaluare începe înainte de prompt engineering. Definești comportamentul dorit, construiești scenarii reprezentative, stabilești scoruri și păstrezi urme verificabile pentru fiecare rulare. Dacă agentul face parte dintr-o arhitectură cu supervisor și workers, vezi și principiile din arhitectura multi-agent cu supervisor și workers, pentru că evaluarea trebuie să urmărească și rutarea, nu doar răspunsul final.
Definește sarcinile ca scenarii, nu ca întrebări izolate
Pentru agenții cu tool-uri, un test bun descrie o situație completă: context, obiectiv, date disponibile, tool-uri permise, acțiuni interzise și rezultat așteptat. De exemplu, „verifică dacă un furnizor este aprobat și propune următorul pas” este mai util decât „ce știi despre furnizori?”.
Un scenariu ar trebui să includă obiectivul utilizatorului, starea inițială, tool-urile permise, limitele operaționale, criteriile de succes și condițiile în care agentul trebuie să ceară confirmare umană. Pentru firme, este important ca tool-urile testate să fie cele aprobate intern, nu orice integrare disponibilă. Un punct de plecare practic este un registru intern pentru tool-uri AI aprobate, cu proprietari, versiuni și fluxuri de date.
Separă limitele dure de preferințele de calitate
Nu toate criteriile au aceeași greutate. O limită dură este o regulă care nu trebuie încălcată: agentul nu modifică producția, nu accesează date nepermise, nu folosește un tool neaprobat, nu inventează rezultate. O preferință de calitate ține de claritate, concizie, ton, completitudine sau structură.
În grila de evaluare, tratează limitele dure ca „pass/fail”. Dacă agentul a trimis un email fără aprobare, nu contează că răspunsul a fost elegant. Pentru criteriile de calitate poți folosi scoruri, rubrici sau comparații între răspunsuri, similar logicii folosite în reward model pentru preference learning.
Scoruri utile: rezultat, proces, siguranță
Pentru agenții care folosesc tool-uri, scorul final ar trebui să combine trei zone. Rezultatul: agentul a rezolvat sarcina, a livrat informația corectă și a identificat când nu avea suficiente date? Procesul: a ales tool-ul potrivit, a făcut pașii în ordine logică, a evitat apelurile inutile și a păstrat trasabilitatea? Siguranța: a respectat permisiunile, limitele, datele sensibile și cerințele de confirmare umană?
În scenarii critice, siguranța poate deveni criteriu eliminatoriu. Dacă evaluați agenți antrenați să folosească tool-uri într-un environment cu stare, merită corelată evaluarea cu metode precum GRPO pentru agenți AI, dar fără a confunda scorul de training cu auditul operațional.
Păstrează urme verificabile pentru fiecare rulare
Un răspuns final nu este suficient. Pentru fiecare test salvează promptul, versiunea modelului, tool-urile apelate, intrările și ieșirile tool-urilor, erorile, timpul de execuție și decizia finală. Aceste urme ajută la depanare, comparații între versiuni și investigații interne.
Documentațiile moderne de evaluare recomandă iterația: definești criterii, rulezi testele, analizezi rezultatele și îmbunătățești aplicația. În practică, asta înseamnă să păstrezi un set stabil de teste de regresie și un set separat de scenarii noi, ca să nu optimizezi agentul doar pentru aceleași exemple.
Introdu verificarea umană acolo unde riscul este real
Verificarea umană nu trebuie pusă peste tot, altfel agentul devine inutil. Pune human review pentru acțiuni ireversibile, costuri financiare, date personale, comunicări externe, modificări de producție și cazuri cu încredere scăzută.
Evaluatorul uman ar trebui să vadă rezumatul sarcinii, pașii agentului, tool-urile folosite, dovezile și motivul pentru care agentul cere aprobare. Decizia umană trebuie salvată: aprobat, respins, corectat sau escaladat.
Întrebări frecvente
Pot evalua un agent AI doar după răspunsul final?
Nu este recomandat. La agenții cu tool-uri trebuie verificat și procesul: ce tool-uri au fost folosite, în ce ordine, cu ce date și dacă limitele au fost respectate.
Ce criterii trebuie să fie eliminatorii?
Încălcarea permisiunilor, folosirea unui tool neaprobat, modificarea producției fără aprobare, inventarea rezultatelor sau expunerea datelor sensibile ar trebui tratate ca eșec automat.
Când este necesară verificarea umană?
Pentru acțiuni ireversibile, costuri financiare, date personale, comunicări externe, modificări de producție și situații în care agentul are încredere scăzută.
Cum evit optimizarea agentului doar pentru testele existente?
Păstrează teste stabile de regresie, dar adaugă periodic scenarii noi. Separă evaluarea de rutină de testele exploratorii și urmărește urmele fiecărei rulări.
