Modelele AI sunt adesea evaluate ca elevii la finalul unei probleme: contează dacă răspunsul este corect sau greșit. Un Process Reward Model, prescurtat PRM, schimbă perspectiva. În loc să recompenseze doar rezultatul final, evaluează pașii intermediari ai raționamentului. Pentru aplicații unde un răspuns convingător poate fi totuși greșit, această diferență este importantă.
Pe scurt, outcome supervision înseamnă feedback la final: modelul primește semnal pozitiv dacă ajunge la răspunsul bun și semnal negativ dacă nu. Process supervision înseamnă feedback pe traseu: fiecare pas din soluție este analizat separat. OpenAI a descris această abordare în cercetarea „Improving mathematical reasoning with process supervision”, asociată lucrării „Let’s Verify Step by Step”, unde autorii au comparat supravegherea procesului cu supravegherea rezultatului pe probleme de matematică.
Cum ar arăta practic evaluarea pașilor? În primul rând, împarți răspunsul modelului în unități verificabile. Un pas poate fi o transformare matematică, o ipoteză explicită, o concluzie intermediară sau o decizie logică. Important este ca evaluatorul să poată spune ceva concret despre acel pas, nu doar dacă textul „sună bine”.
Apoi, fiecare pas primește o etichetă. Într-un scenariu simplificat, etichetele pot fi: acceptabil, greșit sau incert. „Acceptabil” nu înseamnă neapărat perfect formulat, ci suficient de corect pentru a continua raționamentul. „Greșit” marchează o eroare care compromite drumul. „Incert” este util când evaluatorul nu are destule informații sau când pasul depinde de o presupunere neverificată.
După etichetare, traseele de raționament pot fi comparate. Două răspunsuri pot ajunge la același rezultat final, dar unul poate avea pași mai solizi. Invers, un model poate nimeri rezultatul corect printr-o coincidență sau printr-un raționament fragil. PRM-ul oferă un semnal mai fin: nu doar „a ieșit bine”, ci „drumul până acolo a fost verificabil”.
Acest mod de lucru este util și în auditarea internă a sistemelor AI. Dacă o echipă păstrează exemple de răspunsuri și etichetează punctele unde logica se rupe, poate identifica tipare: pași omiși, presupuneri mascate, formule aplicate greșit sau concluzii trase prea repede. Pentru un produs AI, aceste observații sunt mai utile decât o listă simplă de răspunsuri bune și rele.
Acest semnal poate fi folosit la evaluare și, în contexte de cercetare, ca parte a antrenării. Ideea nu este să înveți modelul să scrie explicații mai lungi, ci să preferi pașii care sunt justificabili. Pentru utilizatorii avansați, diferența contează mai ales în domenii unde verificarea finală este dificilă: analiză tehnică, calcule, argumentare juridică preliminară, documentație sau suport pentru decizii. Atenție însă: PRM nu transformă automat un model într-un expert și nu înlocuiește validarea umană.
Lucrarea „Let’s Verify Step by Step” raportează că, în investigația autorilor, process supervision a depășit outcome supervision pe un subset MATH. Tot acolo este menționat PRM800K, un set de date cu 800.000 de etichete umane la nivel de pas pentru soluții generate de model la probleme MATH. README-ul OpenAI de pe GitHub precizează că sunt publicate etichetele brute și instrucțiunile pentru evaluatori. Aceste detalii sunt relevante deoarece arată costul real al metodei: ai nevoie de multe evaluări umane de calitate, nu doar de un scor automat la final.
Limitele sunt serioase. Etichetarea pe pași este scumpă și lentă. Calitatea PRM depinde de calitatea evaluatorilor și de claritatea instrucțiunilor primite de aceștia. În unele domenii, pașii nu sunt ușor de separat sau verificat independent. Iar un model poate produce o explicație fluentă, ordonată și aparent sigură, dar construită pe o premisă falsă. De aceea, PRM trebuie privit ca instrument de evaluare mai granulară, nu ca garanție de adevăr.
Pentru firmele din România care testează AI, lecția practică este simplă: nu evaluați doar răspunsul final. Cereți explicații structurate, verificați pașii critici, marcați unde modelul presupune ceva și păstrați exemplele greșite pentru evaluări viitoare. În proiectele serioase, un răspuns AI bun nu este doar cel care sună profesionist, ci cel al cărui traseu poate fi verificat.
Surse
- OpenAI — „Improving mathematical reasoning with process supervision”
- arXiv — „Let’s Verify Step by Step”, 2305.20050
- GitHub OpenAI — PRM800K README, dataset de process supervision cu etichete la nivel de pas
