LLM-as-a-Judge înseamnă să folosești un model lingvistic ca evaluator pentru răspunsurile altui model. Ideea a devenit populară fiindcă testele clasice merg bine la răspunsuri fixe, dar se descurcă mai greu când un model produce texte libere, explicații sau comparații. În practică, metoda poate economisi timp și bani. Problema este că un „judecător” automat poate părea convingător chiar și atunci când notează greșit. Dacă nu este configurat atent, rezultatul poate fi înșelător, nu doar rapid.
Primul pas este să înțelegi de unde apar erorile. Lucrarea MT-Bench și Chatbot Arena arată că evaluatorii LLM pot suferi de bias de poziție, bias de verbiaj și self-enhancement bias, adică pot favoriza un anumit format, răspunsurile mai lungi sau modele apropiate de propriul stil. În plus, survey-ul „From Generation to Judgment” subliniază că LLM-as-a-Judge rămâne sensibil la prompt, la rubrică și la tipul de sarcină evaluată. Cu alte cuvinte, nu este suficient să întrebi un model „care răspuns este mai bun?” și să tratezi verdictul ca adevăr.
Calibrarea evaluatorului este măsura de bază. În loc să pornești direct în producție, construiești mai întâi un set mic, dar curat, de exemple etichetate de oameni sau validate intern. Acolo incluzi și cazuri ușoare, și cazuri-limită: răspunsuri corecte dar concise, răspunsuri lungi dar evazive, texte parțial corecte și exemple care încalcă cerința. Documentația OpenAI Evals recomandă meta-evaluarea evaluatorului model-graded cu „choice labels”, adică etichete umane pentru verdictul așteptat. Practic, nu evaluezi doar modelul testat, ci testezi și cât de bine judecă evaluatorul.
Calibrarea bună cere și o rubrică explicită. În loc de un scor vag, criteriile trebuie separate: acuratețe factuală, respectarea instrucțiunii, completitudine, claritate și siguranță. Cu cât rubrica este mai precisă, cu atât scade riscul ca evaluatorul să recompenseze doar stilul. Pentru echipele din România care folosesc AI în suport, marketing sau redactare, regula sănătoasă este simplă: dacă oamenii din echipă nu pot explica în două-trei propoziții de ce un răspuns primește nota 4 și nu 2, rubrica nu este încă pregătită.
Al doilea mecanism de protecție este folosirea mai multor evaluatori, nu a unuia singur. Lucrarea „Replacing Judges with Juries” arată că un panel de modele diferite poate reduce intra-model bias și poate depăși un singur evaluator mare în anumite setări. Ideea nu este să pui trei copii ale aceluiași model, ci evaluatori din familii diferite, cu instrucțiuni identice și rubrică identică. Apoi agregi verdictul prin majoritate, scor mediu sau regulă conservatoare: dacă evaluatorii nu cad de acord, cazul nu trece automat.
Al treilea pas este verificarea acordului dintre modele. Aici nu te uiți doar la scorul final, ci la consistență. Dacă un evaluator dă „excelent”, altul „slab” și al treilea „acceptabil”, ai un semnal clar că taskul, rubrica sau promptul de evaluare sunt instabile. Poți măsura acordul simplu în procente, iar pentru seturi mai serioase poți urmări și indicatori statistici de tip inter-rater agreement. Important este pragul operațional: cazurile cu dezacord mare merg la revizie umană, nu la automatizare oarbă.
Metoda are și limite care trebuie spuse deschis. Un evaluator LLM nu înlocuiește expertul pe subiect, mai ales în domenii sensibile precum securitatea cibernetică, juridic sau sănătate. Poate rata erori subtile, poate favoriza formule persuasive și se poate schimba după un update de model. În plus, dacă același furnizor este folosit și pentru generare, și pentru evaluare, riscul de preferință internă nu dispare. De aceea, LLM-as-a-Judge este mai sigur ca strat de triere și monitorizare decât ca arbitru final pentru decizii importante.
Concluzia practică este clară: LLM-as-a-Judge poate fi util, dar numai dacă tratezi evaluatorul ca pe un sistem care trebuie verificat, calibrat și supravegheat. Începe cu exemple etichetate, definește o rubrică strictă, folosește evaluatori multipli și urmărește acordul dintre ei. Când apare dezacordul, nu îl ascunde într-un scor mediu elegant. Exact acolo se vede dacă evaluarea este robustă sau doar pare inteligentă.
Surse
- OpenAI Cookbook, Getting Started with OpenAI Evals
- OpenAI Evals, build-eval.md
- LangSmith Docs, Evaluation concepts
- Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv:2306.05685)
- Huang et al., From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge (arXiv:2411.16594)
- Verga et al., Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models (arXiv:2404.18796)
