Un răspuns fluent nu este automat un răspuns corect. În suportul clienți, o dată de livrare, o condiție de retur sau o instrucțiune pentru altă versiune a produsului poate produce costuri și reclamații. Soluția practică este un verifier plasat între generatorul AI și canalul prin care mesajul ajunge la client.
Pornește de la documentația aprobată
Verifierul nu trebuie să întrebe internetul dacă politica firmei este corectă. El primește un set controlat de surse: proceduri, condiții comerciale, manuale și articole din baza de cunoștințe. Pentru fiecare document păstrezi identificatorul, versiunea, data intrării în vigoare, proprietarul și starea: activ, înlocuit sau retras.
La căutare, sistemul filtrează documentele după produs, piață, limbă și versiune. Această disciplină previne amestecarea instrucțiunilor vechi cu cele curente. Dacă produsele au ediții diferite, fluxul trebuie legat de o documentație versionată pentru RAG. O sursă fără versiune sau cu statut neclar nu este suficientă pentru trimiterea automată.
Răspunsul se generează numai din fragmentele recuperate. Totuși, simpla folosire a RAG nu garantează fidelitatea. NIST recomandă revizuirea și verificarea surselor și citărilor din ieșirile AI atât înainte de lansare, cât și în monitorizarea continuă. Documentația Microsoft despre groundedness descrie, la rândul ei, verificarea răspunsului față de materialul-sursă furnizat, nu verificarea adevărului universal.
Descompune răspunsul în afirmații verificabile
Înainte de expediere, verifierul separă propozițiile care pot fi controlate: prețuri, termene, compatibilități, pași de configurare, condiții de eligibilitate și promisiuni despre serviciu. Formulele de politețe și tranzițiile nu au nevoie de dovadă, dar fiecare afirmație materială da.
Pentru fiecare afirmație, sistemul atașează pasajul exact care o susține, identificatorul documentului și versiunea acestuia. Legătura trebuie să fie suficient de precisă pentru ca un agent uman să o poată verifica rapid. Un scor semantic sau apariția acelorași cuvinte nu demonstrează singure că afirmația rezultă din pasaj. Trebuie verificată și eventuala contradicție: sursa poate indica un termen, iar răspunsul poate prezenta altul.
W3C PROV oferă un model standard pentru descrierea provenienței și a relațiilor precum derivarea ori revizia. O firmă mică nu trebuie să implementeze întregul standard, dar poate aplica ideea: fiecare afirmație trebuie să aibă o urmă clară către sursa și revizia folosite. Calitatea acestei urme depinde de o bază de cunoștințe cu răspunsuri și limite explicite.
Stabilește decizii acceptă, blochează și escaladează
Regulile trebuie scrise înainte de automatizare și aplicate consecvent:
- Acceptă numai dacă toate afirmațiile materiale sunt susținute de pasaje active, compatibile cu produsul și versiunea clientului, iar verifierul nu găsește contradicții.
- Blochează trimiterea dacă lipsește dovada, sursa este retrasă, răspunsul contrazice pasajul sau include detalii care nu apar în documentația aprobată. Mesajul rămâne ciornă; nu se „repară” prin presupuneri.
- Escaladează către un om când documentele se contrazic, întrebarea cere o excepție, lipsesc date de context ori consecința unei erori este ridicată. Acest traseu poate continua într-un sistem de escaladare bazat pe risc și verificabilitate.
Pragurile diferă după utilizare. Pentru o informație generală poate fi suficientă confirmarea într-un articol activ; pentru facturare, anularea unui contract sau o excepție comercială este prudentă aprobarea umană. Verifierul trebuie să returneze motivul deciziei, nu doar un scor opac.
Păstrează o urmă de audit utilă
Pentru fiecare răspuns, jurnalul ar trebui să conțină afirmațiile extrase, pasajele asociate, documentele și versiunile, decizia, regula aplicată, versiunile generatorului și verifierului, momentul verificării și identitatea persoanei care a aprobat o escaladare. NIST SP 800-53 recomandă ca înregistrările de audit să permită stabilirea tipului, momentului, sursei și rezultatului evenimentului, precum și a entităților asociate.
Jurnalul nu trebuie transformat într-o copie nelimitată a tichetelor. Limitează accesul și perioada de păstrare, iar datele inutile pentru verificare trebuie eliminate sau mascate. Pentru pregătirea intrărilor, vezi procedura de redactare a datelor personale înainte de AI.
Ce nu poate garanta verifierul
Verifierul poate arăta că răspunsul este susținut de documentația furnizată. Nu poate garanta că documentația este actuală, completă sau corectă și nici că descompunerea a identificat fiecare afirmație relevantă. Un instrument automat poate rata contradicții ori poate bloca un răspuns valid.
De aceea, proprietarii documentelor trebuie să revizuiască sursele, echipa să testeze periodic exemple acceptate și respinse, iar cazurile incerte să ajungă la oameni. Obiectivul realist nu este eliminarea erorilor, ci oprirea răspunsurilor fără dovadă și obținerea unei urme verificabile pentru fiecare decizie.
Întrebări frecvente
Este suficient să folosim RAG pentru răspunsuri corecte?
Nu. RAG furnizează fragmente relevante, dar verifierul trebuie să compare fiecare afirmație materială cu pasajul și versiunea sursei.
Când trebuie blocat automat un răspuns?
Când lipsește dovada, sursa este retrasă, există o contradicție sau apar detalii care nu sunt în documentația aprobată. Răspunsul rămâne ciornă.
Ce informații trebuie păstrate în audit?
Afirmațiile, pasajele, documentele și versiunile, decizia, regula aplicată, versiunile componentelor, momentul verificării și aprobarea umană, dacă există.
Verifierul elimină erorile AI?
Nu. El reduce riscul răspunsurilor nesusținute, dar poate rata contradicții, iar documentația însăși poate fi incompletă sau depășită.
