Dacă construiești un asistent AI care citește documente, ține minte preferințe, cheamă tool-uri și vorbește cu alte servicii, nu mai securizezi doar un model. Securizezi un flux întreg de date și decizii. Aici intră threat modeling: exercițiul prin care identifici ce active protejezi, unde sunt granițele de încredere, cum pot circula datele sensibile și ce controale pui înainte ca aplicația să ajungă în producție.
Ce trebuie cartografiat mai întâi
Pentru o aplicație agentică, diagrama de bază nu începe cu modelul, ci cu traseul informației. De regulă ai: input de la utilizator, instrucțiuni de sistem, documente încărcate sau RAG, memorie pe termen scurt în contextul conversației, memorie pe termen lung într-o bază de date, tool-uri locale sau remote, eventual servere MCP și unul sau mai mulți furnizori de modele. Dacă nu desenezi acest flux cap-coadă, ratezi exact locurile unde datele pot fi expuse, alterate sau scoase din perimetrul pe care îl controlezi.
Unde apare riscul în memorie
În aplicațiile agentice, memoria este utilă, dar și sensibilă. OWASP tratează deja memoria și contextul ca suprafețe reale de atac, nu ca simple funcții de produs. Memoria pe termen scurt poate prelua date sensibile direct în context: nume, facturi, ticket-uri, fragmente din e-mailuri sau chei copiate accidental. Memoria pe termen lung adaugă alte probleme: retenție prea mare, amestec între clienți, profilare excesivă, date stale și chiar „poisoning”, adică introducerea unor informații care vor influența răspunsurile viitoare. Practic, orice lucru memorat trebuie tratat ca activ cu proprietar, scop, durată și reguli de ștergere.
MCP și tool-urile schimbă modelul de risc
Model Context Protocol promite o conectare mai curată la resurse și tool-uri, dar adaugă și un nou strat de încredere. Specificația MCP subliniază că descrierile de tool-uri trebuie tratate ca neîncrezute dacă nu vin dintr-o sursă de încredere și că host-ul trebuie să obțină consimțământ explicit înainte de a invoca un tool. Tradus practic: nu presupune că un server MCP este sigur doar pentru că răspunde corect. Verifică cine îl operează, ce poate accesa, cum se autentifică, ce loghează și unde trimite datele. Separă tool-urile de citire de cele cu efecte de scriere și evită să dai agentului acces universal doar pentru comoditate.
Punctele clasice de exfiltrare
Exfiltrarea nu înseamnă doar „modelul a spus un secret”. Într-o aplicație agentică, datele pot ieși prin prompturi trimise către furnizorul LLM, prin output-ul unui tool, prin loguri de debugging, analytics, webhook-uri, exporturi de fișiere, erori verbose sau integrații third-party. Un caz frecvent este combinarea mai multor surse aparent inofensive: conversație, CRM, e-mail și drive. Separat par banale; împreună pot reconstrui informații comerciale sensibile sau date personale. De aceea, threat modeling-ul bun urmărește nu doar un singur leak, ci și corelarea datelor între componente.
Controale defensive care merită implementate
Pentru echipele care construiesc astfel de aplicații, măsurile utile sunt surprinzător de concrete. Clasifică datele înainte să construiești memoria. Definește ce are voie să intre în context și ce trebuie blocat sau redactat. Aplică least privilege pentru fiecare tool, cont și token. Pune aprobare umană pentru acțiuni cu impact: trimitere de e-mailuri, export, ștergere, acces la sisteme financiare sau modificări în producție. Limitează retenția memoriei și oferă ștergere clară, nu doar ascundere în interfață. Segmentează logurile, elimină datele sensibile din telemetrie și controlează egress-ul către servicii externe. În plus, testează scenarii de prompt injection, tool misuse și data mixing, nu doar acuratețea răspunsului.
Ce trebuie cerut și furnizorilor
Dacă folosești modele sau tool-uri externe, întreabă explicit cum sunt tratate datele: retenție, logging, regiune, opțiuni enterprise, audit și izolarea tenant-ului. Anthropic și alți furnizori separă clar tool-urile executate de aplicație de cele executate server-side; diferența contează juridic și operațional. Pentru firmele din România, asta înseamnă să știi exact când datele rămân în infrastructura ta și când părăsesc acest perimetru.
Threat modeling-ul nu elimină riscul. Însă îți arată unde trebuie puse frânele înainte ca un agent util să devină un canal de scurgere a datelor. Iar în zona agentică, acesta este un avantaj major: modelele pot avea comportamente emergente sau neașteptate, dar arhitectura, permisiunile și traseele de ieșire sunt tot responsabilitatea echipei care le pune în producție.
