Pentru multe firme, primul calcul legat de AI pornește de la o întrebare simplă: cât costă un milion de tokeni? Problema este că un workflow real nu înseamnă doar un prompt trimis unui model. În practică, costul final apare dintr-un lanț de etape: pregătirea datelor, căutarea în documente, embeddings, reranking, inferență, așteptarea utilizatorului și, foarte des, verificarea umană.
De aici apare și prima capcană de buget. Prețul pe token este ușor de comparat în tabele, dar nu explică singur factura lunară și nici experiența utilizatorului. Dacă o companie pornește un proiect AI doar cu ideea „modelul e ieftin”, riscă să subestimeze exact componentele care fac sistemul util și sigur în producție.
Primul strat de cost rămâne cel al tokenilor. Furnizorii explică limpede că numărul de tokeni influențează costurile, rate limits și deciziile de rutare a cererilor. Cu alte cuvinte, nu contează doar răspunsul final, ci și cât text intră în sistem: instrucțiuni, istoric de conversație, documente atașate, contexte recuperate din baze interne și eventuale ieșiri intermediare. Într-un mediu business, aceste volume cresc repede, mai ales când un asistent trebuie să răspundă pe baza politicilor interne, contractelor sau bazei de cunoștințe.
Al doilea strat este cel al embeddings-urilor. În workflow-urile de tip search sau RAG, documentele trebuie transformate în reprezentări vectoriale pentru a putea fi căutate semantic. Aici costul nu vine doar din apelul inițial către modelul de embeddings, ci și din întreținerea întregului proces: reindexare când apar documente noi, refacerea vectorilor după actualizări, alegerea dimensiunii embedding-ului și stocarea lor într-o infrastructură potrivită. Pe scurt, un sistem care „știe” documentele firmei trebuie mai întâi să le pregătească și să le mențină actuale.
Al treilea strat, ignorat des în calculele optimiste, este reranking-ul. După ce un motor de căutare semantică găsește un set de documente candidate, un reranker decide care sunt cu adevărat cele mai relevante pentru întrebare. Avantajul este o calitate mai bună a răspunsului. Costul, însă, crește pentru că modelul nu mai evaluează un singur text, ci o interogare raportată la mai multe documente candidate. Documentația oficială Voyage arată clar că, la reranking, totalul de tokeni poate crește după o formulă care înmulțește tokenii query-ului cu numărul de documente și adaugă tokenii documentelor analizate. Cu cât compania trimite mai multe rezultate „la a doua verificare”, cu atât cresc atât costul, cât și timpul de răspuns.
Aici intră în joc și latența. Pentru utilizator, un sistem AI nu este evaluat doar după acuratețe, ci și după cât de repede răspunde. Documentația Anthropic definește latența ca timpul necesar pentru procesarea promptului și generarea ieșirii și separă inclusiv metrica „time to first token”, importantă pentru experiența percepută. În business, fiecare etapă adăugată într-un workflow prelungește traseul: căutare, reranking, apel la model, validări, eventuale retrimiteri. Chiar dacă fiecare componentă pare acceptabilă separat, împreună pot transforma un asistent „inteligent” într-un instrument lent, abandonat de echipă.
Mai există apoi costul cel mai puțin spectaculos, dar deseori decisiv: intervenția umană. Dacă răspunsurile trebuie verificate de suport, juridic, compliance sau un operator intern, costul real nu mai este doar tehnic, ci operațional. Un workflow AI care economisește 30 de secunde de generare, dar cere două minute de verificare umană pentru fiecare caz, poate deveni mai scump decât un proces clasic. La fel, excepțiile, escaladările și corecturile manuale trebuie bugetate de la început, nu tratate ca „detalii” de după lansare.
Pentru firmele din România, calculul sănătos ar trebui să pornească de la cost per task, nu doar cost per token. Adică: câți tokeni intră și ies, câte embeddings se generează sau se refac, câte documente sunt rerankate, cât durează răspunsul complet și cât timp petrece un om pentru validare. Abia această imagine arată dacă workflow-ul produce economie reală sau doar mută costurile dintr-o coloană în alta.
Concluzia este simplă: cel mai ieftin model din tabel nu garantează cel mai ieftin sistem în producție. Costul real al AI apare din combinația dintre volum, arhitectură, viteză și control uman. Cine măsoară aceste elemente de la început are șanse mai mari să construiască un workflow sustenabil, nu doar o demonstrație care arată bine într-un test scurt.
