În momentul în care începi să rulezi modele AI local sau într-un mediu de producție, întrebarea nu mai este doar „ce model aleg?”, ci și „în ce format îl servesc?”. Aici apare cuantizarea: reduci precizia numerelor pentru a coborî consumul de memorie și, uneori, pentru a obține inferență mai rapidă. Dar AWQ, GPTQ și FP8 nu rezolvă exact aceeași problemă, iar comparația corectă nu se face după impresii sau după un singur prompt rulat pe fugă.
Pe scurt, AWQ și GPTQ sunt folosite frecvent pentru comprimarea agresivă a greutăților, de regulă la 4 biți, în timp ce FP8 merge pe o precizie mai mare, de 8 biți, și este relevant mai ales pe hardware care îl suportă bine. Documentația Hugging Face arată că AWQ urmărește să păstreze acea mică parte din greutăți importantă pentru performanța modelului, iar GPTQ este o tehnică de post-training quantization care caută să minimizeze eroarea la cuantizare. NVIDIA explică FP8 ca format floating point cu două variante, E4M3 și E5M2, gândite pentru echilibrul dintre precizie și interval dinamic.
Primul pas corect este să alegi un reper de bază. Compară toate variantele cu același model în BF16 sau FP16, aceleași prompturi, aceeași lungime a contextului, aceeași batch size și același hardware. Dacă schimbi două variabile deodată, rezultatul nu mai spune mare lucru. Un model AWQ pe o placă video și un model FP8 pe alt accelerator nu îți arată doar efectul cuantizării, ci și efectul platformei.
Apoi măsori memoria, dar nu doar la încărcarea modelului. În practică, trebuie urmărite cel puțin trei lucruri: memoria ocupată imediat după load, memoria în timpul generării și cât de mult crește consumul când mărești contextul sau concurența. Cu alte cuvinte, nu te interesează doar dacă modelul „pornește”, ci și dacă rămâne stabil când ai prompturi mai lungi sau mai mulți utilizatori simultan. Aici modelele 4-bit, cum sunt multe variante AWQ sau GPTQ, pot face diferența pe GPU-uri cu VRAM limitat.
Al treilea test este viteza. Nu te uita doar la „tokens pe secundă”. În producție contează și latența până la primul token, latența totală pe răspuns și comportamentul la concurență. Un format poate părea rapid într-un test scurt cu un singur prompt, dar să se degradeze când crești numărul de cereri. Dacă folosești un server de inferență precum vLLM, merită să urmărești explicit latența și throughput-ul, pentru că exact acestea decid experiența utilizatorului.
Partea pe care mulți o tratează superficial este calitatea răspunsurilor. Nu e suficient să întrebi modelul „scrie-mi un email” și să spui că diferența nu se vede. Fă un set fix de 30–50 de prompturi din cazul tău real: extragere de informații, sumarizare, răspunsuri cu format strict, întrebări tehnice, texte în română și, dacă e cazul, sarcini cu context mai lung. Pentru fiecare variantă notezi dacă răspunsul este corect, complet, coerent și stabil ca format. Dacă modelul începe să piardă detalii, să halucineze mai des sau să rateze instrucțiuni de structură, ai găsit costul real al cuantizării.
Cum interpretezi rezultatele? Dacă obiectivul principal este să încapă modelul în mai puțin VRAM, AWQ și GPTQ sunt candidați evidenți. Hugging Face menționează pentru GPTQ reducerea puternică a memoriei prin cuantizare int4, cu dequantizare în kernel în timpul inferenței. AWQ este atractiv când vrei un checkpoint 4-bit deja pregătit pentru inferență și un impact cât mai mic asupra performanței modelului. FP8, în schimb, nu comprimă la fel de agresiv ca 4-bit, dar poate oferi un compromis foarte bun între viteză și calitate pe acceleratoare compatibile, mai ales în stack-uri optimizate pentru acest format.
O regulă practică simplă este aceasta: pentru laptopuri, workstation-uri sau servere unde memoria este limita principală, începi cu AWQ sau GPTQ; pentru infrastructură AI serioasă, unde urmărești latență și throughput pe hardware modern, merită testat FP8. Dar verdictul final trebuie să vină din măsurători repetabile, nu din preferințe de comunitate.
Dacă vrei o comparație utilă, păstrează aceeași suită de teste și notează patru indicatori pentru fiecare variantă: memorie maximă, timp până la primul token, tokens pe secundă și scorul pe setul tău de prompturi. Abia atunci poți spune, onest, dacă ai câștigat suficientă viteză sau memorie fără să plătești prea mult în calitatea răspunsurilor.
Surse
- https://huggingface.co/docs/transformers/main/en/quantization/overview
- https://huggingface.co/docs/transformers/main/en/quantization/awq
- https://huggingface.co/docs/transformers/main/en/quantization/gptq
- https://docs.vllm.ai/en/latest/features/quantization/
- https://docs.vllm.ai/en/latest/features/quantization/auto_awq/
- https://docs.vllm.ai/en/latest/features/quantization/gptqmodel/
- https://developer.nvidia.com/blog/floating-point-8-an-introduction-to-efficient-lower-precision-ai-training/
