În trainingul modelelor AI, alegerea între BF16 și FP16 nu este doar o setare de performanță. Este o decizie care poate ascunde sau preveni erori numerice: overflow, underflow, valori NaN/Inf și pierderi care par stabile până când modelul începe să învețe greșit. Pentru echipele care antrenează LLM-uri, modele de computer vision sau sisteme recomandatoare, verificarea acestor semnale trebuie făcută înainte de rulări lungi și costisitoare.
Diferența esențială este domeniul numeric. FP16, formatul half precision IEEE, are interval mai îngust decât FP32: TensorFlow documentează că valorile peste 65504 devin infinit, iar valorile foarte mici, sub aproximativ 6,0 × 10^-8, pot ajunge zero. De aceea, în FP16 apar frecvent două probleme: gradientul poate exploda în Inf/NaN sau poate dispărea prin underflow. BF16 folosește tot 16 biți, dar păstrează un domeniu numeric apropiat de FP32, cu mai puțină precizie în mantisă. Google Cloud TPU notează explicit că bfloat16 are același dynamic range ca float32, dar ocupă jumătate din memorie.
Consecința practică: BF16 este, de regulă, mai tolerant la overflow și underflow decât FP16, mai ales la training de modele mari. Nu înseamnă că BF16 este „imun” la instabilitate. Precizia mai mică poate amplifica zgomotul numeric în operații sensibile, iar documentația Google arată că, pe TPU, conversia BF16 poate transforma subnormalele în zero și poate produce Inf la overflow. Cu alte cuvinte, BF16 reduce o clasă de riscuri, dar nu elimină obligația de monitorizare.
Primul semnal de urmărit este apariția valorilor nefinite. NVIDIA recomandă ca overflow-ul în mixed precision să fie detectat prin inspectarea gradientelor calculate: dacă apar Inf sau NaN, actualizarea ponderilor poate deteriora ireversibil modelul. În practică, echipa ar trebui să urmărească periodic proporția de gradienți NaN/Inf, normele gradientelor, pierderea pe batch și pierderea de validare. O creștere bruscă a normei gradientului, urmată de loss NaN, indică deseori overflow sau un learning rate prea agresiv.
Al doilea semnal este underflow-ul, mai greu de observat. În FP16, gradientele mici pot deveni zero, iar modelul pare că rulează normal, dar anumite straturi nu mai învață. NVIDIA explică rolul loss scaling: înmulțești loss-ul înainte de backpropagation pentru a muta gradientele mici în intervalul reprezentabil, apoi le readuci la scară înainte de update. TensorFlow arată că mixed_float16 folosește loss scaling pentru a evita underflow-ul, în timp ce mixed_bfloat16 nu are, în mod normal, aceeași nevoie. Dacă folosești FP16 și vezi că multe norme de gradient sunt zero sau că loss scale-ul scade repetat, problema trebuie investigată înainte de a continua trainingul.
Al treilea semnal este instabilitatea între rulări. Același model, aceleași date și același seed ar trebui să producă variații acceptabile, nu diferențe masive de convergență. Pentru BF16 versus FP16, merită făcut un test scurt de tip smoke test: câteva sute sau mii de pași în FP32, FP16 și BF16, comparând curbele de loss, norma gradientului, acuratețea preliminară și frecvența valorilor NaN/Inf. Nu cauți scor final, ci comportament numeric sănătos.
Frameworkurile moderne oferă indicii utile. În PyTorch, AMP se bazează pe autocast și GradScaler pentru FP16, iar ecosistemul Hugging Face Accelerate permite alegerea modului de mixed precision, inclusiv fp16 sau bf16. DeepSpeed expune parametri pentru FP16 precum loss_scale, initial_scale_power, loss_scale_window și min_loss_scale, tocmai pentru controlul loss scaling-ului dinamic. Dacă aceste valori oscilează violent sau ajung la minim, este un avertisment, nu o simplă statistică de log.
Recomandarea defensivă este simplă: tratează precizia ca pe o ipoteză de validat, nu ca pe o optimizare automată. Pentru GPU-uri sau TPU-uri compatibile, începe cu BF16 când modelul și frameworkul îl suportă bine, mai ales la modele mari. Folosește FP16 când ai constrângeri hardware sau performanță mai bună, dar activează loss scaling, clipping rezonabil al gradientelor și monitorizare pentru NaN/Inf. Păstrează un baseline scurt în FP32 pentru comparație.
Înainte de trainingul complet, setează praguri de oprire: loss nefinita, gradient norm anormal, procent mare de gradienți zero, scădere repetată a loss scale-ului sau divergență față de baseline. Aceste verificări costă puțin, dar pot salva zile de GPU și un model compromis numeric. Mixed precision este o unealtă excelentă; fără verificări, devine doar o modalitate mai rapidă de a obține un rezultat greșit.

















































