Când antrenezi un model pe mai multe surse, tentația firească este să lași volumul să decidă singur. Dacă ai un dataset uriaș de web crawl, plus colecții mai mici de documentație tehnică, texte juridice sau conversații curate, sursa cea mai mare va împinge modelul în direcția ei. Aici intră în joc data mixture engineering: setul de decizii prin care alegi cât de des vede modelul fiecare tip de date, în ce ordine și cu ce reguli, astfel încât obiectivul final să nu fie îngropat sub „zgomotul” celui mai mare corp de text.
Ideea nu este nouă, dar a devenit foarte importantă în antrenarea modelelor moderne. Lucrarea T5 a popularizat folosirea unor „mixture rates” și a arătat că felul în care combini sursele influențează serios rezultatul, nu doar cantitatea totală de date. Mai recent, lucrarea DoReMi merge și mai departe: arată că proporțiile dintre domenii pot fi optimizate și că aceste alegeri pot îmbunătăți performanța și eficiența antrenării.
Primul principiu este simplu: nu trata ponderea ca pe o copie fidelă a mărimii datasetului. Dacă un set are de zece ori mai multe exemple decât altul, asta nu înseamnă automat că trebuie să apară de zece ori mai des în training. În practică, echipele folosesc weighting sau sampling controlat: stabilesc proporții relative între surse, apoi extrag exemple astfel încât modelul să vadă mai des datele importante pentru obiectiv. Documentația MosaicML, de exemplu, arată explicit mai multe moduri de amestecare, inclusiv ponderi relative, upsampling, downsampling și alegerea unui număr fix de mostre pe epocă.
A doua regulă este să separi calitatea de volum. Un dataset mai mic, dar curat și apropiat de sarcina finală, poate merita o pondere disproporționat de mare. Dacă antrenezi un model care trebuie să scrie mai bine în română juridică sau să răspundă pe teme tehnice, datele relevante pentru acel stil sau domeniu nu ar trebui lăsate să se piardă într-un ocean de text generic. Cu alte cuvinte, mixture engineering nu înseamnă „egal pentru toți”, ci „potrivit pentru scop”.
Un alt instrument util este sampling-ul temperat, adică o formulă prin care micșorezi avantajul dataseturilor foarte mari fără să le elimini. Exact aici apare una dintre ideile importante din T5: nu ești obligat să lași proporțiile brute să dicteze complet distribuția de antrenare. Poți să păstrezi diversitatea unei surse mari, dar să-i reduci capacitatea de a domina tot modelul.
Al treilea element este curriculum-ul. Uneori nu păstrezi aceleași ponderi pe tot parcursul antrenării. Poți începe cu date mai generale pentru stabilitate, apoi crești treptat ponderea surselor specializate. În alte cazuri faci invers: pornești de la date curate și bine filtrate, iar mai târziu introduci mai multă varietate. Nu există o rețetă universală, iar alegerea depinde de arhitectură, bugetul de antrenare și tipul de comportament urmărit.
La fel de important este controlul duplicatelor. Lucrarea Deduplicating Training Data Makes Language Models Better arată că repetițiile și exemplele aproape identice pot distorsiona puternic antrenarea. Dacă o sursă mare conține multe duplicate, nu doar că domină numeric, dar domină și artificial. De aceea, înainte să reglezi ponderile, trebuie să cureți cât poți de bine datele și să verifici cât de repetitiv este fiecare subset.
O greșeală frecventă este să te uiți doar la scorul total. Un amestec poate părea bun în medie, dar să strice exact domeniul care te interesează. De aceea, evaluarea ar trebui făcută separat pe subseturi, domenii sau taskuri relevante. Dacă ai un blend între web general, cod, documentație și conținut conversațional, verifică fiecare componentă în parte. DoReMi insistă tocmai pe ideea că domeniile reacționează diferit la ponderi diferite.
Mai există și partea de monitorizare operațională: distribuții de tokeni, echilibrul limbilor, lungimea exemplelor, rata de repetiție și deviațiile dintre ce ai planificat și ce ajunge efectiv în batch-uri. Unele instrumente permit inclusiv batch-uri stratificate, tocmai ca proporțiile stabilite să nu rămână doar „corecte în medie”, ci să fie respectate mai strict în timpul antrenării.
Concluzia utilă este aceasta: data mixture engineering nu este un artificiu cosmetic, ci una dintre pârghiile care decid ce învață modelul și ce ignoră. Dacă vrei ca sursa cea mai mare să nu acapareze tot trainingul, nu te baza pe volum, ci pe design: ponderi explicite, sampling controlat, deduplicare, evaluare pe subseturi și ajustări treptate. Iar dacă două echipe folosesc aceleași dataseturi, dar proporții diferite, este foarte posibil să obțină modele cu comportamente diferite.
