În vânzări, un forecast bun nu este cel care arată spectaculos într-un grafic cu date istorice, ci cel care rămâne util când intră comenzi noi, campanii noi și luni mai slabe decât se aștepta echipa. Aici apare backtesting-ul: o verificare disciplinată prin care simulezi cum s-ar fi comportat modelul AI dacă ar fi fost folosit în trecut, fără să-i arăți dinainte viitorul.
Pentru firmele mici și medii, diferența contează. Un model care „explică” perfect trecutul poate părea inteligent, dar poate eșua exact când trebuie să ajute: la estimarea vânzărilor pentru luna următoare, la planificarea stocurilor sau la stabilirea obiectivelor pentru echipa comercială.
Backtesting-ul pornește de la o regulă simplă: timpul nu se amestecă. Dacă vrei să testezi un forecast pentru trimestrul următor, modelul trebuie antrenat doar cu informații disponibile înainte de acel trimestru. Apoi predicția lui se compară cu ce s-a întâmplat în realitate. Procesul se repetă pe mai multe ferestre: antrenezi pe o perioadă, testezi pe perioada imediat următoare, muți fereastra și verifici din nou.
Această abordare este diferită de împărțirea aleatorie a datelor, folosită în alte tipuri de machine learning. Pentru serii temporale, documentația scikit-learn avertizează că metodele obișnuite de cross-validation pot duce la antrenare pe date din viitor și evaluare pe trecut. În vânzări, asta ar însemna că modelul „știe” deja lucruri pe care o firmă nu le-ar fi cunoscut la momentul deciziei.
Un test corect începe cu o întrebare practică: ce vrei să prezici, la ce orizont și cu ce date disponibile la momentul respectiv? Forecast pe 7 zile, pe o lună sau pe un trimestru nu înseamnă același lucru. Nici datele nu sunt egale: comenzi confirmate, lead-uri, bugete de campanie, sezonalitate, promoții sau întârzieri în livrare pot avea efecte diferite.
A doua regulă este să compari modelul AI cu un baseline simplu. De exemplu: „vânzările de luna viitoare vor fi similare cu luna trecută” sau „vor urma media ultimelor luni”. Dacă modelul complex nu bate constant această referință simplă, în ferestre de test curate, valoarea lui comercială este discutabilă.
Metricele trebuie alese cu grijă. O eroare medie poate ascunde probleme mari în perioade critice, cum sunt lunile cu promoții, vârfurile sezoniere sau scăderile bruște ale cererii. Pentru management, poate fi mai important să știe dacă modelul subestimează constant cererea decât să primească un scor tehnic arătos.
Un semn de alarmă este performanța prea bună pe trecut și slabă pe ferestre noi. Google explică overfitting-ul ca situația în care modelul se descurcă foarte bine pe datele de antrenare, dar prost pe exemple noi. În forecast-ul de vânzări, asta se vede când modelul urmărește impecabil curba istorică, dar ratează schimbările recente de comportament ale clienților.
Trebuie verificată și scurgerea de date. Dacă în setul de antrenare intră informații care, în realitate, apar abia după momentul predicției, testul devine inutil. Exemplele pot fi subtile: statusuri actualizate ulterior, retururi procesate după vânzare, campanii evaluate la final sau câmpuri CRM completate după închiderea oportunității.
Backtesting-ul nu garantează că modelul va prezice perfect viitorul. El spune mai degrabă dacă metoda are șanse rezonabile să generalizeze și unde se rupe. De aceea, după lansare, forecast-ul trebuie monitorizat: se compară predicțiile cu rezultatele reale, se notează perioadele atipice și se reantrenează modelul doar când există motiv clar, nu automat din inerție.
Pentru o firmă, concluzia practică este simplă: nu cumpăra și nu implementa un model AI de forecast doar pentru că arată bine pe istoricul vânzărilor. Cere teste pe ferestre temporale, comparație cu baseline, explicații despre datele folosite și rezultate separate pentru perioade normale și perioade dificile. Abia atunci poți vedea dacă AI-ul ajută la decizii viitoare sau doar povestește elegant ce s-a întâmplat deja.
