Een voetbalmodel controleren met Brier, log loss en kalibratie

Drie kansen bewaren in een vaste volgorde

Bewaar voor iedere wedstrijd een vector met steeds dezelfde volgorde: thuiswinst, gelijkspel en uitwinst. De waarden liggen tussen nul en één en tellen, op numerieke afronding na, op tot één. Zet de waargenomen uitkomst om in een vector met één een en twee nullen. Controleer de labels na iedere export. Wanneer thuis en uit per ongeluk verwisseld zijn, kunnen de formules nog correct uitgevoerd worden terwijl de inhoudelijke beoordeling volledig verkeerd is. De volgorde hoort daarom bij de opgeslagen gegevens.

De multiclass-Brier volgens een duidelijke afspraak berekenen

Hier gebruiken we de som van de gekwadrateerde afwijkingen over drie klassen, zonder extra deling door twee: B = som(pₖ − yₖ)². Daardoor ligt de score per wedstrijd tussen nul en twee. Bij p = (0,50; 0,30; 0,20) en thuiswinst krijg je B = 0,25 + 0,09 + 0,04 = 0,38. Software kan een andere normalisering toepassen. Vergelijk daarom alleen uitkomsten met dezelfde conventie, dezelfde klassendefinitie en precies dezelfde verzameling wedstrijden.

De betekenis van log loss begrijpen

Log loss is voor één wedstrijd −ln(p van de werkelijk opgetreden klasse). Met dezelfde fictieve kansen geeft thuiswinst ongeveer 0,693, gelijkspel 1,204 en uitwinst 1,609. Een zeer kleine kans toekennen aan wat uiteindelijk gebeurt, wordt sterk bestraft. De logaritme van nul is niet gedefinieerd. Bibliotheken kunnen daarom een numerieke ondergrens gebruiken. Beschrijf die instelling en gebruik ze niet om te verbergen dat een model vaak ongegronde zekerheid produceert. De kansvector moet al vóór de uitslag zijn opgeslagen.

Een kalibratiegrafiek met zichtbare groepsgroottes maken

Groepeer voor de klasse thuiswinst bijvoorbeeld wedstrijden in vooraf gekozen kansintervallen. Vergelijk binnen ieder groepje de gemiddelde aangekondigde kans met de werkelijk waargenomen frequentie. Vermeld steeds hoeveel wedstrijden meetellen. Een frequentie uit vijf ontmoetingen is zeer onzeker. Herhaal de controle voor gelijkspel en uitwinst. Een lijn die bij weinig waarnemingen toevallig dicht bij de diagonaal ligt, bewijst geen algemene betrouwbaarheid. Zonder groepsgroottes en een duidelijke testperiode is een mooie grafiek onvoldoende om de kalibratie te beoordelen.

Kalibratie en onderscheidend vermogen apart bekijken

Een model dat altijd de gemiddelde competitiefrequenties geeft, kan redelijk gekalibreerd zijn maar weinig onderscheid maken tussen wedstrijden. Een model dat contexten goed uit elkaar houdt, kan daarentegen te extreme kansen publiceren. Brier en log loss meten niet uitsluitend kalibratie; veranderingen kunnen ook samenhangen met andere kwaliteitsaspecten. Vergelijk daarom een eenvoudige referentie, de kansscores en betrouwbaarheidsgrafieken samen. Een verbetering van één getal betekent niet vanzelf dat iedere eigenschap van het model beter geworden is. Houd ook het testbestand gelijk.

Andere gegevens gebruiken voor herkalibratie en eindtoets

Wanneer je kansen met een aanvullende omzetting bijstelt, schat die omzetting op andere gegevens dan de definitieve testperiode. Anders gebruikt de kalibratiegrafiek dezelfde uitslagen die de correctie hebben gevormd. Respecteer bovendien de tijdsvolgorde. Een toekomstig seizoen mag niet helpen om kansen te corrigeren die als oude voorspellingen worden gepresenteerd. Toon voor en na de correctie de scores op exact dezelfde testwedstrijden. Bewaar beide kansreeksen, zodat een andere lezer kan controleren wat de verandering werkelijk opleverde.

Praktische controlelijst

Controleer eerst elke kansvector: drie waarden tussen nul en één, een vaste klassenvolgorde en een som die binnen numerieke tolerantie gelijk is aan één. Koppel de geobserveerde uitslag vervolgens aan precies die volgorde. Een verwisseling van thuis- en uitwinst levert nog steeds een berekenbaar getal op, maar dat getal beoordeelt niet de werkelijke kwaliteit van de gepubliceerde kansen.

1. Controleer klassevolgorde en som van de kansen.
2. Vermeld welke multiclass-Brierconventie is gebruikt.
3. Controleer nulkansen en eventuele numerieke bescherming.
4. Toon het aantal wedstrijden in iedere kalibratiegroep.
5. Scheid training, herkalibratie en definitieve chronologische test.

Een tweede lezer moet met dezelfde invoer dezelfde uitkomsten kunnen terugvinden, zonder jouw conclusie vooraf te kennen. Bewaar ook de uitgesloten rijen en de reden voor iedere uitsluiting. Zo blijft duidelijk waarom het aantal daadwerkelijk onderzochte wedstrijden kleiner kan zijn dan het aantal wedstrijden op de kalender.

Scoreconventies en vergelijkingen vastleggen

Onze Brier telt de drie gekwadrateerde fouten op zonder door twee te delen. Voor drie exclusieve uitkomsten ligt deze versie tussen nul en twee. Andere weergaven gebruiken soms een andere normalisatie. Vergelijk daarom uitsluitend getallen met dezelfde afspraak. Voor log loss gebruiken we de natuurlijke logaritme. Een kans van exact nul voor de werkelijk opgetreden uitkomst veroorzaakt een oneindige verlieswaarde. Vervangt software nul door een kleine numerieke ondergrens, vermeld die grens dan: ze beïnvloedt de bijdrage van zeer stellige maar verkeerde kansvectoren.

Bereken verschillen tussen modellen voor dezelfde ontmoetingen en hetzelfde informatiemoment. Gemiddelden over uiteenlopende verzamelingen zijn geen gecontroleerde vergelijking. Voeg een betrouwbaarheidstabel toe met gemiddelde voorspelde kans, waargenomen frequentie en aantal wedstrijden per groep. Een lege groep heeft geen frequentie van nul. Een groep met weinig wedstrijden geeft een onstabiele frequentie. Bewaar de groepsgrenzen, zodat de lezer werkelijke nauwkeurigheid kan onderscheiden van een effect van de gekozen indeling. Het opnieuw indelen na elke ongunstige uitkomst maakt de voorstelling moeilijker onafhankelijk te beoordelen.

Bronnen en controle

• Probability calibration — scikit-learn — 2026-10-23
• Metrics and scoring — scikit-learn — 2026-10-23
• TimeSeriesSplit — scikit-learn — 2026-10-23