Contrôler la calibration d’un modèle avec Brier et log loss

Préserver les trois probabilités et leur ordre

Pour chaque rencontre, conservez un vecteur dont les composantes correspondent toujours à victoire à domicile, nul et victoire à l'extérieur. Les valeurs doivent rester entre zéro et un et leur somme doit valoir un à la précision numérique près. Le résultat observé devient un vecteur avec un seul un et deux zéros. Vérifiez les libellés après chaque export : une inversion des colonnes domicile et extérieur peut donner des calculs formellement valides mais une évaluation entièrement fausse.

Calculer le Brier multiclasse dans une convention annoncée

Nous utilisons la somme des carrés des écarts sur les trois classes, sans division supplémentaire par deux : B = somme(pₖ − yₖ)². Cette convention donne un score par match compris entre zéro et deux. Pour p = (0,50 ; 0,30 ; 0,20) et une victoire à domicile, B = 0,25 + 0,09 + 0,04 = 0,38. Une autre normalisation peut exister dans un logiciel ; comparez uniquement des scores calculés avec la même convention et le même ensemble de matchs.

Comprendre la perte logarithmique

La perte logarithmique pour une rencontre vaut −ln(p de la classe réellement observée). Avec le même vecteur fictif, une victoire à domicile donne environ 0,693, un nul 1,204 et une victoire visiteuse 1,609. Une probabilité très faible attribuée à l'événement finalement observé est fortement pénalisée. Le logarithme de zéro n'est pas défini : les bibliothèques peuvent appliquer une protection numérique. Cette protection doit être documentée et ne doit pas servir à masquer un modèle qui produit régulièrement des certitudes injustifiées.

Tracer une calibration sans surinterpréter de petites cases

Pour la classe victoire à domicile, regroupez par exemple les matchs dans des intervalles de probabilités fixés à l'avance. Comparez dans chaque groupe la probabilité moyenne et la fréquence effectivement observée, en affichant le nombre de matchs. Une fréquence calculée sur cinq rencontres reste très incertaine. Recommencez pour le nul et la victoire extérieure. Une courbe visuellement proche de la diagonale sur peu de données ne prouve pas une bonne calibration générale ; les effectifs et la période de test sont indispensables.

Distinguer calibration et pouvoir de séparation

Un modèle qui annonce toujours les fréquences moyennes du championnat peut être relativement calibré tout en distinguant peu les rencontres. À l'inverse, un modèle qui sépare bien les contextes peut annoncer des probabilités trop extrêmes. Brier et log loss ne mesurent pas uniquement la calibration : leurs variations peuvent refléter d'autres dimensions de qualité. Comparez donc une référence simple, les scores probabilistes et les courbes de fiabilité. Une amélioration d'un seul chiffre ne suffit pas à conclure que tous les aspects du modèle progressent.

Réserver des données différentes pour recalibrer et tester

Si vous ajustez une transformation des probabilités, estimez-la sur une période distincte de celle utilisée pour le test final. Sinon, la courbe de calibration bénéficie des mêmes résultats qui ont servi à la corriger. Respectez aussi l'ordre temporel : une saison future ne doit pas aider à recalibrer des prévisions présentées comme anciennes. Rapportez les performances avant et après transformation sur exactement les mêmes matchs de test. Conservez les deux séries de probabilités pour que la comparaison soit reproductible.

Liste de contrôle pratique

Commencez par contrôler chaque vecteur de probabilités : trois valeurs entre zéro et un, dans un ordre de classes fixe, dont la somme vaut un à la tolérance numérique près. Associez ensuite l'issue observée à ce même ordre. Une erreur de correspondance entre domicile et extérieur produit un score mathématiquement calculable mais sans rapport avec la qualité réelle des probabilités publiées.

1. Vérifier l’ordre des classes et la somme des probabilités.
2. Annoncer la convention utilisée pour le Brier multiclasse.
3. Contrôler les probabilités nulles et la protection numérique.
4. Afficher les effectifs de chaque groupe de calibration.
5. Séparer apprentissage, recalibration et test chronologique final.

Une seconde lecture doit retrouver les mêmes valeurs à partir des mêmes entrées, sans connaître votre conclusion. Conservez aussi les lignes rejetées et leur motif. Elles expliquent pourquoi le nombre de matchs effectivement analysés peut être inférieur au nombre annoncé dans le calendrier.

Fixer les conventions des scores et de leur comparaison

Notre Brier additionne les trois écarts quadratiques et n'applique pas de division par deux. Il varie donc entre zéro et deux pour trois issues exclusives. D'autres présentations utilisent une autre normalisation ; comparez seulement des résultats dont la convention est identique. Pour la perte logarithmique, précisez le logarithme naturel. Une probabilité exactement nulle attribuée à l'issue observée produit une perte infinie. Si un logiciel remplace zéro par un petit seuil numérique, notez ce seuil, car il affecte les résultats des prévisions extrêmes.

Calculez les différences entre modèles sur les mêmes rencontres, dans la même fenêtre de disponibilité. Une moyenne obtenue sur un corpus différent n'est pas une comparaison contrôlée. Complétez les scores par un diagramme ou un tableau de fiabilité : probabilité moyenne, fréquence observée et nombre de matchs par groupe. Des groupes vides ne valent pas une fréquence nulle. Des groupes très petits donnent des fréquences instables. Le choix des bornes doit rester visible pour que le lecteur distingue précision réelle et effet de découpage.

Sources et vérification

• Probability calibration — scikit-learn — 2026-10-23
• Metrics and scoring — scikit-learn — 2026-10-23
• TimeSeriesSplit — scikit-learn — 2026-10-23