Le classement Elo des IA

Le classement

Plus la note est haute, plus l’IA est forte face aux autres. La moyenne des huit IA vaut 1500.

1. 1 V2 Maître Awalé 2 221 ± 88
2. 2 Esprit Ancestral 1 865 ± 58
3. 3 Sage Immuable ZAK 1 676 ± 50
4. 4 Sage Immuable SIR 1 650 ± 48
5. 5 Voyageur des Sillons 1 422 ± 42
6. 6 Stratège Probabiliste 1 334 ± 58
7. 7 Gardien des Graines 1 119 ± 60
8. 8 Semeur Novice 714 ± 95

La barre claire montre la marge de chaque note, le trait sa valeur. Quand les barres de deux IA se chevauchent, le tournoi ne permet pas de dire laquelle est la plus forte.

À quoi correspond une note

Pour se repérer, voici des paliers de niveau à l’awalé, avec la place de chacune de nos IA.

Note Elo	Niveau	Description	Nos IA
< 1 200	Débutant	Connaît les règles et sème sans encore calculer ses prises.
1 200 – 1 600	Joueur intermédiaire	Voit les prises simples et évite de laisser des trous à une ou deux graines.
1 600 – 1 800	Bon joueur	Prépare ses prises un coup à l’avance et surveille la famine.
1 800 – 2 000	Fort joueur	Calcule plusieurs coups à l’avance, garde des greniers et joue bien les finales.
2 000 – 2 200	Expert	Rarement pris en défaut : tend des pièges et compte les finales avec précision.
2 200 – 2 400	Maître	Presque sans faute, profite de chaque erreur de l’adversaire.
2 400 +	Grand maître	Le plus haut niveau de jeu, tout près du jeu parfait.

Ces paliers sont indicatifs : il n’existe pas d’échelle officielle de niveaux à l’awalé. Nos notes sont calculées entre les IA de PlayAwale, avec une moyenne fixée à 1500.

Ce que veut dire un écart

Seul l’écart entre deux notes compte : il dit quelle part des points chaque IA devrait marquer contre l’autre.

Par exemple, V2 Maître Awalé compte 356 points de plus que Esprit Ancestral : face à lui, il devrait marquer environ 89 % des points.

Comment la note se calcule

1. 1

   Les huit IA s’affrontent entre elles, sur l’ordinateur de l’éditeur et jamais sur le serveur, chacune exactement comme sur le site, avec le même temps de réflexion.

2. 2

   Les parties partent de vraies positions de début de partie, prises dans les parties jouées ici ; chacune est jouée deux fois, camps échangés.

3. 3

   Les IA de force voisine se rencontrent plus souvent : c’est entre elles que l’écart est le plus difficile à mesurer.

4. 4

   À la fin, on cherche en une seule fois les notes qui expliquent le mieux tous les résultats. Une victoire vaut un point, une partie nulle un demi.

C’est la méthode d’Arpad Elo, née aux échecs. Les notes ne sont pas ajustées partie après partie, pour que le résultat ne dépende pas de l’ordre des parties. Seul le résultat du tournoi est mis en ligne.

Tous les duels

La part des points marqués par l’IA de chaque ligne contre celle de chaque colonne.

V2 Maître Awalé		94 %	100 %	100 %	100 %	99 %	100 %	100 %
Esprit Ancestral	6 %		79 %	66 %	96 %	97 %	100 %	100 %
Sage Immuable ZAK	0 %	21 %		61 %	85 %	85 %	94 %	100 %
Sage Immuable SIR	0 %	34 %	39 %		86 %	90 %	88 %	100 %
Voyageur des Sillons	0 %	4 %	15 %	14 %		69 %	96 %	100 %
Stratège Probabiliste	1 %	3 %	15 %	10 %	31 %		78 %	100 %
Gardien des Graines	0 %	0 %	6 %	13 %	4 %	22 %		96 %
Semeur Novice	0 %	0 %	0 %	0 %	0 %	0 %	4 %

Vert : l’IA de la ligne domine ; rouge : elle est dominée ; ambre : les deux se valent.

Les notes au fil du tournoi

Au début, avec peu de parties, les notes bougent beaucoup ; elles se stabilisent à mesure que les résultats s’accumulent.

Contre les IA, contre les joueurs

La note mesure chaque IA face aux autres IA. La part des parties que les joueurs lui prennent mesure autre chose : ce qu’elle oppose aux humains.

IA	Classement Elo	Victoires des joueurs
V2 Maître Awalé	1 2 221	0,0 %
Esprit Ancestral	2 1 865	4,0 %
Sage Immuable ZAK	3 1 676	9,0 %
Sage Immuable SIR	4 1 650	11,9 %
Voyageur des Sillons	5 1 422	24,4 %
Stratège Probabiliste	6 1 334	25,0 %
Gardien des Graines	7 1 119	34,4 %
Semeur Novice	8 714	56,8 %

Une IA peut gêner davantage les joueurs que les autres IA, ou l’inverse : les deux mesures se complètent. La part des joueurs n’est donnée que si elle repose sur assez de parties.

Et les joueurs ?

Chaque joueur qui a un compte reçoit lui aussi une note Elo, sur la même échelle que les IA. Elle se calcule comme aux échecs.

1. 1

   Les parties qui comptent : contre les IA du mode solo, dont la note est celle du tournoi, et en ligne contre un joueur qui a lui aussi un compte et déjà une note. Une partie à deux sur le même écran ne compte pas.

2. 2

   Les cinq premières parties servent d’évaluation. La première note est la performance de ces parties : la note moyenne des adversaires, corrigée du score, avec deux parties nulles imaginaires contre un adversaire à 1500 pour qu’elle ne s’emballe pas sur si peu de résultats.

3. 3

   Ensuite, la note bouge après chaque partie : gagner contre plus fort que soi rapporte beaucoup, perdre contre plus faible coûte beaucoup. Elle bouge vite pendant les trente premières parties, plus lentement ensuite, et encore moins au-dessus de 2400.

4. 4

   Un abandon compte comme une défaite. Une partie quittée avant son deuxième coup est annulée : elle ne compte pas.

5. 5

   En ligne, un forfait avant le cinquième coup de chacun ne compte pas, et au plus trois parties par jour comptent contre un même adversaire.

6. 6

   Votre note se lit dans « Mes badges », avec sa courbe. Vos amis la voient sur votre profil, comme vos badges.

La marge, et ce que la note ne dit pas

Chaque note porte une marge « ± » : le calcul est refait sur un grand nombre de tournois imaginaires, tirés au hasard d’après les résultats observés, et la marge couvre 95 % des notes obtenues. Pour qu’une IA qui gagne tout n’ait pas une note infinie, chaque duel compte en plus une partie nulle fictive.

La note compare les IA entre elles ; aucune donnée de joueur n’entre dans ce calcul. Il est refait quand une IA change.

Voir comment jouent les IA Mentions légales