De Elo-rating van de AI’s

Het klassement

Hoe hoger de rating, hoe sterker de AI tegen de andere. Het gemiddelde van de acht AI’s is 1500.

1. 1 V2 Awalé-Meester 2.221 ± 88
2. 2 Voorouderlijke Geest 1.865 ± 58
3. 3 Onwrikbare Wijze ZAK 1.676 ± 50
4. 4 Onwrikbare Wijze SIR 1.650 ± 48
5. 5 Zwerver der Voren 1.422 ± 42
6. 6 Probabilistische Strateeg 1.334 ± 58
7. 7 Hoeder van de Zaden 1.119 ± 60
8. 8 Beginnende Zaaier 714 ± 95

De lichte balk toont de marge van elke rating, het streepje de waarde. Als de balken van twee AI’s elkaar overlappen, kan het toernooi niet zeggen welke de sterkste is.

Wat een rating betekent

Om je te oriënteren: hier zijn speelniveaus bij awalé, met de plaats van elk van onze AI’s.

Elo-rating	Niveau	Omschrijving	Onze AI’s
< 1.200	Beginner	Kent de regels en zaait zonder zijn veroveringen al te berekenen.
1.200 – 1.600	Gemiddelde speler	Ziet eenvoudige veroveringen en laat geen kuiltjes met één of twee zaden liggen.
1.600 – 1.800	Goede speler	Bereidt veroveringen één zet vooruit voor en let op de hongersnood.
1.800 – 2.000	Sterke speler	Rekent meerdere zetten vooruit, houdt graanschuren aan en speelt eindspelen goed.
2.000 – 2.200	Expert	Zelden te betrappen: zet vallen en telt eindspelen nauwkeurig.
2.200 – 2.400	Meester	Bijna foutloos, benut elke fout van de tegenstander.
2.400 +	Grootmeester	Het hoogste speelniveau, heel dicht bij perfect spel.

Deze niveaus zijn een houvast: er bestaat geen officiële niveauschaal voor awalé. Onze ratings worden berekend tussen de AI’s van PlayAwale, met een gemiddelde van 1500.

Wat een verschil betekent

Alleen het verschil tussen twee ratings telt: het zegt welk deel van de punten elke AI tegen de andere zou moeten halen.

Zo heeft V2 Awalé-Meester 356 punten meer dan Voorouderlijke Geest: daartegen zou V2 Awalé-Meester ongeveer 89% van de punten moeten halen.

Hoe de rating wordt berekend

1. 1

   De acht AI’s spelen tegen elkaar op de computer van de uitgever, nooit op de server, elk precies zoals op de site, met dezelfde bedenktijd.

2. 2

   De partijen beginnen vanuit echte beginstellingen uit partijen die hier gespeeld zijn; elke stelling wordt twee keer gespeeld, met verwisselde kanten.

3. 3

   AI’s van vergelijkbare sterkte treffen elkaar vaker: daar is het verschil het moeilijkst te meten.

4. 4

   Aan het eind worden in één keer de ratings gezocht die alle uitslagen het best verklaren. Een overwinning is één punt waard, remise een half.

Dit is de methode van Arpad Elo, gebruikt bij het schaken. De ratings worden niet partij na partij bijgesteld, zodat de uitkomst niet van de volgorde van de partijen afhangt. Alleen de uitslag van het toernooi wordt gepubliceerd.

Alle duels

Het deel van de punten dat de AI van elke rij haalt tegen die van elke kolom.

V2 Awalé-Meester		94%	100%	100%	100%	99%	100%	100%
Voorouderlijke Geest	6%		79%	66%	96%	97%	100%	100%
Onwrikbare Wijze ZAK	0%	21%		61%	85%	85%	94%	100%
Onwrikbare Wijze SIR	0%	34%	39%		86%	90%	88%	100%
Zwerver der Voren	0%	4%	15%	14%		69%	96%	100%
Probabilistische Strateeg	1%	3%	15%	10%	31%		78%	100%
Hoeder van de Zaden	0%	0%	6%	13%	4%	22%		96%
Beginnende Zaaier	0%	0%	0%	0%	0%	0%	4%

Groen: de AI van de rij domineert; rood: ze wordt gedomineerd; amber: ze zijn aan elkaar gewaagd.

De ratings tijdens het toernooi

In het begin, met weinig partijen, bewegen de ratings veel; ze worden stabieler naarmate de uitslagen zich opstapelen.

Tegen de AI’s, tegen de spelers

De rating meet elke AI tegen de andere AI’s. Het deel van de partijen dat spelers ertegen winnen, meet iets anders: wat ze mensen te bieden heeft.

AI	Elo-klassement	Winst van spelers
V2 Awalé-Meester	1 2.221	0,0%
Voorouderlijke Geest	2 1.865	4,0%
Onwrikbare Wijze ZAK	3 1.676	9,0%
Onwrikbare Wijze SIR	4 1.650	11,9%
Zwerver der Voren	5 1.422	24,4%
Probabilistische Strateeg	6 1.334	25,0%
Hoeder van de Zaden	7 1.119	34,4%
Beginnende Zaaier	8 714	56,8%

Een AI kan spelers meer dwarszitten dan de andere AI’s, of juist minder: de twee maten vullen elkaar aan. Het deel van de spelers staat er alleen als het op genoeg partijen berust.

En de spelers?

Elke speler met een account krijgt ook een Elo-rating, op dezelfde schaal als de AI’s. Die wordt berekend zoals bij het schaken.

1. 1

   De partijen die meetellen: tegen de AI’s van de solomodus, met de rating uit het toernooi, en online tegen een speler die ook een account en al een rating heeft. Een partij met z’n tweeën op hetzelfde scherm telt niet mee.

2. 2

   De eerste vijf partijen dienen als beoordeling. De eerste rating is de prestatie in die partijen: de gemiddelde rating van de tegenstanders, gecorrigeerd voor de score, met twee denkbeeldige remises tegen een tegenstander van 1500, zodat hij niet doorschiet op zo weinig uitslagen.

3. 3

   Daarna verandert de rating na elke partij: winnen van een sterkere levert veel op, verliezen van een zwakkere kost veel. Hij beweegt snel in de eerste dertig partijen, daarna langzamer, en boven 2400 nog minder.

4. 4

   Opgeven telt als verlies. Een partij die voor de tweede zet wordt verlaten, wordt geannuleerd: die telt niet mee.

5. 5

   Online telt opgeven vóór ieders vijfde zet niet mee, en tellen hoogstens drie partijen per dag tegen dezelfde tegenstander.

6. 6

   Je rating staat in „Mijn badges”, met het verloop ervan. Je vrienden zien hem op je profiel, net als je badges.

De marge, en wat de rating niet zegt

Elke rating heeft een marge „±”: de berekening wordt herhaald op een groot aantal denkbeeldige toernooien, willekeurig getrokken op basis van de waargenomen uitslagen, en de marge dekt 95% van de verkregen ratings. Om te voorkomen dat een AI die alles wint een oneindige rating krijgt, telt elk duel ook één denkbeeldige remise mee.

De rating vergelijkt de AI’s met elkaar; er gaan geen spelersgegevens in deze berekening. Ze wordt opnieuw gedaan als een AI verandert.

Bekijk hoe de AI’s spelen Juridische informatie