Рейтинг Эло искусственного интеллекта

Рейтинг

Чем выше рейтинг, тем сильнее ИИ против остальных. Среднее восьми ИИ — 1500.

1. 1 V2 Мастер Авале 2 221 ± 88
2. 2 Древний Дух 1 865 ± 58
3. 3 Непоколебимый Мудрец ZAK 1 676 ± 50
4. 4 Непоколебимый Мудрец SIR 1 650 ± 48
5. 5 Путешественник Борозд 1 422 ± 42
6. 6 Вероятностный стратег 1 334 ± 58
7. 7 Хранитель зёрен 1 119 ± 60
8. 8 Новичок-сеятель 714 ± 95

Светлая полоса показывает погрешность каждого рейтинга, черта — его значение. Когда полосы двух ИИ перекрываются, турнир не позволяет сказать, какой сильнее.

Что означает рейтинг

Чтобы проще было ориентироваться, вот уровни игры в авале — и место каждого из наших ИИ.

Рейтинг Эло	Уровень	Описание	Наши ИИ
< 1 200	Новичок	Знает правила и сеет, ещё не рассчитывая взятия.
1 200 – 1 600	Игрок среднего уровня	Видит простые взятия и не оставляет лунок с одним-двумя семенами.
1 600 – 1 800	Хороший игрок	Готовит взятия на ход вперёд и следит за голодом.
1 800 – 2 000	Сильный игрок	Считает на несколько ходов вперёд, держит амбары и хорошо играет эндшпили.
2 000 – 2 200	Эксперт	Редко ошибается: ставит ловушки и точно считает эндшпили.
2 200 – 2 400	Мастер	Почти без ошибок, использует каждый промах соперника.
2 400 +	Гроссмейстер	Высший уровень игры, очень близкий к безупречной игре.

Эти уровни ориентировочные: официальной шкалы уровней в авале нет. Наши рейтинги рассчитаны между ИИ PlayAwale, со средним значением 1500.

Что означает разница

Значение имеет только разница между двумя рейтингами: она показывает, какую долю очков каждый ИИ должен набрать против другого.

Например, у V2 Мастер Авале на 356 очков больше, чем у Древний Дух: против него V2 Мастер Авале должен набрать около 89 % очков.

Как рассчитывается рейтинг

1. 1

   Восемь ИИ играют друг с другом на компьютере издателя, никогда на сервере, каждый в точности как на сайте, с тем же временем на обдумывание.

2. 2

   Партии начинаются с настоящих позиций начала партии, взятых из партий, сыгранных здесь; каждую играют дважды, поменявшись сторонами.

3. 3

   ИИ схожей силы встречаются чаще: именно между ними разницу измерить труднее всего.

4. 4

   В конце за один раз ищут рейтинги, которые лучше всего объясняют все результаты. Победа приносит одно очко, ничья — половину.

Это метод Арпада Эло, пришедший из шахмат. Рейтинги не корректируют после каждой партии, чтобы результат не зависел от порядка партий. Публикуется только результат турнира.

Все поединки

Доля очков, которые ИИ каждой строки набрал против ИИ каждого столбца.

V2 Мастер Авале		94 %	100 %	100 %	100 %	99 %	100 %	100 %
Древний Дух	6 %		79 %	66 %	96 %	97 %	100 %	100 %
Непоколебимый Мудрец ZAK	0 %	21 %		61 %	85 %	85 %	94 %	100 %
Непоколебимый Мудрец SIR	0 %	34 %	39 %		86 %	90 %	88 %	100 %
Путешественник Борозд	0 %	4 %	15 %	14 %		69 %	96 %	100 %
Вероятностный стратег	1 %	3 %	15 %	10 %	31 %		78 %	100 %
Хранитель зёрен	0 %	0 %	6 %	13 %	4 %	22 %		96 %
Новичок-сеятель	0 %	0 %	0 %	0 %	0 %	0 %	4 %

Зелёный: ИИ строки превосходит; красный: уступает; янтарный: силы равны.

Рейтинги по ходу турнира

Вначале, когда партий мало, рейтинги сильно колеблются; они устанавливаются по мере того, как накапливаются результаты.

Против ИИ, против игроков

Рейтинг измеряет каждый ИИ против других ИИ. Доля партий, которые у него выигрывают игроки, измеряет другое: что он противопоставляет людям.

ИИ	Рейтинг Эло	Победы игроков
V2 Мастер Авале	1 2 221	0,0 %
Древний Дух	2 1 865	4,0 %
Непоколебимый Мудрец ZAK	3 1 676	9,0 %
Непоколебимый Мудрец SIR	4 1 650	11,9 %
Путешественник Борозд	5 1 422	24,4 %
Вероятностный стратег	6 1 334	25,0 %
Хранитель зёрен	7 1 119	34,4 %
Новичок-сеятель	8 714	56,8 %

ИИ может доставлять игрокам больше хлопот, чем другим ИИ, или наоборот: эти два измерения дополняют друг друга. Доля игроков показана, только если она опирается на достаточное число партий.

А игроки?

Каждый игрок с аккаунтом тоже получает рейтинг Эло — на той же шкале, что и ИИ. Он рассчитывается, как в шахматах.

1. 1

   Зачётные партии: против ИИ в режиме соло, чей рейтинг взят из турнира, и онлайн против игрока, у которого тоже есть аккаунт и уже есть рейтинг. Партия вдвоём на одном экране не засчитывается.

2. 2

   Первые пять партий — это оценка. Первый рейтинг — это результативность в этих партиях: средний рейтинг соперников, скорректированный на результат, с двумя воображаемыми ничьими против соперника с рейтингом 1500, чтобы он не взлетел на столь малом числе результатов.

3. 3

   Дальше рейтинг меняется после каждой партии: победа над более сильным даёт много, поражение от более слабого стоит много. Он меняется быстро в первые тридцать партий, затем медленнее, а выше 2400 — ещё меньше.

4. 4

   Сдача засчитывается как поражение. Партия, покинутая до её второго хода, аннулируется: она не засчитывается.

5. 5

   Онлайн сдача до пятого хода каждого игрока не засчитывается, а против одного и того же соперника засчитывается не больше трёх партий в день.

6. 6

   Ваш рейтинг и его график видны в разделе «Мои значки». Ваши друзья видят рейтинг в вашем профиле, как и ваши значки.

Погрешность, и чего рейтинг не говорит

У каждого рейтинга есть погрешность «±»: расчёт повторяют на большом числе воображаемых турниров, случайно разыгранных по наблюдаемым результатам, и погрешность охватывает 95 % полученных рейтингов. Чтобы ИИ, выигрывающий всё, не получил бесконечного рейтинга, каждая пара соперников дополнительно получает одну воображаемую ничью.

Рейтинг сравнивает ИИ между собой; никакие данные игроков в этот расчёт не входят. Его повторяют, когда какой-либо ИИ меняется.

Посмотреть, как играют ИИ Правовая информация