Самостоятельно играть ИИ на той же MCTS?

Question

Я недавно пытался играть с реализацией MCTS для простой настольной игры. Я хотел бы заставить ИИ играть сам с собой, чтобы собрать несколько примеров прохождения. Я бы подумал, что смогу заставить их использовать одно и то же дерево MCTS (для лучшей производительности). Или так это выглядит.

Но так ли это? Или мне нужно 2 отдельных дерева для обоих ИИ с отдельными данными о выигрышах / играх для правильного поведения?

Answer 1

Если вы играете самостоятельно и строите дерево одинаково для обоих игроков, у дерева не будет никакого смещения - вы можете использовать его повторно для обоих игроков. Но если игроки строят дерево MCTS так, как указано c для конкретного игрока, вам нужно будет перестроить дерево. В этом случае вам нужно сохранить два дерева, по одному для каждого игрока, и каждый игрок может повторно использовать свое собственное дерево, но не более того.

Некоторые вещи для анализа, если вы пытаетесь выяснить это :

• Есть ли в игре скрытая информация? (Что-то, что один игрок знает, а другой - нет.) В этом случае вы не сможете повторно использовать дерево, потому что будете передавать личную информацию другому игроку.
• Зависит ли ваша игра от игрок на root дерева MCTS?
• Есть ли у вас какие-либо правила для обрезки ходов от любого игрока, которые не применяются симметрично?
• Оцениваете ли вы состояния таким образом, чтобы не симметрично c между игроками?
• Вы выполняете какую-либо рандомизацию для игроков?

Если ни один из них не верен, вы, вероятно, можете повторно использовать дерево.