DeepStack: Expert-level artificial intelligence in heads-up no-limit poker

Abstract

Artificial intelligence has seen several breakthroughs in recent years, with games often serving as milestones. A common feature of these games is that players have perfect information. Poker, the quintessential game of imperfect information, is a long-standing challenge problem in artificial intelligence. We introduce DeepStack, an algorithm for imperfect-information settings. It combines recursive reasoning to handle information asymmetry, decomposition to focus computation on the relevant decision, and a form of intuition that is automatically learned from self-play using deep learning. In a study involving 44,000 hands of poker, DeepStack defeated, with statistical significance, professional poker players in heads-up no-limit Texas hold'em. The approach is theoretically sound and is shown to produce strategies that are more difficult to exploit than prior approaches.

Neural network optimtzation of algorithm DeepStack for playing in Leduc Hold’em

“…Алгоритм DeepStack DeepStack -універсальний алгоритм для великого класу розширених ігор з неповною інформацією [4]. Роботу даного алгоритму описують на прикладі по-керу.…”

“…В роботі [4] структурно мережа мала 7 прихова-них шарів. Навчання мережі проводилось за допомо-гою графічного процесору відеокарти, який значно пришвидшує необхідні розрахунки.…”

“…3, найкращим результатом виявилась мережа з 4 прихованими ша-рами та функцією активації SoftPlus. В роботі [4] та імплементації [12] в якості такої функції використо-вувалась PReLU. Причину отримання кращого результату з використанням функції SoftPlus відно-сно PReLU можна пояснити наступним: при ініціалі-зації вагів їх значення близькі до нуля, а оскільки дана функція є більш гладкою і в значені 0 її похідна є неперервною, на відмінну від PReLU, що можна спостерігати з рис.…”

“…9 відображає ефективність роботи пред-ставленого алгоритму і доводить, що для розрахунку виграшної стратегії можна використовувати неве-лику кількість параметрів, на відміну від Program1 та Program3, а також відображає, що процедура перера-хунку стратегії на кожному етапі гри і реалізація її в межах тільки наступного раунду набагато краща розглянутих при порівнянні алгоритмів. ВИСНОВКИ В роботі був розглянутий та описаний алгоритм DeepStack, який був запропонований в [4] та підіб-рана структура нейронної мережі, за допомогою якої була сформована найменш вразлива стратегія. За результатами експерименту можна сказати, що опти-мальною структурою для нейронної мережі буде 4 прихованих шари з функцією активації SoftPlus, оскі-льки значення вразливість для стратегії, розрахованої за допомогою даної мережі, має найкращий резуль-тат.…”

Boosting a Bridge Artificial Intelligence

“…[13] for Poker), with clear successes; this has reached Bridge (see the recent [10,23] and the older [22]). In [23], a deep reinforcement learning model has been designed in order to achieve automatic bid learning task in a subproblem of bidding called non competitive bidding sequences.…”