Poker tegen de computer. Zeker toen ik net pokerde vond ik die pokerspelletjes erg handig waarbij je tegen een of meer virtuele tegenstanders speelt met nep geld. Het leert je de juiste procedures (fold, raise, call etc.) en de verschillende rondes in het spel.
Bovendien leer je de verschillende handen goed herkennen en je kansen in te schatten. Alleen, hoe goed zijn die tegenstanders eigenlijk? Vaak kan je kiezen tussen moeilijke en makkelijke tegenstanders. Maar hoe goed die echt zijn, wordt natuurlijk bepaald door de software van het spel. Hoe slim of dom is de kunstmatige intelligentie van die spelletjes? Als je op de computer wint van een speler op ‘hoog niveau’, wat zegt dat dan over je eigen skills? En kun je jezelf op deze manier blijven verbeteren of loop je als snel tegen beperkingen aan?
Poker tegen de computer, hoe werkt dat?
Veel mensen verwarren online poker met poker tegen de computer. De meeste online spelen fungeren eigenlijk alleen maar als een gecomputeriseerde dealer. Ze zorgen dat het spel goed verloopt, de kaarten eerlijk worden verdeeld, de inzetten op tijd worden gedaan en ze keren de winst uit. Maar het zijn nog steeds mensen die het spel tegen elkaar spelen. Bij poker tegen de computer moet de software de verschillende tegenstanders simuleren en daarvoor wordt kunstmatige intelligentie ofwel Artificial Intelligence (AI) gebruikt. Complexe software die zorgt dat de fictieve pokerspelers de juiste beslissingen nemen en inzetten doen.
AI voor poker tegen de computer
Die kunstmatige intelligentie was lang een probleem. Voor schaken en inmiddels ook go is deze software inmiddels zo geavanceerd dat topspelers het afleggen tegen de computer. Bij schaken en go is echter alle informatie aanwezig. Het bord, de stukken of stenen en hun positie. Met voldoende rekenkracht kun je vervolgens alle scenario’s doorrekenen en de beste zet bepalen.
Bij poker werkt dit echter anders. Dat is een zogenaamd onvolledig informatiespel. In tegenstelling tot schaken en go is er slechts de kennis van de eigen hand, de open kaarten op tafel, de wetenschap welke kaarten er in het spel zijn en hoeveel spelers er meedoen. Met die beperkte kennis en op basis van de acties van de tegenstanders (doen ze een call of een raise? En hoe hoog?) moet de software steeds de optimale vervolgstap bepalen. Gaat hij mee, fold hij, hoeveel wordt er ingezet?
Kunstmatige poker intelligentie
Lang werd gedacht dat deze combinatie van kansrekening en intuïtie voor computers te lastig was. Tot begin dit jaar. In het Rivers Casino Pittsburgh werden vier poker professionals (Jason Les, Dong Kim, Daniel McAulay en Jimmy Chou) uitgenodigd het op te nemen tegen Libratus. Dat is een pokersysteem dat is ontwikkeld door een AI-team van de Carnegie Mellon University. Libratus en de spelers speelden 20 dagen poker in verschillende bezettingen. De poker variant was No-Limit Texas Hold’em, wat voor de computer de meest lastige variant is. Tot verbijstering van niet alleen de pokeraars, maar zelfs de onderzoekers, won de computer overtuigend:
“I didn’t realize how good it was until today. I felt like I was playing against someone who was cheating, like it could see my cards (..) I’m not accusing it of cheating. It was just that good.” (poker professional Dong Kim)
Uiteindelijk kwam de computer met zo’n 7 ton winst overtuigend als winnaar uit het toernooi. De computer baseert zijn spel op de kennis van de kaarten die nog in het spel zijn en de acties van de tegenstanders per ronde. Wanneer folden ze, wanneer callen ze. Hoeveel zetten ze in? Tegelijkertijd kan de software zelf heel gevarieerd spelen zodat menselijke tegenstanders geen grip op het spelgedrag krijgen. Libratus toonde zich een pokeraar die akelig snel de tegenstanders kon ‘doorgronden’ terwijl hij zelf onvoorspelbaar bleef.
Bluffen met behulp van de speltheorie
Een bijzonder aspect is het computeralgoritme voor het inschatten van kansen en het ‘bluffen’. Daarbij is gebruik gemaakt van het Nash evenwicht, een onderdeel van de wiskundige speltheorie die bij meerdere deelnemers aan een spel de optimale balans tussen beloning en risico bepaalt. Dat evenwicht is vernoemd naar de wiskundige John Nash, bij het grote publiek bekend van de film ‘A Beautiful Mind’.
Spelen we in het casino binnenkort poker tegen de computer?
Ik weet niet of er op dit moment ergens een slimme whizzkid met een Libratus kloon naast zich online rijk zit te worden, maar als spel in het casino is het natuurlijk onbruikbaar. Wel maken professionele pokerspelers steeds meer gebruik van poker analyse software om hun eigen spel te verbeteren. Is deze pokersoftware in de toekomst een cruciaal hulpmiddel bij de voorbereiding van professionele pokeraars voor een toernooi? Zoals topschakers bij hun voorbereiding volledig op computers vertrouwen om openingen en spelstrategieën door te rekenen? Het worden interessante tijden.
