Gefangenendilemma

Wenn zwei Spieler Gefangenendilemma mehr als einmal hintereinander spielen und sie frühere Aktionen ihres Gegners erinnern und ihre Strategie entsprechend ändern, wird das Spiel iteriert Gefangenendilemma genannt.,

Zusätzlich zum obigen allgemeinen Formular erfordert die iterative Version auch, dass 2 R > T + S {\displaystyle 2R>T+S} , um zu verhindern, dass abwechselnde Zusammenarbeit und Defektion eine größere Belohnung als gegenseitige Zusammenarbeit ergeben.

Das iterierte Gefangenendilemma-Spiel ist grundlegend für einige Theorien der menschlichen Zusammenarbeit und des Vertrauens. Unter der Annahme, dass das Spiel Transaktionen zwischen zwei Personen modellieren kann, die Vertrauen erfordern, kann das kooperative Verhalten in Populationen durch eine Mehrspieler-Version des Spiels modelliert werden., Es hat folglich im Laufe der Jahre viele Gelehrte fasziniert. 1975 schätzten Grofman und Pool die Anzahl der ihm gewidmeten wissenschaftlichen Artikel auf über 2.000. Das iterierte Gefangenendilemma wurde auch als „Friedenskriegsspiel“bezeichnet.

Wenn das Spiel genau N Mal gespielt wird und beide Spieler dies wissen, ist es optimal, in allen Runden zu spielen. Das einzig mögliche Nash-Gleichgewicht ist immer defekt. Der Beweis ist überzeugend: Man könnte auch in der letzten Runde verlieren, da der Gegner keine Chance hat, sich später zu revanchieren. Daher werden beide in der letzten Kurve defekt sein., Somit könnte der Spieler auch in der vorletzten Runde defekt sein, da der Gegner in der letzten Runde defekt ist, egal was getan wird, und so weiter. Gleiches gilt, wenn die Spiellänge unbekannt ist, aber eine bekannte Obergrenze hat.

Im Gegensatz zum Standard-Gefangenendilemma ist die Defektionsstrategie im iterierten Gefangenendilemma kontraintuitiv und kann das Verhalten menschlicher Spieler nicht schlecht vorhersagen. Innerhalb der standardökonomischen Theorie ist dies jedoch die einzig richtige Antwort., Die überrationale Strategie im iterierten Gefangenendilemma mit festem N besteht darin, gegen einen überrationalen Gegner zusammenzuarbeiten, und im Falle von großem N stimmen experimentelle Ergebnisse zu Strategien mit der überrationalen Version überein, nicht mit der spieltheoretischen rationalen.

Damit eine Zusammenarbeit zwischen spieltheoretischen rationalen Spielern entstehen kann, muss die Gesamtzahl der Runden N den Spielern unbekannt sein. In diesem Fall kann „always defect“ keine streng dominante Strategie mehr sein, sondern nur noch ein Nash-Gleichgewicht., Unter den Ergebnissen, die Robert Aumann 1959 in einem Papier zeigte, können rationale Spieler, die wiederholt für unbestimmte Zeit lange Spiele interagieren, das kooperative Ergebnis aufrechterhalten.

Laut einer experimentellen Studie aus dem Jahr 2019 im American Economic Review, in der getestet wurde, welche Strategien reale Probanden in iterierten Gefangenen-Dilemma-Situationen mit perfekter Überwachung verwendeten, waren die meisten der gewählten Strategien immer defekt, tit-for-tat und grimmiger Auslöser. Welche Strategie die Probanden gewählt haben, hing von den Parametern des Spiels ab.,

Strategy for the iterated prisoner ’s Dilemma>

Das Interesse am Iterated prisoner‘ s Dilemma (IPD) wurde von Robert Axelrod in seinem Buch The Evolution of Cooperation (1984) geweckt. Darin berichtet er von einem von ihm organisierten Turnier des N step prisoner ‚ s Dilemma (mit N fixed), bei dem die Teilnehmer immer wieder ihre gemeinsame Strategie wählen und sich an ihre vorherigen Begegnungen erinnern müssen. Axelrod lud akademische Kollegen auf der ganzen Welt ein, Computerstrategien zu entwickeln, um an einem IPD-Turnier teilzunehmen., Die Programme, die eingegeben wurden, variierten stark in algorithmischer Komplexität, anfänglicher Feindseligkeit, Fähigkeit zur Vergebung und so weiter.

Axelrod entdeckte, dass gierige Strategien, wenn sich diese Begegnungen über einen langen Zeitraum mit vielen Spielern mit jeweils unterschiedlichen Strategien wiederholten, auf lange Sicht sehr schlecht abschnitten, während altruistischere Strategien es besser machten, wie rein nach Eigeninteresse beurteilt. Er nutzte dies, um einen möglichen Mechanismus für die Entwicklung altruistischen Verhaltens aus zunächst rein egoistischen Mechanismen durch natürliche Selektion aufzuzeigen.,

Die siegreiche deterministische Strategie wurde für tat entwickelt, die Anatol Rapoport entwickelte und in das Turnier eintrat. Es war das einfachste Programm, das nur vier Zeilen BASIC enthielt, und gewann den Wettbewerb. Die Strategie besteht einfach darin, bei der ersten Iteration des Spiels zusammenzuarbeiten; Danach macht der Spieler das, was sein Gegner im vorherigen Zug getan hat. Je nach situation ist eine etwas bessere Strategie „tit for tat mit der Vergebung“. Wenn der Gegner gewinnt, kooperiert der Spieler beim nächsten Zug manchmal trotzdem mit einer geringen Wahrscheinlichkeit (etwa 1-5%)., Dies ermöglicht eine gelegentliche Erholung davon, in einem Zyklus von Defekten gefangen zu werden. Die genaue Wahrscheinlichkeit hängt von der Aufstellung der Gegner ab.

Durch die Analyse der Top-Scoring-Strategien erklärte Axelrod mehrere Bedingungen, die für den Erfolg einer Strategie erforderlich sind.

Nice Die wichtigste Bedingung ist, dass die Strategie „nett“ sein muss, das heißt, sie wird nicht defekt, bevor ihr Gegner dies tut (dies wird manchmal als „optimistischer“ Algorithmus bezeichnet)., Fast alle Top-Scoring-Strategien waren nett; Daher wird eine rein egoistische Strategie ihren Gegner aus rein eigeninteressierten Gründen zunächst nicht „betrügen“. Vergeltung Jedoch, so Axelrod, die erfolgreiche Strategie darf kein blinder Optimist sein. Es muss sich manchmal rächen. Ein Beispiel für eine Nicht-Vergeltungsstrategie ist immer die Zusammenarbeit. Dies ist eine sehr schlechte Wahl, da „böse“ Strategien solche Spieler rücksichtslos ausnutzen. Verzeihen Erfolgreiche Strategien müssen auch verzeihen., Die Spieler werden sich zwar revanchieren, aber sie werden wieder auf die Zusammenarbeit zurückgreifen, wenn der Gegner nicht weiter Fehler macht. Dies stoppt lange Läufe von Rache und Gegen Rache und maximiert die Punkte. Nicht neidisch Die letzte Qualität ist nicht neidisch, das ist nicht bestrebt, mehr als der Gegner zu punkten.

Die optimale (punktmaximierende) Strategie für das einmalige PD-Spiel ist einfach Defection; Wie oben erläutert, gilt dies unabhängig von der Zusammensetzung der Gegner., Im iterierten PD-Spiel hängt die optimale Strategie jedoch von den Strategien der wahrscheinlichen Gegner ab und davon, wie sie auf Defekte und Kooperationen reagieren. Betrachten Sie beispielsweise eine Population, in der jedes Mal jeder Fehler auftritt, mit Ausnahme einer einzelnen Person, die der Strategie von tit for tat folgt. Diese Person ist aufgrund des Verlusts in der ersten Kurve leicht benachteiligt. In einer solchen Population besteht die optimale Strategie für diese Person darin, jedes Mal Fehler zu machen., In einer Population mit einem bestimmten Prozentsatz von Always-Defectors und dem Rest, der für Tat-Spieler bestimmt ist, hängt die optimale Strategie für eine Person vom Prozentsatz und von der Länge des Spiels ab.

In der Strategie namens Pavlov, win-stay, Lose-Switch, mit einem Versagen zu kooperieren konfrontiert, wechselt der Spieler Strategie der nächsten Runde. Unter bestimmten Umständen schlägt Pavlov alle anderen Strategien, indem er Co-Spielern mit einer ähnlichen Strategie eine Vorzugsbehandlung gewährt.,

Die Ableitung der optimalen Strategie erfolgt in der Regel auf zwei Arten:

• Bayesian Nash equilibrium: Wenn die statistische Verteilung gegensätzlicher Strategien ermittelt werden kann (z.B. 50% tit für tat, 50% always cooperate), kann eine optimale Gegenstrategie analytisch abgeleitet werden.
• Monte-Carlo – Simulationen von Populationen wurden durchgeführt, bei denen Individuen mit niedrigen Werten absterben und sich solche mit hohen Werten reproduzieren (ein genetischer Algorithmus zum Finden einer optimalen Strategie). Die Mischung der Algorithmen in der Endpopulation hängt im Allgemeinen von der Mischung in der Anfangspopulation ab., Die Einführung der Mutation (zufällige Variation während der Reproduktion) verringert die Abhängigkeit von der Ausgangspopulation; empirische Experimente mit solchen Systemen neigen dazu, Ergebnisse für Tat-Spieler zu liefern (siehe zum Beispiel Chess 1988), aber es gibt keinen analytischen Beweis dafür, dass dies immer der Fall sein wird.

Obwohl tit für tat als die robusteste Grundstrategie gilt, führte ein Team der Southampton University in England beim 20th-anniversary iterated prisoner ‚ s dilemma competition eine neue Strategie ein, die sich als erfolgreicher als tit für tat erwies., Diese Strategie stützte sich auf Absprachen zwischen Programmen, um die höchste Anzahl von Punkten für ein einzelnes Programm zu erreichen. Die Universität reichte 60-Programme für den Wettbewerb ein, die sich zu Beginn durch eine Reihe von fünf bis zehn Zügen erkennen sollten. Sobald diese Anerkennung gemacht wurde, würde ein Programm immer zusammenarbeiten und das andere würde immer defekt sein, um die maximale Anzahl von Punkten für den Überläufer zu gewährleisten. Wenn das Programm erkannte, dass es einen Nicht-Live-Player spielte, würde es kontinuierlich Fehler in einem Versuch, die Punktzahl des konkurrierenden Programms zu minimieren., Infolgedessen zeigen die Ergebnisse des 2004 Prisoners ‚ Dilemma Tournament die Strategien der University of Southampton auf den ersten drei Plätzen, obwohl sie weniger Siege und viel mehr Verluste als die GRIMMIGE Strategie hatten. (In einem PD-Turnier besteht das Ziel des Spiels nicht darin, Spiele zu „gewinnen“ – das kann leicht durch häufigen Überfall erreicht werden.), Auch ohne implizite Absprachen zwischen Softwarestrategien (vom Southampton-Team ausgenutzt) ist tit for tat nicht immer der absolute Gewinner eines bestimmten Turniers; Es wäre genauer zu sagen, dass seine langfristigen Ergebnisse über eine Reihe von Turnieren seine Rivalen übertreffen. (In jedem Fall kann eine bestimmte Strategie etwas besser an die Konkurrenz angepasst werden als Tit für tat, aber tit für tat ist robuster). Gleiches gilt für die Variante Tit for tat with Forgiveness und andere optimale Strategien: An einem bestimmten Tag können sie möglicherweise nicht gegen eine bestimmte Mischung von Gegenstrategien „gewinnen“., Eine alternative Möglichkeit, es zu setzen, ist die Verwendung der darwinschen ESS-Simulation. In einer solchen Simulation wird Tit for tat fast immer dominieren, obwohl böse Strategien in und aus der Bevölkerung driften werden, weil eine Tit for Tat-Population durch nicht-Vergeltungsstrategien durchdrungen wird, die wiederum eine leichte Beute für die bösen Strategien sind. Richard Dawkins zeigte, dass hier keine statische Mischung von Strategien ein stabiles Gleichgewicht bildet und das System immer zwischen den Grenzen oszilliert.,}} Diese Strategie endete mit den ersten drei Positionen im Wettbewerb sowie einer Reihe von Positionen nach unten.

Die Southampton-Strategie nutzt die Tatsache aus, dass in diesem speziellen Wettbewerb mehrere Einsendungen zugelassen wurden und dass die Leistung eines Teams an der Leistung des Spielers mit der höchsten Punktzahl gemessen wurde (was bedeutet, dass der Einsatz aufopferungsvoller Spieler eine Form von Minmaxing war). In einem Wettbewerb, in dem man nur einen einzigen Spieler kontrollieren kann, ist Tit for tat sicherlich eine bessere Strategie., Aufgrund dieser neuen Regel hat dieser Wettbewerb auch wenig theoretische Bedeutung bei der Analyse von Single-Agent-Strategien im Vergleich zu Axelrods bahnbrechendem Turnier. Es lieferte jedoch eine Grundlage für die Analyse, wie kooperative Strategien in Multiagenten-Frameworks, insbesondere in Gegenwart von Lärm, erreicht werden können. Eigentlich, lange bevor dieses Turnier mit neuen Regeln gespielt wurde, Dawkins, in seinem Buch Das egoistische Gen, wies auf die Möglichkeit hin, dass solche Strategien gewinnen, wenn mehrere Einträge erlaubt wären, aber er bemerkte, dass Axelrod sie höchstwahrscheinlich nicht zugelassen hätte, wenn sie eingereicht worden wären., Es beruht auch auf der Umgehung von Regeln über das Dilemma des Gefangenen, da es keine Kommunikation zwischen den beiden Spielern gibt, was die Southampton-Programme wohl mit ihrer Eröffnung „Ten Move Dance“ getan haben, um sich gegenseitig zu erkennen; Dies verstärkt nur, wie wertvoll Kommunikation sein kann, um das Gleichgewicht des Spiels zu verändern.

Stochastic iterated prisoner ’s Dilemma:

In einem Stochastic iterated prisoner‘ s dilemma Game werden Strategien in Bezug auf „Kooperations-Wahrscheinlichkeiten“spezifiziert., In einer Begegnung zwischen Spieler X und Spieler Y, X ‚ s Strategie wird durch eine Reihe von Wahrscheinlichkeiten P der Zusammenarbeit mit Y angegeben Y. P ist eine Funktion der Ergebnisse ihrer früheren Begegnungen oder eine Teilmenge davon. Wenn P nur eine Funktion ihrer letzten n Begegnungen ist, wird es als „Memory-n“ – Strategie bezeichnet., Eine Memory-1-Strategie wird dann durch vier Kooperationswahrscheinlichkeiten angegeben: P = { P c c , P c d , P d c,P d d } {\displaystyle P=\{P_{cc}, P_{cd}, P_{dc}, P_{dd}\}}, wobei P a b {\displaystyle P_{ab}} die Wahrscheinlichkeit ist, dass X in der vorliegenden Begegnung zusammenarbeitet, da die vorherige Begegnung durch (ab) gekennzeichnet war. Wenn zum Beispiel die vorherige Begegnung eine war, in der X kooperierte und Y defizierte, dann ist P c d {\displaystyle P_{cd}} die Wahrscheinlichkeit, dass X in der vorliegenden Begegnung kooperiert. Wenn jede der Wahrscheinlichkeiten entweder 1 oder 0 ist, wird die Strategie als deterministisch bezeichnet., Ein Beispiel für eine deterministische Strategie ist der als P={1,0,1,0} geschriebene Titel für Tat-Strategie, in dem X wie Y in der vorherigen Begegnung antwortet. Eine andere ist die Win–stay, Lose–Switch-Strategie, die als P={1,0,0,1} geschrieben wurde und in der X wie in der vorherigen Begegnung antwortet, wenn es ein „Sieg“ war (dh cc oder dc), aber die Strategie ändert, wenn es ein Verlust war (dh cd oder dd). Es hat sich gezeigt, dass es für jede Memory-n-Strategie eine entsprechende Memory-1-Strategie gibt, die die gleichen statistischen Ergebnisse liefert, so dass nur Memory-1-Strategien berücksichtigt werden müssen.,

Zero-determinant strategiesEdit

Tit-for-tat ist eine ZD-Strategie, die im Sinne von“ fair “ ist, keinen Vorteil gegenüber dem anderen Spieler zu erlangen., Der ZD-Bereich enthält jedoch auch Strategien, mit denen ein Spieler bei zwei Spielern die Punktzahl des anderen Spielers einseitig festlegen oder alternativ einen evolutionären Spieler zwingen kann, eine Auszahlung zu erzielen, die um einen Prozentsatz niedriger ist als seine eigene. Der erpresste Spieler könnte defekt sein, würde sich aber dadurch verletzen, indem er eine niedrigere Auszahlung erhält. So verwandeln Erpressungslösungen das iterierte Gefangenendilemma in eine Art Ultimatumsspiel., Insbesondere ist X in der Lage , eine Strategie zu wählen , für die D ( P,Q, β S y + γ U ) = 0 {\displaystyle D(P , Q,\beta S_{y}+\gamma U)=0}, einseitig s y {\displaystyle s_{y}} auf einen bestimmten Wert innerhalb eines bestimmten Wertebereichs setzt, unabhängig von Y ’s Strategie und bietet X die Möglichkeit, Spieler Y zu „erpressen“ (und umgekehrt). (Es stellt sich heraus, dass, wenn X versucht, s x {\displaystyle s_{x}} auf einen bestimmten Wert zu setzen, der Bereich der Möglichkeiten viel kleiner ist und nur aus vollständiger Kooperation oder vollständiger Defektion besteht.,)

Eine Erweiterung der IPD ist eine evolutionäre stochastische IPD, bei der sich die relative Häufigkeit bestimmter Strategien ändern kann, wobei erfolgreichere Strategien relativ zunehmen. Dieser Prozess kann erreicht werden, indem weniger erfolgreiche Spieler die erfolgreicheren Strategien imitieren oder weniger erfolgreiche Spieler aus dem Spiel eliminieren und gleichzeitig die erfolgreicheren multiplizieren. Es hat sich gezeigt, dass unfaire ZD-Strategien nicht evolutionär stabil sind., Die Schlüsselintution ist, dass eine evolutionär stabile Strategie nicht nur in der Lage sein muss, in eine andere Population einzudringen (was erpresserische ZD-Strategien können), sondern auch gegen andere Spieler desselben Typs eine gute Leistung erbringen muss (was erpresserische ZD-Spieler tun schlecht, weil sie sich gegenseitig reduzieren Überschuss).

Theorie und Simulationen bestätigen, dass ZD-Erpressung über eine kritische Bevölkerungsgröße hinaus im evolutionären Wettbewerb gegen kooperativere Strategien verliert und infolgedessen die durchschnittliche Auszahlung in der Bevölkerung zunimmt, wenn die Bevölkerung größer ist., Darüber hinaus gibt es einige Fälle, in denen Erpresser sogar die Zusammenarbeit katalysieren können, indem sie dazu beitragen, aus einem Face-Off zwischen einheitlichen Überläufern und Win–Stay–, Lose-Switch-Agenten auszubrechen.

Während erpresserische ZD-Strategien in großen Populationen nicht stabil sind, ist eine andere ZD-Klasse, die als „großzügige“ Strategien bezeichnet wird, sowohl stabil als auch robust. In der Tat, wenn die Bevölkerung nicht zu klein ist, können diese Strategien jede andere ZD–Strategie ersetzen und sogar gegen eine breite Palette generischer Strategien für das iterierte Gefangenendilemma, einschließlich Win–Stay, Lose-Switch, eine gute Leistung erbringen., Dies wurde speziell für das Spendenspiel von Alexander Stewart und Joshua Plotkin im Jahr 2013 bewiesen. Großzügige Strategien werden mit anderen kooperativen Spielern zusammenarbeiten, und angesichts des Defekts verliert der großzügige Spieler mehr Nutzen als sein Rivale. Großzügige Strategien sind der Schnittpunkt von ZD-Strategien und sogenannten „guten“ Strategien, die von Akin (2013) als solche definiert wurden, für die der Spieler auf vergangene gegenseitige Zusammenarbeit mit zukünftiger Zusammenarbeit reagiert und erwartete Auszahlungen gleichmäßig aufteilt, wenn er mindestens die Genossenschaft erhält erwartete Auszahlung., Unter den guten Strategien schneidet die großzügige (ZD) Teilmenge gut ab, wenn die Population nicht zu klein ist. Wenn die Bevölkerung sehr klein ist, dominieren tendenziell Defektionsstrategien.

Continuous iterated prisoner ’s dilemmaEdit

Die meisten Arbeiten am iterated prisoner‘ s Dilemma konzentrierten sich auf den diskreten Fall, in dem die Spieler entweder kooperieren oder fehlerhaft sind, da dieses Modell relativ einfach zu analysieren ist. Einige Forscher haben sich jedoch Modelle des kontinuierlich iterierten Gefangenendilemmas angesehen, in denen Spieler einen variablen Beitrag zum anderen Spieler leisten können., Le und Boyd fanden heraus, dass in solchen Situationen die Zusammenarbeit viel schwieriger zu entwickeln ist als im diskreten iterierten Gefangenendilemma. Die grundlegende Intuition für dieses Ergebnis ist einfach: Wenn eine Bevölkerung in einem kontinuierlichen Gefangenendilemma in einem nicht kooperativen Gleichgewicht beginnt, profitieren Spieler, die nur geringfügig kooperativer sind als Nichtkooperatoren, wenig davon, miteinander zu assistieren. Im Gegensatz dazu, in einem diskreten Gefangenendilemma, Chancen für Tat-Kooperatoren erhalten einen großen Gewinnschub, wenn sie sich in einem nicht kooperativen Gleichgewicht gegenseitig unterstützen, relativ zu Nichtkooperatoren., Da die Natur wohl mehr Möglichkeiten für variable Zusammenarbeit bietet als eine strenge Dichotomie der Zusammenarbeit oder Defektion, kann das kontinuierliche Gefangenendilemma helfen zu erklären, warum reale Beispiele für Tat-ähnliche Zusammenarbeit in der Natur extrem selten sind (ex. Hammerstein), obwohl tit for tat in theoretischen Modellen robust erscheint.

Entstehung stabiler strategienEdit

Die Spieler scheinen die gegenseitige Zusammenarbeit nicht zu koordinieren und geraten daher oft in die minderwertige, aber stabile Defektionsstrategie., Auf diese Weise erleichtern iterierte Runden die Entwicklung stabiler Strategien. Iterierte Runden erzeugen oft neuartige Strategien, die Auswirkungen auf komplexe soziale Interaktion haben. Eine solche Strategie win-stay-lose-shift. Diese Strategie übertrifft eine einfache Tit-For-Tat-Strategie – das heißt, wenn Sie mit Betrug davonkommen können, wiederholen Sie dieses Verhalten, aber wenn Sie erwischt werden, wechseln Sie.

Das einzige Problem dieser Tit-for-tat-Strategie ist, dass sie anfällig für Signalfehler sind. Das Problem tritt auf, wenn eine Person als Vergeltung betrügt, die andere jedoch als Betrug interpretiert., Infolgedessen betrügt das zweite Individuum jetzt und dann beginnt es ein Muster des Betrugs in einer Kettenreaktion.