Дилемма заключённого

В теории игр дилемма заключённого — игра с ненулевой суммой, в которой игроки стремятся получить выгоду, сотрудничая друг с другом или предавая. Как во всей теории игр, предполагается, что игрок («заключённый») максимизирует свой собственный выигрыш, не заботясь о выгоде других.

В дилемме заключённого предательство строго доминирует над сотрудничеством, поэтому единственное возможное равновесие — предательство обоих участников. Проще говоря, неважно, что сделает другой игрок, каждый выиграет больше, если предаст. Поскольку в любой ситуации предать выгоднее, чем сотрудничать, все рациональные игроки выберут предательство.

Ведя себя по отдельности рационально, вместе участники приходят к нерациональному решению: если оба предадут, они получат в сумме меньший выигрыш, чем если бы сотрудничали (единственное равновесие в этой игре не ведёт к Парето-оптимальному решению). В этом и заключается дилемма.

В повторяющейся дилемме заключённого игра происходит периодически, и каждый игрок может «наказать» другого за несотрудничество ранее. В такой игре сотрудничество может стать равновесием, а стимул предать может перевешиваться угрозой наказания (с ростом числа итераций равновесие Нэша стремится к Парето-оптимуму).

Классическая дилемма заключённого

Классическая дилемма заключённого такова:

Двое подозреваемых, А и Б, арестованы. У полиции нет достаточных доказательств для обвинения, и изолировав их друг от друга, они предлагают им одну и ту же сделку: если один свидетельствует против другого, а тот хранит молчание, то первый освобождается, а второй получает 10 лет. Если оба молчат, у полиции мало доказательств, и они приговариваются к 6 месяцам. Если оба свидетельствуют против друг друга, они получают по 2 года. Каждый заключённый выбирает, молчать или свидетельствовать против другого. Однако ни один из них не знает точно, что сделает другой. Что произойдёт?

Игру можно представить в виде следующей таблицы:

	Заключённый Б хранит молчание	Заключённый Б даёт показания
Заключённый А хранит молчание	Оба получают полгода.	А получает 10 лет Б освобождается
Заключённый А даёт показания	А освобождается Б получает 10 лет тюрьмы	Оба получают 2 года тюрьмы

Дилемма появляется, если предположить, что оба заботятся только о минимизации собственного срока заключения.

Представим рассуждения одного из заключённых. Если партнёр молчит, то лучше его предать и выйти на свободу (иначе - полгода тюрьмы). Если партнёр свидетельствует, то лучше тоже свидетельствовать против него, чтобы получить 2 года (иначе - 10 лет). Стратегия «свидетельствовать» строго доминирует над стратегией «молчать». Аналогично другой заключённый приходит к тому же выводу.

С точки зрения группы (этих двух заключённых) лучше всего сотрудничать друг с другом, хранить молчание и получить по полгода, так как это уменьшит суммарный срок заключения. Любое другое решение будет менее выгодным. Это очень наглядно демонстрирует, что в игре с ненулевой суммой Парето-оптимум может быть противоположным равновесию Нэша.

Обобщённая форма

Можно раскрыть скелет игры далее, абстрагировавшись от подтекста заключённых. Обобщённая форма игры часто используется в экспериментальной экономике. Следующие правила дают типичную реализацию игры.

В игре — два игрока и банкир. Каждый игрок держит 2 карты: на одной написано «сотрудничать», на другой — «предать» (это стандартная терминология игры). Каждый игрок кладёт одну карту перед банкиром лицом вниз (то есть никто не знает чужого решения, хотя знание чужого решения не влияет на анализ доминирования ). Банкир открывает карты и выдаёт выигрыш.

Если оба выбрали «сотрудничать», оба получают C. Если один выбрал «предать», другой «сотрудничать» — первый получает D, второй с. Если оба выбрали «предать» — оба получают d.

Значения переменных C, D, c, d могут быть любого знака (в примере выше все меньше либо равны 0). Обязательно должно соблюдаться неравенство D > C > d > c, чтобы игра представляла собой ДЗ.

Каноническая матрица выигрышей ДЗ

	Сотрудничать	Предать
Сотрудничать	C, C	c, D
Предать	D, c	d, d

Если игра повторяется, то есть играется больше 1 раза подряд, общий выигрыш от сотрудничества должен быть больше суммарного выигрыша в ситуации, когда один предаёт, а другой — нет (объяснение — ниже):

2C > D + c

Эти правила были установлены Дугласом Хофштадтером и образуют каноническое описание типичной дилеммы заключённого.

Похожая, но другая игра

Хофштадтер предположил, что люди проще понимают задачи, как задача ДЗ, если она представлена в виде отдельной игры или процесса торговли. Один из примеров — «обмен закрытыми сумками»:

Два человека встречаются и обмениваются закрытыми сумками, понимая, что одна из них содержит деньги, другая — товар. Каждый игрок может уважать сделку и положить в сумку то, о чём договорились, либо обмануть партнёра, дав пустую сумку.

В этой игре обман всегда будет наилучшим решением, означая также, что рациональные агенты никогда не будут играть в неё, и что рынок обмена закрытыми сумками будет отсутствовать.

В вариации, популярной у программистов и хакеров, каждый агент этой игры помнит предыдущие результаты (или имеет доступ к общественному мнению, «коллективной памяти»), и множество обменов повторяются длительное время.

Как отмечено выше, без памяти эта игра имеет мало смысла, она мало что объясняет в поведении систем и групп людей, кроме описания взаимодействий, которые не будут происходить. Сложностей вводится больше, чем можно ожидать. Программист (особенно специализирующийся на функциональном программировании) сразу поймёт значимость времени и состояния (памяти). Но и без написания программ можно предположить, как поведут себя агенты. Насколько велика память каждого агента? Какова стратегия каждого из них? Как агенты с разными стратегиями распределены и что определяет, кто с кем взаимодействует и в каком порядке?

Сложность создания какой-то многозначной модели может обескураживать, но она поднимает некоторые интересные и ценные технические и философские вопросы.

Проделана некоторая работа по моделированию этого. Разные программисты и математики утверждают, что стратегия «око за око» (см. ниже) — наилучшая общая стратегия, однако не было сделано серьёзных академических усилий, чтобы классифицировать разные типы и распределения обучающихся агентов с разными стратегиями.

О потенциале этой задачи свидетельствует тот факт, что в этой дискуссии ещё не упоминались возможность формировать коалиции и рядиться коллективно. А как насчёт агентов, которые бы за плату организовывали переговоры? Или агентов, которые бы накапливали информацию о самих сделках?

Примеры из реальной жизни

Примеры с заключёнными, карточной игрой и обменом закрытыми сумками могут показаться надуманными, но на самом деле есть множество примеров взаимодействия людей и животных, имеющие такую же матрицу выигрышей. Поэтому ДЗ представляет интерес социальным наукам, таким как экономика, политика и социология, а также разделам биологии — этологии и эволюционной биологии. Многие природные процессы были обобщены в модели, в которых живые существа участвуют в бесконечных играх типа дилеммы заключённого. Такая широкая применимость ДЗ придаёт этой игре значительную важность.

В политологии, к примеру, сценарий ДЗ часто используется для иллюстрации проблемы двух стран, вовлечённых в гонку вооружений. Обе будут заявлять, что у них есть две возможности: либо увеличить расходы на военные нужды, либо сокращать вооружения. Ни одна из сторон не может быть уверена, что другая будет соблюдать договорённость, следовательно обе будут стремиться к военной экспансии. Это можно считать теоретическим объяснением политики устрашения.

В автоспорте яркий пример дилеммы заключённого — Формула-1, где последние 20 лет происходит гонка бюджетов команд, из-за которого число машин участников сократилось с 36 в 1990 до 20 в 2003.

Случай дилеммы заключённого может быть найден в бизнесе. Две конкурирующие фирмы должны определиться, сколько средств тратить на рекламу. Эффективность рекламы и прибыль каждой фирмы уменьшается с ростом расходов на рекламу у конкурента. Обе фирмы принимают решение увеличить расходы на рекламу, при этом их доли рынка и, возможно, объёмы продаж остаются неизменными, а прибыль сокращается. Предел гонки рекламных бюджетов — прибыль, впрочем, они могут пытаться некоторое время работать и в убыток. Фирмы могут пойти на соглашение о сокращении расходов на рекламу, но всегда есть стимул его нарушить.

В олигополистических рынках ценовая политика — это повторяющаяся ДЗ. Обычно олигополисты сотрудничают друг с другом и не доводят ситуацию до ценовой войны.

Уильям Паундстоун в книге о дилемме заключённого описывает ситуацию в Новой Зеландии, где почтовые ящики оставляют открытыми. Газету можно взять, не заплатив за неё, но мало кто так делает, потому что большинство осознаёт вред, который был бы если бы все воровали газеты. Поскольку ДЗ в чистом виде одновременна для всех игроков (никто не может повлиять на решения других), эта распространённая линия рассуждений называется «магическое мышление».

Теоретическое заключение ДЗ — одна из причин, почему во многих странах сделка о признании вины запрещена. Часто сценарий ДЗ повторяется очень точно: в интересах обоих подозреваемых сознаться и свидетельствовать против другого подозреваемого, даже если оба невиновны. Возможно, наихудший случай — когда только один виноват, в этом случае невиновный вряд ли сознаётся в чём либо, а виновный пойдёт на это и даст показания против невиновного.

Многие дилеммы в реальной жизни включают множество игроков. Хотя и метафорическую, «трагедию общин» Ардена можно рассматривать как обобщение ДЗ для множества игроков. Каждый житель общины выбирает — пасти ли скот на общем пастбище и получить выгоду, истощая его ресурсы, либо ограничить свой доход. Коллективный результат от всеобщего (или частого) максимального использования пастбища — низкий доход (ведущий к разрушению общины). Однако такая игра не является формальной, поскольку может быть разбита на последовательность классических игр с 2 участниками.

Повторяющаяся дилемма заключённого

В книге "Эволюция кооперации" (1984) Роберт Акселрод исследовал расширение сценария ДЗ, которое он назвал повторяющаяся дилемма заключённого (ПДЗ). В ней участники делают выбор снова раз за разом и помнят предыдущие результаты. Акселрод пригласил академических коллег со всего мира, чтобы разработать компьютерные стратегии, чтобы соревноваться в чемпионате по ПДЗ. Программы, вошедшие в него различались по алгоритмической сложности, начальной враждебности, способности к прощению и так далее.

Акселрод открыл, что если игра повторялась долго среди множества игроков, каждый с разными стратегиями, «жадные» стратегии давали плохие результаты в долгосрочном периоде, тогда как более «альтруистические» стратегии работали лучше, с точки зрения собственного интереса. Он использовал это, чтобы показать возможный механизм эволюции альтруистического поведения из механизмов, которые изначально чисто эгоистические, через естественный отбор.

Лучшей детерминистской стратегией оказалась «Око за око» (англ. Tit for Tat), которую разработал и выставил на чемпионат Анатолий Рапопорт. Она была простейшей из всех участвовавших программ, состояла всего из 4 строк кода на языке Бейсик. Стратегия проста: сотрудничать на первой итерации игры, после этого игрок делает то же самое, что делал оппонент на предыдущем шаге. Чуть лучше работает стратегия «Око за око с прощением». Когда оппонент предаёт, на следующем шаге игрок иногда в любом случае сотрудничает с небольшой вероятностью (1-5 %). Это позволяет случайным образом выйти из цикла взаимного предательства. Она лучше всего работает, когда в игру вводится недопонимание — когда решение одного игрока сообщается другому с ошибкой.

Анализируя стратегии, набравшие лучшие результаты, Акселрод назвал несколько условий, необходимых, чтобы стратегия получила высокий результат.

Добрая

Важнейшее условие — стратегия должна быть «доброй», то есть не предавать, пока этого не сделает оппонент. Почти все стратегии-лидеры были добрыми. Поэтому чисто эгоистичная стратегия по чисто эгоистическим причинам не будет первой «бить» соперника.

Мстительная

Однако успешная стратегия не должна быть слепым оптимистом. Она должна всегда мстить. Пример немстительной стратегии — всегда сотрудничать. Это очень плохой выбор, поскольку «подлые» стратегии воспользуются этим.

Прощающая

Другое важное качество успешных стратегий — уметь прощать. Отомстив, они должны вернуться к сотрудничеству, если оппонент не продолжает предавать. Это предотвращает бесконечное мщение друг другу и максимизирует выигрыш.

Не завистливая

Последнее качество — не быть завистливым, то есть не пытаться набрать больше очков, чем оппонент (что в принципе невозможно для «доброй» стратегии, то есть добрая стратегия никогда не может набрать больше очков, чем оппонент).

Следовательно, Акселрод пришёл к утопично звучащему выводу, что эгоистичные индивиды во имя их же эгоистического блага будут стремиться быть добрыми и прощающими и не завистливыми.

Рассмотрим снова модель гонки вооружений. Был дан вывод, что единственная рациональная стратегия — вооружаться, даже если обе страны хотели бы тратить ВВП на масло, а не пушки Интересно, что попытки продемонстрировать, что вывод ДЗ работает на практике (делая анализ «высоких» и «низких» военных расходов между периодами, на основе предположений ПДЗ), часто показывают, что такого поведения не происходит. Например, греческие и турецкие военные расходы меняются не в соответствии со стратегией «око за око», а вероятнее всего следуют внутренней политике). Это может быть примером рационального поведения, отличающегося от одноразовой и многоходовой игр.

Если в одноходовой игре в любом случае доминирует стратегия предать, то в многоходовой оптимальная стратегия зависит от поведения других участников. К примеру, если среди населения все друг друга обманывают, а один ведёт себя по принципу «око за око», он оказывается в небольшом проигрыше из-за потери на первом ходе. В такой популяции оптимальная стратегия — всегда предавать. Если же число исповедующих принцип «око за око» больше, то результат уже зависит от их доли в обществе.

Определить оптимальную стратегию можно двумя путями:

• Равновесие Байеса-Нэша: если определено статистическое распределение встречаемого поведения (например, 33 % «око за око», 33 % всегда обманывают и 33 % всегда сотрудничают), то стратегию можно вычислить математически. Этим детально занимается теория эволюционной динамики.
• По методу Монте-Карло делались симуляции популяций, где индивиды с низкими результатами вымирали, а с высокими воспроизводились (использовался генетический алгоритм поиска оптимальной эволюционно стабильной стратегии). Структура поведения в конечной популяции зависит от структуры в начале.

Хотя стратегия «око за око» считалась самой удачной простой стратегией, команда Университета Саутгемптона из Англии (под руководством профессора Николаса Дженнингса [1]) представила новую стратегию на 20-ю годовщину Чемпионата по ПДЗ. Эта стратегия оказалась более успешной, чем «око за око». Она основывалась на взаимодействии между программами, чтобы получить максимальный счёт для одной из них. Университет выставил на чемпионат 60 программ, которые распознавали друг друга по ряду действий на первых 5-10 ходах. Узнав другую, одна программа всегда сотрудничала, а другая предавала, что давало максимум очков предателю. Если программа понимала, что оппонент — не саутгемптонский, она дальше всё время предавала его, чтобы минимизировать результат соперника. В результате эта стратегия заняла первые три места в соревновании, как и несколько мест подряд ниже.

Хотя эта эволюционно стабильная стратегия оказалась более эффективной в соревновании, это было достигнуто за счёт того, что в этом конкретном соревновании команда могла участвовать несколькими агентами. Если игрок может контролировать только одного агента, «око за око» оказывается лучшей. Она также соблюдает правило запрета на коммуникации между игроками. То, что саутгемптонские программы исполняли «ритуальный танец» в первые 10 ходов, чтобы узнать друг друга, только подтверждает, насколько важна коммуникация в сдвиге баланса игры.

Если ПДЗ играется ровно N раз (некая известная константа N), есть ещё один интересный факт. Равновесие Нэша — всегда предавать. Доказываем по индукции: если оба сотрудничают, на последнем ходу выгодно предать, тогда у соперника не будет возможности отомстить. Поэтому оба предадут друг друга на последнем ходу. Раз соперник предаст на последнем ходу в любом случае, любой игрок захочет предать на предпоследнем ходу, и так далее. Чтобы сотрудничество оставалось выгодным, необходимо, чтобы будущее было неопределённым для обоих игроков. Одно из решений — делать число N случайным и подсчитывать результаты по среднему выигрышу за ход.

Дилемма заключённого — фундаментальная для некоторых теорий о взаимодействии людей и доверии. Из предположения модели ДЗ, что транзакция между двумя людьми требует доверия, доверительное поведение в популяциях может быть смоделированно при помощи много-игроковой повторяющейся версии игры. Это годами вдохновляло многих учёных. В 1975 году Грофман и Пул оценивали число работ, посвящённых этой теме, около 2000.

Психология обучения и теория игр

Если игроки могут оценивать возможность предательства со стороны других игроков, на их поведение влияет опыт. Простая статистика показывает, что неопытные игроки обычно ведут себя чрезмерно хорошо или плохо. Если они всё время будут действовать так, то проиграют из-за своей излишней агрессивности или излишней доброты. С получением большего опыта они реальнее оценивают вероятность предательства и добиваются лучших результатов. Ранние розыгрыши сильно влияют на неопытных игроков, чем более поздние на опытных. Это пример, почему ранний опыт имеет такое влияние на молодых, и почему они особенно уязвимы к немотивированной агрессии, иногда сами становясь такими.

Можно уменьшить вероятность предательства в популяции при помощи сотрудничества в ранних играх, позволив укрепить доверие. Следовательно самопожертвование может в некоторых ситуациях усилить моральный дух группы. Если группа маленькая, на позитивное поведение с большей вероятностью ответят взаимностью, что поощрит индивидов на дальнейшее сотрудничество. Это связано с ещё одно дилеммой, что хорошее отношение без причины — это потакание, которое может ухудшить моральные качества.

Эти процессы — главное поле интереса взаимного альтруизма, группового отбора, семейного отбора и этики.

Восточная философия

В боевых искусствах изучается даосская пословица, которая говорит, что:

• Отвечать добром на добро - даёт добро
• Отвечать злом на зло - даёт добро
• Отвечать злом на добро - даёт зло
• Отвечать добром на зло - даёт зло

Второе и четвёртое утверждения кажутся спорными, особенно с позиций христианства, но дилемма заключённого объясняет их. В древнем Китае «добро» и «зло» считались непреложными истинами (например, их нельзя поменять местами), таким образом, эту пословицу можно прочитать ещё и как «плюс на минус даёт минус». Есть усиленный вариант этой пословицы, где в двух последних строках получается «двойное зло».

Библиография

(источники, названные в английской статье)

• Axelrod, Robert and Hamilton, William D. (1981). "The Evolution of Cooperation". Science, 211 : 1390–1396.
• Эволюция сотрудничества, Роберт Акселрод, Basic Books, ISBN 0465021212
• Axelrod, Robert (1997). The Complexity of Cooperation. Princeton University Press. ISBN 0691015678.
• Эгоистичный ген, Ричард Докинз (1990), второе издание — включает две главы об эволюции сотрудничества, ISBN 0192860925
• Grofman and Pool (1975). "Bayesian Models for Iterated Prisoner's Dilemma Games". General Systems 20 : 185–94.
• Hardin, Garrett (1968). "The Tragedy of the Commons". Science, 162 : 1243–1248.
• Kreps, David, Robert Wilson, Paul Milgrom, and John Roberts (1982). "Rational Cooperation in the Finitely Repeated Prisoners' Dilemma." Journal of Economic Theory 27(2) : 245–52.
• Milgrom, Paul (1984). "Axelrod's The Evolution of Cooperation." Rand Journal of Economics 15(2) : 30–59.
• Poundstone, William (1992). Prisoner's Dilemma: John von Neumann, Game Theory, and the Puzzle of the Bomb. Doubleday. ISBN 0385415672. Обширное популярное введение, как отмечено в заголовке.
• Rapoport, Anatol and Chammah, Albert M. (1965). Prisoner's Dilemma. University of Michigan Press. Расчёт множества экспериментов, в которых игралась ДЗ.
• Verhoeff, Tom (1998). "The Trader's Dilemma: A Continuous Version of the Prisoner's Dilemma". Computing Science Notes 93/02, Кафедра математики и вычислительных систем, Технический Университет Эйндховена, Нидерланды.
• New Tack Wins Prisoner's Dilemma (из Wired.com)

См. также

• Равновесие Нэша
• Трагедия общин
• Доверие

Ссылки

• Онлайновая повторяющаяся дилемма заключённого
• Ещё одна онлайновая повторяющаяся дилемма заключённого
• Отчёт об исследовании по дилемме заключённого (англ.)
• Критика(англ.) экономистов, включая школу контракта, которые использовали некоторые теоретические результаты ДЗ, чтобы оправдать необходимость вмешательства государства, чтобы «улучшить» результат.
• Симуляция дилеммы заключённого в пространстве

Примечания

eo:Prizonula Dilemo hu:Fogolydilemma lt:Kalinio dilema