Научный анализ выбора и закон согласования

Перевод главы 'Da frequência absoluta à frequência relativa como unidade de análise do comportamento' из сборника 'Experimentos Clássicos em Análise do Comportamento', посвященного изложению классических экспериментов из анализа поведения.

Контекст эксперимента

Скиннер (1950) сделал первые шаги к пониманию, как изучать поведение выбора в рамках анализа поведения, предположив, что реакция на один из двух стимулов является выбором, а не результатом этого выбора (как принято считать в повседневной жизни). Предпочтение является мерой количества реакций на одну альтернативу по отношению к другой. Вместо того чтобы рассматривать выбор как процесс, предшествующий поведению, что характерно для основанных на внутренних психических процессах теориях, Скиннер сосредоточился на выборе как на самих демонстрируемых реакциях.

Можно сказать, что клевание одного из двух дисков голубем, учёба вместо похода на вечеринку или фраза «я люблю тебя» вместо предложения расстаться, — это сам выбор, а не результат «внутреннего решения»; кроме того, более частый выбор одной из альтернатив можно назвать предпочтением.

Предложенная Скиннером формулировка отражала прогресс в понимании контроля оперантного поведения, но всё же фокусировалась только на последствиях каждой реакции и не учитывала последствия альтернативных реакций.

Это означало бы, что при увеличении частоты подкреплений на одном из дисков абсолютная частота нажатий на этот диск увеличится, не влияя на частоту нажатий на другой диск. Тем не менее Скиннер предвосхитил закон пропорциональности частот реакций и подкрепления (matching law, закон согласования), задокументировав, как меняются частоты реагирования на каждую из кнопок, если сперва подкрепляется нажатие на одну из них, а затем — на другую.

Позднее, Скиннер и Ферстер пришли к дизайну конкурентного режима подкрепления, в котором два режима подкрепления действуют одновременно и требуют несовместимых активностей. В экспериментах с конкурирующими режимами каждый режим связан с различными оперантами, которые различаются по положению (например, два диска или два бруска), цвету или другому свойству и позволяют измерять частоту и распределение различных реакций во времени.

На одной стенке экспериментального бокса могут быть расположены рядом два диска, каждый из которых подсвечивается определенным цветом; реакции на один из дисков могут подкрепляться с варьирующимся интервалом со средним 30 секунд (VI 30 s), а реакции на другой диск — например, со средним 60 секунд (VI 60 s).

Экспериментальная ситуация проектируется таким образом, что совершать обе реакции одновременно невозможно, например, кнопки могут быть разнесены друг от друга на значительное расстояние; или нажатие одной кнопки временно приостанавливает подачу подкрепления по нажатию другой. Эта процедура, ставшая стандартом для изучения выбора, отражает подход Скиннера к пониманию выбора и предпочтений.

Исследования, проведенные до Геррнштейна, были сосредоточены на анализе влияния этих последствий на конкурирующие реакции и эффектов от последствий, что позволило выявить закономерности в паттернах и распределении реакций.

Ферстер и Скиннер многократно продемонстрировали, что реакции в конкурирующих режимах с двумя локально разделенными оперантами следуют тем же закономерностям, что и в простых режимах, например, нажатие левой кнопки в контексте конкурентного VI VI работает аналогично нажатию кнопки в контексте одного VI.

Финдли усложнил эксперименты Ферстера и Скиннера, добавил систематическое переключение режимов подкрепления на каждой из кнопок — например, CONC VI 30 s VI 60 s сменялся CONC VI 60 s VI 30 s, то есть кнопки менялись функциями. Ранние работы находили определенные закономерности, но затруднялись описать их количественно.

Поиск количественных описаний начал развивать Геррнштейн, когда предположил:

«Поскольку эти две реакции несовместимы друг с другом в том смысле, что они не могут происходить в один и тот же момент, появляется возможность изучения выбора как поведенческого процесса».

По его мнению, для развития этого направления не хватало данных, объясняющих, как предоставление подкрепления несовместимым реакциям приводит к сходству в пропорциях между получаемыми подкреплениями и реакциями. Было неясно, действительно ли, если одна из альтернатив предоставляет подкрепление в два раза чаще, на нее будет распределено в два раза больше активности.

Первые эксперименты Геррнштейна использовали конкурирующие режимы с фиксированной пропорцией (FR). Например, каждые 40 нажатий голубю давали доступ к еде и экспериментатор варьировал, сколько нажатий для еды требовала каждая из кнопок.

Уже в этих экспериментах Геррнштейн задокументировал, что пропорция нажатий совпадает с пропорцией подкрепления (то, что позднее он оформит как закон согласования), но FR режим подкрепления не давал возможность изучить эту закономерность достаточно точно для количественного описания происходящего.

В режиме FR нажатия на одну из кнопок не только являются предпочтением этой кнопки, но и блокируют второй режим подкрепления — без нажатий в нем ничего не происходит. Из-за этого очень сложно увидеть разницу между конкурирующими FR 30 и FR 60 и набором из FR 80 и FR 10. Голуби переключаются между кнопками и отрабатывают стандартный паттерн FR, что было известно еще из экспериментов Скиннера, но пойти дальше и превратить концепцию Скиннера о выборе как распределении активности между альтернативами затруднительно.

Описание эксперимента

Целью работы Геррнштейна (1961) было параметрическое изучение влияния относительной частоты подкреплений в конкурирующих режимах на частоту реакций в каждом компоненте режима и относительную частоту между двумя режимами.

В параметрическом исследовании независимой переменной (например, относительной частотой подкреплений) манипулируют при различных значениях, что позволяет получить различные показатели зависимой переменной (например, относительной частоты реакций), что дает возможность получить более широкий диапазон функциональной зависимости, т.е. того, как изменяется зависимая переменная при различных значениях независимой переменной. Вместо простого наблюдения факта перераспределения поведения на кнопку, нажатия которой подкрепляются, получается более детализированный вывод, например, что изменение пропорции подкрепления в два раза делает кнопку в два раза более предпочтительной.

Подготовка к эксперименту была стандартной — три голубя содержались на уровне 80% от массы тела со свободным доступом к пище. Эксперимент проводился в камере для оперантного обусловливания, на одной стенке которого располагались два диска. Диски могли подсвечиваться красным (А — левый диск) и белым (В — правый диск) светом и находились на одинаковом расстоянии от кормушки, которая располагалась на той же стене, что и диски.

Эксперимент начинался с двух сессий предварительного обучения, заканчивающихся после 60 подкреплений, в ходе которого подкреплялась каждая реакция на диске, отличном от того, нажатие на который привело к последнему подкреплению. Этот режим подкрепления называется CONC CRF CRF — подкрепляются все реакции, но нельзя получить два подкрепления подряд с одной кнопки. Обучающая фаза была призвана обеспечить равномерное распределение реакций и чередование между дисками — если поведение до начала эксперимента привязано к одному из дисков, то оно может полностью игнорировать конкурирующий режим подкрепления.

Впоследствии Геррнштейн запрограммировал подкрепление для двух реакций, доступных независимо друг от друга в соответствии с режимами подкрепления с переменными интервалами (CONC VI VI). При CONC VI VI предъявление подкрепления в одном из VI не мешает появлению подкрепления в другом VI. Два режима действовали одновременно, не мешая друг другу, и интервалы времени, запрограммированные для левой кнопок, действовали даже тогда, когда голубь был занят правой. Таким образом, в любой момент времени подкрепление было доступно в обоих режимах, только в одном из них или ни в одном из них. Это решило проблему ранних экспериментов Геррнштейна — он мог наблюдать выбор в больших деталях, потому что поведение не было ограничено необходимостью совершить 40 или больше клевков подряд, чтобы получить подкрепление.

Геррнштейн использовал две пары режимов, которые вместе давали бы доступ к подкреплению каждые 1.5 минуты во всех парах. Такой экспериментальный контроль был важен, чтобы убедиться, что показатели реакции связаны с относительной частотой подкрепления двух режимов, а не с возможными различиями в общей частоте подкрепления в разных условиях. В их работе значения VI были следующими:

1. VI 3 мин. - VI 3 мин.;
2. VI 2.25 мин. - VI 4.5 мин.;
3. VI 1.8 мин. - VI 9 мин.;
4. VI 1.5 мин. - гашение (то есть подкрепления на одной из кнопок не было).

Эти пары режимов чередовались между двумя дисками (А и В), так что существовали условия, при которых на диске А иногда были более короткие интервалы времени (т.е. более высокая частота подкреплений), а иногда более длительные (более низкая частота подкреплений), чем на диске В.

Испытуемые подвергались воздействию всех этих условий в разном порядке, чтобы проконтролировать влияние порядка воздействия. Важно отметить, что каждое условие выполнялось в течение нескольких сессий, пока частота реакций не стабилизировалась; только после этого начиналось новое условие. Критерием стабилизации считалось относительно неизменное поведение в течение пяти сессий подряд.

Чтобы сделать переключение более заметным и гарантировать контакт с конкурентным режимом подкрепления, Геррнштейн предотвращал случайное подкрепление реакций при переключении между двумя режимами — использовал задержку переключения (changeover delay, COD). Если бы не было COD, когда голубь клевал клавишу, а подкрепление было доступно для реакций на альтернативном диске, то подкреплялась бы первая реакция на этом альтернативном диске. Это могло бы подкрепить не реакцию на конкретный диск, а паттерн хаотичного переключения между дисками (то есть сперва реакцию на один диск, затем мгновенное переключение на другой), который был бы нечувствителен к конкретным параметрам относительной частоты подкрепления. Использование COD делало хаотичное переключение бессмысленным.

Предположим, что в данный момент времени подкрепление было доступно для реакций на диске В, а голубь отвечал на диске А. Когда голубь переключится на диск В и получит подкрепление, доступное на этом диске, он должен будет продолжать реагировать на диск в течение времени, определенного в COD (которое в эксперименте составило 1.5 секунды), чтобы подкрепление было выдано. Голубь никогда не получал корм сразу после смены клавиш. Если голубь менял клавишу до завершения 1.5-секундного периода, то этот период просто начинался заново.

Результаты и их дальнейшее развитие

Геррнштейн регистрировал количество полученных подкреплений и нажатий на обоих дисках. Эти данные позволили проанализировать влияние изменения относительной частоты подкрепления на выбор. Благодаря действительно параллельной работе режимов подкрепления — оба VI продолжали работать независимо от друга, пока голубь был занят левым диском правый продолжал существовать и был доступным для получения подкрепления — Геррнштейну получилось задокументировать выбор как простую относительную частоту реакций.

Получившаяся переменная была легка в документировании и гибко варьировалась в зависимости от условий эксперимента, что позволило Геррнштейну количественно описать влияние соотношения между режима подкрепления на поведение. Сравните приведенный ранее график Скиннера и полученные Геррнштейном данные:

Полученная Геррнштейном закономерность стала известна как закон согласования. Сам Геррнштейн записал ее следующим образом:

Позже этот закон сам Геррнштейн переписал в терминах соотношения пропорции реакций и подкрепления:

Важность эксперимента Геррнштейна заключалась именно в установлении процедуры, в которой можно связать количественные показатели абсолютных и относительных частот реакций на два диска с относительной частотой подкреплений. Он задокументировал, что распределение реакций между альтернативами стремится к равенству с распределением подкреплений, полученных в соответствующих альтернативах. Если распределение подкреплений изменяется в каком-либо направлении, то и распределение реакций будет стремиться измениться в той же степени.

Так, если два источника подкрепления обеспечивают одинаковую частоту подкреплений, то реакции будут распределены примерно по 50% для каждой альтернативы; если один из источников начинает обеспечивать частоту в четыре раза большую, чем другой, когда 80% подкреплений поступает из этого источника, то закон уравнивания предсказывает, что организм начнет демонстрировать примерно в четыре раза больше реакций в этой альтернативе, как это предсказывает идеальное (или строгое) уравнивание Геррнштейна.

Работа, начавшаяся с эксперимента Геррнштейна, позволила получить систематизированные данные, которые постепенно продемонстрировали, что на поведение влияют не только его индивидуальные последствия, но и подкрепления, доступные в окружающей среде для альтернативных реакций. Получила толчок концепция Скиннера, согласно которой выбор — это поведение, а любое поведение связано с выбором.

Концептуализация выбора Геррнштейном оказалась настолько плодотворной, что дала старт поведенческой экономике. Если реакцию на подкрепление можно описать простым линейным уравнением, то можно легко тестировать, насколько поведение животных чувствительно к тем или иным стимулам. Исследования Уильяма Баума упростили подобный анализ введением «обобщенного закона согласования»:

Баум заметил, что иногда поведение меняется вслед за изменением относительной частоты подкрепления не как один к одному. Ситуация, когда относительная частота реакций растет только в полтора раза хотя подкрепление на этой альтернативе выросло в два раза он назвал «недосогласованием». Обратный случай изменения в поведении более резкого чем изменение в подкреплении — «чрезмерным согласованием».

Постепенно начали появляться данные о применимости закона к поведению людей. Например, Ниф, Мейс, Ши и Шейд (1992) оценили применимость закона равенства в образовательном контексте с использованием подкреплений одинакового и разного «качества». Трое студентов решали математические задачи, предъявляемые одновременно и с подкреплениями по VI режимам подкрепления. В условиях с качественно одинаковыми подкреплениями отведенной на каждый набор уравнений время варьировалось, как и предсказывалось уравниванием. Примечателен факт, что авторы не достигли идеального согласования при качественно различных подкреплениях — подобрать эквивалентные в подкрепляющей функции стимулы оказалось не так просто.

Брэдшоу и Сабади (1978) в течение шести месяцев проводили исследование с человеком, которому был поставлен диагноз «биполярное расстройство». Как оказалось, оперантная активность испытуемого варьировалась в зависимости от фазы расстройства. Ему предлагалось каждый день в течение часа нажимать кнопку, нажатия подкреплялись с варьирующейся от 50 центов до 3 долларов в час частотой. Максимальное количество реакций и чувствительность к денежному подкреплению отличались, причем наибольшие максимальные показатели были получены при маниакальном состоянии пациента, а наименьшие — при депрессивном:

Заключение

Прорыв Ричарда Геррнштейна — превращение концепции выбора в доступную количественному анализу метрику поведения. Сложно представить дальнейшее развитие анализа поведения без этой простой цифры, пропорции частот реакции, которая позволяет одним числом охватить настолько сложный факт, что на поведение влияют не только происходящие в моменте последствия, но и последствия потенциальных альтернативных активностей.

Другая работа Геррнштейна «О законе эффекта» оказалась одной из пяти работ, опубликованных в журнале Journal of the Experimental Analysis of Behavior, наиболее цитируемых в журнале Journal of Applied Behavior Analysis в период с 1983 по 2003 год. Наряду с основополагающей статьей Джека Майкла об установочных операциях (или мотивационных условиях), закон согласования остается одной из основных тем, вызывающих интерес в прикладной области.

В том числе ее влияние заметно и в поведенческой психотерапии. На идее анализа доступных поведенческих альтернатив и их режимов подкрепления основано разделение клинически значимого поведения первого и второго типов (КЗП1 и КЗП2) в функционально-аналитической терапии (статья не.психологии) и матрица последствий в клиническом анализе поведения Израэля Голдаймонда (подробнее в этой статье не.психологии). Благодаря работам Геррнштейна современные поведенческие аналитики анализируют проблемное поведение клиента не только с точки зрения подкрепления этого самого поведения, но и с точки зрения отсутствия подкрепления альтернативного поведения.

Список литературы

1. Skinner, B. F. (1950). Are theories of learning necessary? Psychological Review, 57, 193-216.
2. Herrnstein, R. J. (1958). Some factors influencing behavior in a two-response situation. Transactions of the New York Academy of Sciences, 21, 35-45.
3. Herrnstein, R. J. (1961). Relative and Absolute strength of Response as a Function of Frequency of Reinforcement. Journal of the Experimental Analysis of Behavior, 4, 267- 272.
4. Baum, W. M. (1974). On two types of deviation from the matching law: Bias and undermatching. Journal of The Experimental Analysis of Behavior, 22, 231-242.
5. Bradshaw, C. M., & Szabadi, E. (1978). Changes in operant behavior in a manic-depressive patient. Behavior Therapy, 9, 950-954.
6. Neef, N. A., Mace, F. C., Shea, M. C., & Shade, D. (1992). Effects of reinforcer rate and reinforcer quality on time allocation: Extensions of matching theory to educational settings. Journal of Applied Behavior Analysis, 25, 691-699.

Автор перевода Артем Ефремов, редакция Иван Чистяков, Иван Воронин, иллюстрация и обложка — Вероника Романова. Подписывайтесь на не.психологию, чтобы не пропустить новые материалы!