Как появляется предосторожность

По мотивам главы «Melhor prevenir do que remediar» Михаэля Перона и Форреста Тёгеля из второй части сборника «Experimentos Clássicos em Análise do Comportamento» про классические эксперименты поведенческих аналитиков.

Контекст эксперимента

Научно-технический прогресс сделал жизнь более защищённой и комфортной. Однако опасности все еще актуальны. Некоторые из рисков являются катастрофическими: как природного характера, такие как наводнения, землетрясения и удары молний, так и человеческого, например, насильственные преступления, террористические атаки и войны. Даже в самых спокойных и знакомых местах опасности не дремлют. На кухне есть риск обжечься об плиту или облиться кипящей водой. Мы все еще отапливаем дома потенциально взрывоопасным природным газом. На улице и тротуарах, в нескольких метрах от транспорта, один неверный шаг может привести к смертельному столкновению с тоннами стали, движущимися на большой скорости.

Люди встречают опасности повседневной жизни без страха и особых раздумий. Нам это удается, потому что мы научились успешно их избегать и это вошло в привычку. Пешеходы держатся подальше от края тротуара, чтобы не попасть под машину. Повара умело обращаются со сковородками на горячих плитах и чайниками с кипятком, не получая ожогов. Владельцы газовых плит регулярно проверяют их работу, чтобы вовремя определить неисправности, которые могут привести ко взрыву. Эти люди не обременены заботами о возможных необратимых последствиях контакта с движущимися автомобилями, раскаленными сковородками или взрывами газа. Они живут без страха, потому что очень хорошо научились избегать таких последствий.

В экспериментальном анализе поведения избегание связано с процессом отрицательного подкрепления, который определяется как формирование или поддержание поведения путем удаления, сокращения, предотвращения или откладывания во времени стимула или события. Если поведение устраняет или откладывает появление стимула, оно классифицируется как избегание.

Процесс отрицательного подкрепления демонстрируют исследования, посвященные бегству. Хорошим примером может служить эксперимент Гордона Боуэра, Гарри Фаулера и Милтона Траполда, где изучали поведение крыс в простом устройстве с названием «аллея». Это длинная узкая камера (173 см. в длину × 8 см. в ширину × 10 см. в высоту), разделенная на три части: стартовая секция (20 см.), средняя секция (122 см.) и финальная секция (30 см.). Каждая сессия состояла из серии испытаний. Перед каждым испытанием крысу помещали в стартовую секцию, проход в среднюю был закрыт. Испытание начиналось с открытия двери и одновременного подачи на пол электричества напряжением 250 вольт. Традиционный термин для обозначения этого электрического стимула — «шок», и, чтобы соответствовать академической литературе, мы будем использовать этот термин. Этот термин преувеличивает силу воздействия, на самом деле подаваемый электрический ток очень слабый. Так называемый «шок» является мягким и безопасным, хотя и вызывает дискомфорт. При предъявлении шока крыса начинала бежать и достигала финальной секции, где напряжение на полу уменьшалось. Для первой группы крыс напряжение в финальной секции снижалось до 50 вольт, для второй — до 150 вольт, а для третьей — до 200 вольт.

Исследователи измеряли, как быстро крысы добегут до финальной секции. Как выяснилось, скорость бега напрямую зависела от степени ослабления силы шока. Крысы, которым понизили напряжение на 200 вольт, в среднем бежали в два раза быстрее, чем группа со снижением на 100 вольт, и в восемь раз быстрее, чем группа с понижение на 50 вольт. Эти результаты легко понять, потому что подкрепление ускорения бега очевидно: крысы спасались от 250 вольт, добегая до места со сниженным напряжением. Уменьшение напряжения на 200 вольт было лучшим подкреплением, чем снижение на 100 или 50 вольт. Подкрепляющее событие заключалось в снижении интенсивности шока, поэтому процесс, который увеличил скорость бега крыс, классифицируется как отрицательное подкрепление, а реакция бега — как бегство.

Такой тип отрицательного подкрепления часто встречается в повседневной жизни. Например, если вы находитесь в жаркой и душной комнате, вы можете уйти в более прохладное место, например, на улицу, отрицательным подкреплением чего послужит снижение температуры. Если вы включили музыку в наушниках и громкость причиняет боль, то вы можете избежать боли, уменьшив громкость до комфортной. Когда вы едете по своему обычному маршруту из дома на работу и попадаете в пробку, то можете избежать её, поискав альтернативный маршрут, где машины движутся более свободно и быстрее добраться до работы. Наверняка, вы можете найти аналогичные примеры отрицательного подкрепления в своем личном опыте.

Перейдем к избеганию. Начнем с важного раннего исследования Орвала Моурера и Росса Ламоро и для наглядности ограничимся описанием только одного из экспериментов. Как и в исследовании Боуэра, Фаулера и Траполда, испытуемыми были крысы, а процедура представляла собой серию испытаний. Оборудование представляло собой обычную камеру с полом, в которому может подаваться слабое, но неприятное электрическое напряжение. Последовательность экспериментальных событий показана на рисунке 1. В первом испытании раздавался звук и через 5 секунд подавалось напряжение. Крыса, находившаяся на одной стороне камеры, реагировала, переходя на другую сторону, после чего звук и напряжение отключались. Через несколько минут крысу снова поместили на первую сторону камеры для очередного испытания. Снова раздавался звук, активировался шок, крыса перемещалась на другую сторону, звук и шок отключались. В этих первых двух попытках крыса сбегала от удара током, переходя на другую сторону камеры. Со временем крыса стала реагировать иначе. Вместо ожидания удара, она сразу перемещалась на другую сторону камеры, как только раздавался звук, избегая активации электрического шока.

Важно отметить, что в последних 5 испытаниях на рис. 1, каждый раз, когда крыса переходила на другую часть камеры, звук выключался. Крыса избегала удар током, сбегая от звука. Моурер и Ламоро предположили, что в этом исследовании задействвались сразу два процесса: и респондентное, и оперантное обусловливание. Сочетание звука и шока в первых испытаниях для изменения функции звука — результат респондентного научения: поскольку звук предшествовал безусловному аверсивному стимулу (шоку), он стал условным аверсивным стимулом. Моурер и Ламоро назвали звук «сигналом опасности», но уже через несколько лет стимул, предшествующий шоку, стали называть «предупреждающим сигналом». Поскольку переход на другую сторону камеры устранял аверсивный предупреждающий сигнал, эта реакция подкреплялась оперантно — отрицательным подкреплением.

Есть и несколько иной способ интерпретации роли звука в эксперименте Моурера и Ламоро. Присутствие звука указывало на подкрепление: реагирование на звук позволяло избежать шока. Другими словами, звук служил дискриминативным стимулом, функционируя как стимул для избегания.

Повседневная жизнь богата примерами такого типа дискриминированного избегания. Рассмотрим процесс обучения, который должен произойти на рисунке 2. Ребёнок тянется к сковороде на плите. Если у него получится дотянуться, он обожжёт руку. В будущем он будет избегать плиты с горящим пламенем, и, возможно, будет к тому же избегать сковородок и плит. Эту форму обучения с помощью отрицательного подкрепления описывает французская поговорка: ошпаренная кошка боится даже холодной воды.

В качестве другого примера рассмотрим поведение студентов во время теста. Когда в поле зрения находится телефон, студенты, вероятно, будут стараться не отвлекаться от своего теста и избегать обвинений в «списывании». Когда водители видят полицейский автомобиль, они, как правило, сбрасывают скорость, чтобы избежать штрафа за нарушение правил дорожного движения. В этих случаях вид пламени, телефона или полиции создает условия, при которых соответствующая реакция избегания подкрепляется.

Наиболее интересными примерами избегания являются те, в которых поведение происходит без какого-либо предупреждающего сигнала или очевидного дискриминативного стимула. Например, многие люди каждое утро принимают витамины, чтобы не заболеть, и делают это в отсутствие каких-либо признаков приближающейся болезни. Владельцы домов в городских районах могут каждый день включать систему безопасности, чтобы предотвратить кражу, и они делают это без каких-либо признаков скорого совершения преступления. Водители ежедневно предотвращают кражи, запирая двери, когда выходят из машины, даже в местах, где нет никаких признаков того, что кто-то попытается вскрыть машину. Те же водители проверяют давление в шинах, чтобы вовремя обнаружить прокол, даже при отсутствии каких-либо признаков того, что в шинах мало воздуха.

Конечно, возможно, что подобные случаи несигнализированного избегания происходят потому, что у людей есть язык и они выработали практику обмена вербальными правилами, чтобы помочь друг другу. Вместо того чтобы узнавать об аверсивных последствиях на собственном опыте — как это делают крысы, — люди могут узнавать о них через опыт других людей. Так, например, водители, которые регулярно проверяют давление воздуха в шинах, никогда не сталкивались со спущенными шинами; вместо этого они реагируют на советы из руководстве по эксплуатации автомобиля или советы других водителей.

Мюррей Сидман задался вопросом, могут ли животные, такие как крысы, научиться избегать в отсутствие предупреждающих сигналов. Он ответил на этот вопрос в ходе исследования, которое он проводил, будучи студентом докторской программы по психологии в Колумбийском университете, а о результатах сообщил в своей докторской диссертации и двух научных статьях: «Обусловливание избегания при помощи кратковременного шока без предупреждающего сигнала» и «Два временны́х параметра для поддержания реакции избегания у белых крыс».

ОПИСАНИЕ ЭКСПЕРИМЕНТА

Цель и метод

Процедуры дискретных испытаний, стандартные в исследованиях избегания 1940-х годов, имели, по мнению Сидмана, некоторые ограничения. Во-первых, как мы уже видели, они включали стимул, который предупреждал о предстоящем аверсивном событии. Во-вторых, в каждом испытании было два возможных результата в отношении избегания: если реакция возникала во время предупреждающего сигнала, она считалась реакцией избегания, в противном случае — нет. Поведение оценивалось как доля испытаний с реакцией избегания. Это разумная мера, но она представляет собой проблему. Чтобы рассчитать процентное соотношение, исследователь должен объединить испытания в блоки по 5, 10 или более испытаний. Количество испытаний может сильно повлиять на результаты: если исследователь включит слишком мало или слишком много испытаний в каждый блок, влияние переменных на формирование и поддержание избегания будет трудно заметить. Чтобы преодолеть эти ограничения, Сидман разработал процедуру, в которой крысы могли избегать шока без предупреждающего сигнала, и, вместо того, чтобы измерять долю избегающих ситуаций, было возможно подсчитать количество избегающих реакций в единицу времени.

Крысы исследовались в камере с электрической решеткой на полу и рычагом. Сессии, которые обычно длились 3 часа, не делились на испытания; крысы имели свободный доступ к рычагу в течение всей сессии. В подобной свободной оперантной процедуре скорость реакции может широко варьироваться, то есть легко увидеть избегание разной интенсивности.

Рисунок 3 иллюстрирует процедуру Сидмана. Сеанс начинался с серии коротких разрядов (0.2 сек.), подаваемых через равные промежутки времени. В условиях, показанных на рисунке, интервал между ударами шоком — Сидман называл его интервалом «разряд-разряд» — составлял 5 сек. Если крыса нажимала на рычаг, следующий разряд задерживался. На приведенном рисунке задержка равна 20 сек. — интервал «реакция-разряд». Когда заканчивался интервал «реакция-разряд», шок подавался снова в соответствии с интервалом «разряд-разряд». Но если крыса реагировала до окончания интервала «реакция-разряд», то 20-секундный интервал начинался заново. При интервале между реакцией и разрядом в 20 сек. крыса могла полностью избежать электричества, если нажатия происходили в среднем чаще, чем раз в 20 секунд.

Сидман интересовался, как на частоту реакции будут влиять интервалы подкрепления избегания, и поэтому подвергал каждую крысу различным комбинациям интервалов «реакция-разряд» и «разряд-разряд». Такой подход, при котором одна или несколько экспериментальных переменных изучаются в широком диапазоне количественных значений, называется параметрическим анализом. Он позволяет более подробно изучить взаимосвязь между поведением и экспериментальными переменными. В параметрическом исследовании Сидмана каждая комбинация интервалов «реакция-разряд» и интервалов «разряд-разряд» определяла экспериментальное условие, и каждое условие действовало в течение ряда ежедневных сессий, пока частота реакций не стабилизировалось. Для анализа результатов использовались данные последних сеансов в каждом условии, в которых частота реакций была стабильна.

Результаты

Несмотря на отсутствие предупреждающего сигнала, процедура Сидмана успешно формировала избегание: в своей первой работе он сообщил, что ему удалось обучить 50 крыс избегать шока. С тех пор исследователи не раз повторяли эксперимент Сидмана и узнали о нем больше влияющих на результат деталей. Например, Роберт Боллес и Ричард Попп мл. показали, что обучение избеганию облегчается, если между реакцией и предотвращенным разрядом существует заметная «обратная связь» (например, громкий щелчок если нажатие отложило шок). Боллес и Попп утверждали, что обратная связь становится условным подкреплением, поскольку удар никогда не происходит во время или сразу после добавленного звука.

Во второй статье Сидмана приводится несколько количественных анализов эффектов интервалов реакция-разряд и разряд-разряд. Один результатов анализа показан на рис. 4. Закрашенные точки показывают стабилизированные реакции крысы в пяти условиях. В каждом из этих условий интервалы реакция-разряд и разряд-разряд были равны. Крайняя левая точка представляет частоту реакции, поддерживаемую, когда оба интервала составляли 2.5 сек. Другие точки получены из условий, когда интервалы составляли 5, 10, 15 и 30 сек. Частота реакции тесно связана с длиной интервалов. Это указывает на то, что поведение крысы адаптировалось к требованиям режима избегания, и, по крайней мере в данном случае, удивительно эффективным образом. Рассмотрим условие, в котором интервалы между реакцией-ударом и ударом-ударом длились 2.5 сек. Чтобы избежать всех или большинства ударов, крыса должна была бы реагировать с частотой более 24 реакций в минуту. При интервалах в 5, 10, 15 и 30 сек. требуемые частоты реагирования составляют 12, 6, 4 и 2 реакции в минуту. Частота реакции крысы очень близка к этим значениям. Даже без сигналов поведение крысы было очень чувствительным к последствиям.

На рисунке 4 есть второй набор результатов — белые точки данных, которые отражают поведение человека, а не крысы. Эти данные получены в ходе исследования студентов, проведенного Аланом Бароном и Арнольдом Кауфманом. Сессии проводились в небольшой комнате, где каждый студент сидел перед оборудованием с несколькими лампочками и кнопкой ответа. Во время каждой сессии зелёный свет мигал через случайные промежутки времени от 2 до 4 секунд. Студент получал небольшую сумму денег в зависимости от количества миганий. Студент не должен был ничего делать, чтобы вызвать вспышки. Аверсивным событием вместо удара током был 15-секундный тайм-аут, во время которого раздавался тихий звук и зелёный свет переставал мигать, то есть получить деньги становилось невозможным. Нажав на кнопку, испытуемый мог избежать тайм-аута. Несмотря на заметные различия между видами, оборудованием и аверсивными событиями, результаты студента и крысы оказались на удивление схожими. Хотя студенты нажимали на кнопку с большей частотой, чем крыса на рычаг (особенно при интервалах = 2,5 сек.), общие формы двух функций практически идентичны. Подобные результаты удалось повторить также и на других видах животных.

Дальнейшее развитие

Исследование свободного оператного избегания Сидмана стало широко использоваться в экспериментальном анализе отрицательного подкрепления, а его имя стало практически синонимом его процедуры («режим подкрепления избегания Сидмана») и поведения, которое эта процедура вызывает («сидмановское избегание»). Его первые две статьи цитировались в научной литературе более тысячи раз, а его процедура использовалась не только для изучения отрицательного подкрепления как такового, но и для изучения переменных, представляющих более широкий интерес, например, влияния наркотиков.

Возможно, наиболее важным является теоретическое значение выводов Сидмана. Долгосрочное поддержание реакции в процедуре уклонения без предупреждающих сигналов интригует. Когда крыса научается успешно избегать удары, её окружение до и после реакции, по-видимому, одинаково. Наблюдатель, заглянувший в экспериментальную камеру с крысой, увидел бы, что ничего не происходит до того, как крыса нажала на кнопку, и ничего после. Что же тогда подкрепляет нажатие на рычаг? Этот вопрос вызвал множество исследований и обсуждений, и по сей день остается нерешенным.

Ричард Гернштейн вслед за самим Сидманом выдвинул модель наказания альтернативных активностей. Согласно этой модели, повышение частоты нажатий происходит потому, что любое распределение времени, не включающее определенную частоту нажатий, наказывается и перестает воспроизводиться. Интерпретация Гернштейна согласуется с тем, что в сидмановской процедуре действительно частота разрядов снижается, когда учащается реакция избегания, и наоборот, на основе чего можно предположить, что основу отрицательного подкрепления закладывает снижение частоты шока.Оно происходит не сразу же после отдельного нажатия рычага, но долгосрочные последствия и в правду влияют на поведение.

Джеймс Динсмур утверждает, что подкрепление избегания следует за реакциями немедленно, беря начало в стимулах, генерируемых самими реакциями избегания. Поскольку эти стимулы отрицательно коррелируют с разрядами, говорит Динсмур, они служат условными сигналами безопасности. С этим, в том числе, согласуются упомянутые ранее результаты Боллеса и Поппа мл., которые выяснили, что если сделать используемый в процедуре Сидмана рычаг беззвучным, то эффективность формирования избегания резко снижается.

Помимо теоретических разногласий, среди аналитиков поведения существует консенсус: приобретение и поддержание свободного оперантного избегания заставляет нас задуматься о пределах обучения — о том, как в некоторых обстоятельствах поведение даже простых организмов может адаптироваться к долгосрочным закономерностям в окружающей среде. Как отмечалось ранее, исследования избегания очень важны для понимания поведенческих проблем, имеющих значение для общества. Человеческое поведение, как правило, нечувствительно к последствиям, отложенным во времени. Аналитики поведения согласны с тем, что эта нечувствительность — источник проблематичного и саморазрушительного поведения, которое можно легко наблюдать за пределами лаборатории. Такое поведение распространено не только на индивидуальном уровне (переедание, химическая зависимость и злоупотребление азартными играми), но и на масштабе общества в целом (загрязнение окружающей среды, перенаселение и истощение природных ресурсов). В случае с избеганием у нас есть лабораторная модель для изучения поведения, которое, похоже, адаптировалось к своим долгосрочным последствиям. Животные избегают электрических разрядов в самых разных условиях. Вопрос в том, как они это делают?

Поведение классифицируется как «избегание» или «побег», если у нас есть основания полагать, что оно находится под контролем отрицательного подкрепления. Для студентов, как и для многих профессионалов в области анализа поведения, термин «отрицательного» является источником путаницы. Он звучит как нечто плохое. Но слово «отрицательный» в данном контексте означает лишь описание процедуры, в которой аверсивный стимул удаляется, уменьшается, предотвращается или откладывается. Отрицательное подкрепление — это, в конце концов, подкрепление. Из него можно извлечь много хорошего. Отрицательное подкрепление отвечает за различные «исправления» поведения, например, приведенные на рисунке 5, которые делают нашу жизнь более комфортной. Отрицательное подкрепление заставляет нас дуть на горячий кофе, прежде чем выпить его, искать укрытиево время дождя, ослаблять галстуки, когда жарко, и застегивать пальто от холода.

Как мы пытались показать на протяжении всей этой главы, отрицательное подкрепление — неотъемлемая часть нашего мира. Луис Менкен, американский журналист, прославившийся в первой половине XX века как культурный критик, обладал особой проницательностью в отношении мощного влияния подкрепления избегания. Он видел это влияние даже в альтруизме, который принято считать добродетелью par excellence: только лишь щедрой заботой о благополучии других. По словам Менкена, «значительная часть альтруизма, даже если он совершенно искренен, основана на том, что нам неприятно видеть несчастных людей». Таким образом, одна из причин, по которой мы можем хорошо относиться к другим, заключается в том, что нам неприятно видеть, как они страдают. Это наблюдение ни в коем случае не обесценивает альтруизм или другие добродетельные поступки. Однако оно привлекает внимание к конструктивной роли отрицательного подкрепления как в поощрении этих поступков, так и в том, чтобы сделать мир лучше.

Дополнительное чтение

Мюррей Сидман (1989). Сидман делится своим волнением о тенденции родителей, учителей, государственных органов и терапевтов полагаться на аверсивные методы контроля — отрицательное подкрепление и наказание — для работы с проблемным поведением.

Майкл Пероун (2003). Занимая позицию, противоречащей книге Сидмана, Пероун утверждает, что аверсивный контроль — неотъемлемая черта нашей среды и что он сам по себе является элементом процессов, связанных с позитивным подкреплением.

Список литературы

1. Baron, A., & Kaufman, A. (1966). Human, free-operant avoidance of “time out” from monetary reinforcement. Journal of the Experimental Analysis of Behavior, 9, 557-565.
2. Baron, A., & Perone, M. (2001). Explaining avoidance: Two factors are still better than one. Journal of the Experimental Analysis of Behavior, 75, 357-361.
3. Bolles, R. C., & Popp Jr., R. J. (1964). Parameters affecting the acquisition of Sidman avoidance. Journal of the Experimental Analysis of Behavior, 7, 315-321.
4. Bower, G. H., Fowler, H., & Trapold, M. A. (1959). Escape learning as a function of amount of shock reduction. Journal of Experimental Psychology, 58, 482-484.
5. Dinsmoor, J. A. (2001). Stimuli inevitably generated by behavior that avoids electrical shock are inherently reinforcing. Journal of the Experimental Analysis of Behavior, 75, 311-333.
6. Fernando, A, Urcelay, G., Mar, A., Dickinson, A., & Robbins, T. (2014). Free-operant avoidance behavior by rats after reinforcer revaluation using opioid agonists and d-amphetamine. Journal of Neuroscience, 34, 6286-6293.
7. Galizio, M. (1979). Contingency-shaped and rule-governed behavior: Instructional control of human loss avoidance. Journal of the Experimental Analysis of Behavior, 31, 53-70.
8. Herrnstein, R. J. (1969). Method and theory in the study of avoidance. Psychological Review, 76, 49-69.
9. Mencken, H. L., & Nathan, G. J. (1920). Repetition generale. The Smart Set, 61, 47-51.
10. Mowrer, O. H., & Lamoreaux, R. R. (1942).Avoidance conditioning and signal duration – A study of secondary motivation and reward. Psychological Monographs, 54, 1-34.
11. Perone, M. (1991). Experimental design in the analysis of free-operant behavior. In I.H. Iversen & K. A. Lattal (Eds.), Experimental analysis of behavior, Part 1 (pp. 135-171). Amsterdam: Elsevier.
12. Perone, M. (2003). Negative effects of positive reinforcement. The Behavior Analyst, 26, 1-14.
13. Richardson, J. (2001). Vectors: Aphorism & ten-second essays. Keene, NY: Ausable Press.
14. Sidman, M. (1989). Coercion and its fallout. Boston: Authors Cooperative.
15. Sidman, M. (1953a). Avoidance conditioning with brief shock and no exteroceptive warning signal. Science, 118, 157-158.
16. Sidman, M. (1953b). Two temporal parameters of the maintenance of avoidance behavior by the white rat. Journal of Comparative Psychology, 46, 253-261.
17. Verhave, T (1958). The effect of methamphetamine on operant level and avoidance behavior. Journal of the Experimental Analysis of Behavior, 1, 207-219

Переводил Артем Ефремов, редактировал Иван Чистяков, иллюстрации Вероники Романовой. Подписывайтесь на не.психологию, чтобы не пропустить новые материалы!