Б. Ф. Скиннер: Время, сложность, мотивация и новизна в обучении

Когда научение определяют как изменение частоты активности, необходимо указать контекст, в котором это происходит — рассмотреть независимые переменные, функцией которых является частота активности. Здесь появляется еще одна теория научения.

Закон эффекта в аудитории демонстрируют так: голубя, весом 80% от его свободного веса, приучают к небольшому полукруглому амфитеатру — в течение нескольких дней он получает еду из воронки, когда экспериментатор нажимает на переключатель. Выбранную активность подкрепляют едой: на стенке есть шкала, и в момент, когда голова голубя поднимается выше заданной отметки, через воронку поступает еда. Отметки поднимают все выше до тех пор, пока голубь не начнет ходить по клетке с максимально высоко поднятой головой.

В другой демонстрации подкрепляют клевание шарика на полу амфитеатра. Последовательность подкрепления такая:

1. Птица проходит рядом с шариком;
2. смотрит в его направлении;
3. двигает головой рядом с шариком;
4. клюет шарик.

Все, кто видел это, знают, что закон эффекта — не теория, а просто инструкция по изменению частоты выбранной активности.

Теории возникают, когда задают вопрос «Почему подкрепление меняет частоту активности?». Отвечают, что научение происходит, поскольку подкрепление приятно, доставляет удовольствие и снижает напряжение. Угасание объясняют аналогичными теориями. Если сначала повысить частоту активности подкреплением, а затем перестать подкреплять, то активность будет происходить реже.

Одна из распространенных теорий объясняет это возникновением состояния, которое подавляет поведение. «Экспериментальное торможение» или «торможение активности», кажется, находится в другой системе измерений, поскольку на уровне поведения нет ничего соответствующего процессам возбуждения и торможения. Но на самом деле первое просто описывает повышение частоты активности, а второе — снижение.

Следуя этой логике, можно интерпретировать определенные события, которые принято объяснять освобождением от подавляющей силы. Например, растормаживание — то есть повышение частоты активности — не обязательно объяснять снятием подавленной силы; оно просто может быть функцией неуточненной внешней переменной. Чтобы поддержать объяснения подвалением, часто приводят в пример спонтанное восстановление, но и у него есть альтернативное объяснение.

Дать ответ на вопрос о причинах научения лучше всего через экспериментальные данные. Поскольку подкрепление происходит слишком быстро, полезнее рассмотреть угасание. Серия экспериментов с крысами и голубями, где применяли различные режимы подкрепления, предоставляет графики. Если разобрать, какие события релевантны научению, то станет понятно, нужны ли теории.

Время

Временной отрезок между подкреплением и угасанием как переменная имеет на удивление слабый эффект. Крыса умирает рано; для такого длительного эксперимента подходит голубь, который живет десять-пятнадцать лет. Около пяти лет назад у более чем двадцати голубей по отдельности подкрепляли клевание большой прозрачной кнопки, на которую отображали сложный визуальный образ. Подкреплялась высокая и постоянная частота клевков, а также их точность относительно конкретного элемента образа. Затем птиц перенесли в обычные жилые камеры. В маленьких группах тест на угасание проводили через шесть месяцев/один год/два года/четыре года. Перед тестированием каждую птицу перемещали в отдельную жилую камеру.

С помощью контроля режима кормления достигали веса, приближенного к 80% от свободного веса. Затем в течение нескольких дней птицу кормили в экспериментальной камере в полумраке и в отсутствие кнопки — так прекращались индуцируемые камерой эмоциональные активности.

В тестировании птицу помещали в затемненную камеру. Пока прозрачная кнопка была потушена, клевки не происходили. Когда на ней подсвечивался образ, то каждая из четырех птиц начинала быстро и активно клевать. Рис. 2 показывает самую большую кривую из полученных.

Птица клевала кнопку две секунды после появления визуального образа, контакта с которым не было четыре года, и она попадала по тому месту, где ранее клевки дифференцированно подкреплялись. В течение часа произошло около семи сотен клевков. Это приблизительно половина или четверть клевков, которые бы произошли, не будь угасание отложено на четыре года. В остальном кривая довольно типична. Просто временного отрезка недостаточно, чтобы объяснить изменение частоты поведения.

Мотивация

Уровень мотивации — еще одно объяснение, для которого можно найти альтернативу в контексте. Нажатие на рычаг каждой из восьми крыс подкреплялось с фиксированным интервалом. Подкрепление делили на два дня: большая часть рациона в первый, а во второй — остатки. Частота активности соответственно менялась между высокой и низкой. Затем сравнили частоту активности в двух подгруппах из четырех крыс. После чего провели гашение активности: у первой подгруппы при кормлении в день сильного голода, у второй — слабого. Результат показан на рис. 3.

Верхний график отражает исходные данные. Отметки, которые соответствуют Р на абсциссе, обозначают частоту нажатий на рычаг при подкреплении по фиксированному интервалу и уровень голода в этот день. Последующие отметки показывают снижение частоты нажатий в ходе угасания.

Нижний график показывает, что кривые похожи, если умножить нижнюю кривую на коэффициент, который выбран для наложения отметок, соответствующих P. Еще несколько экспериментов с крысами и голубями подтверждают этот общий принцип.

Соотношение частот активностей при подкреплении по фиксированному интервалу предсказывает их соотношение при угасании. По уровню голода можно определить наклон кривой угасания, но форма кривой угасания остается прежней. Независимо от мотивации, угасание как процесс остается прежним, изменяются только его частные детали.

Сложность

Сложность — это переменная для проверки теории торможения. Она предполагает, что активность, которая требует много энергии, будет угасать быстрее, поскольку создаст большее торможение. Эта теория предполагает изменение формы кривой угасания, а не просто ее наклона. Однако, экспериментальный анализ показывает, что сложность работает как уровень голода, просто изменяя уклон кривой угасания.

На голубя одевают рубашку, которая ограничивает движения крыльев и ног, но оставляют голову и шею свободными для клевков. Количественно, поведение остается похожим на поведение птицы, которая свободно передвигается по экспериментальной камере, но в рубашке клевки можно сделать более трудными или легкими с помощью изменения расстояния до кнопки.

В одном эксперименте расстояние выразили в семи равных, но произвольных единицах. На расстоянии 7 птица едва дотягивалась до кнопки, а на расстоянии 3 клевала без заметного вытягивания шеи. Подкрепление с фиксированным интервалом предоставило прямую базовую линию, на фоне которой наблюдали эффект сложности из-за расстояния до кнопки — положение птицы быстро меняли в ходе эксперимента (рис. 4).

Каждая из пяти записей равна пятнадцати минутам эксперимента при подкреплении по фиксированному интервалу. Расстояния от птицы до кнопки обозначены цифрами над отрезками. Частота клевков на расстоянии 7 достаточно низкая, а на расстоянии 3 — высокая. Средняя дистанция создает средний вариант кривой. Переход от одной позиции к другой ощущается мгновенно.

Если повторный клевок в сложном положении создает больше торможения, то после возвращения к легкому положению частота клевков останется низкой. Кажется, что легкий клевок не накапливает торможение, то есть после увеличения расстояния частота клевков на какое-то время останется высокой. По предположению, обратное тоже справедливо, но ничего подобного не происходит.

«Более быстрое угасание» сложных клевков — двусмысленное выражение. Изменение наклона кривой и частоты клевков при угасания происходит как функция расстояния, но форма кривой угасания остается прежней.

Истощение и эмоции

Чтобы все-таки выяснить, откуда у кривых угасания своя кривизна, можно рассмотреть угасание как процесс истощения, сравнимый с потерей тепла или расходом запаса еды. Подкрепление создает предрасположенность к клевку — «запас», который истощается в ходе угасания.

Истощение кажется оправданным описанием на уровне поведения; это не теория поскольку не принадлежит к другой системе измерения. Его можно операционализировать как прогнозируемую кривую угасания, хотя, лингвистически, он говорит об отдельном клевке, а не о растянутом во времени паттерне активности. Однако во взгляде на угасание как на процесс истощения оперантного резерва мало пользы — он никак не дополняет наблюдаемый факт кривизны кривых угасания.

Есть две переменные, которые влияют на частоту активности. Они функционируют при угасании и изменяют его кривизну. Одна из них связана с эмоциями. Если подкрепление раннее подкрепленного клевка не происходит, то возникают угасание и эмоциональная активность, под которой часто подразумевают фрустрацию: голубь воркует, быстро ходит по клетке или машет крыльями, пригнувшись, что подразумевает спаривание. Возникающие активности конкурируют с клевками кнопки и объясняют снижение темпа угасания. Также вероятно, что частота клевков, которая основана на пищевой депривации, снижается напрямую как часть эмоционального изменения.

Какой бы ни была природа этой переменной, ее эффект пропадает в ходе привыкания. Повторяющиеся кривые угасания становятся более плавными и некоторые графики не отражают влияния эмоций на частоту активности.

Новизна

Эффект второй переменной сильнее. Наибольший эффект от угасания наблюдается при воспроизведении точных условий, в которых активность подкрепляли. Крысиные нажатия на рычаг, которые подкрепляли в присутствие света, не угаснут полностью в его отсутствие. Если свет включить, ее нажатия станут чаще.

В одном эксперименте клевки желтого треугольника у девяти голубей подкреплялись по вариативному интервалу. Как показывает рис. 5, в таком режиме поведение птиц подкреплялось первые тридцать минут.

Совмещенная кумулятивная кривая, или прямая линия, показывает более тысячи клевков на одну птицу в течение этого периода. Когда желтый треугольник заменили красным и клевки перестали подкреплять, то активность резко проредилась, незначительно появляясь в течение следующих пятнадцати минут. Когда желтый треугольник вернули, частота клевков резко увеличилась и вернулась обычная кривая угасания.

Похожие эксперименты показали, что высота случайного звука, форма или размер образа для клевания, которые предъявляют при подкреплении, контролируют частоту клевков при угасании. Некоторые свойства эффективней других — количественная оценка возможна. Многократно и беспорядочно переключаясь между несколькими стимулами при угасании, частота клевков при каждом покажет градиент стимульной генерализации —возможность клевков, подкрепляемых в одном контексте, появиться в другом.

Что-то похожее происходит при угасании. Допустим, что все клевки кнопки подкреплялись — каждый клевок ненадолго открывал доступ к пище. При угасании подкрепления прекращаются, и возникают новые эмоциональные активности. Такая ситуация сопоставима со сменой желтого треугольника на красный и объясняет снижение частоты клевков при угасании. Между двумя вертикальными линиями на рис. 5 могла бы быть плавная кривая в форме кривой угасания, если бы цвет треугольника с желтого на красный изменяли постепенно. Угасание само по себе как определенный контекст предполагает возрастающую новизну в экспериментальной ситуации.

Данные о «спонтанном восстановлении» подтверждают влияние новизны. Даже после длительного угасания, вначале другой сессии поведение будет воспроизводиться с высокой частотой, хотя бы некоторое время. Одна теория утверждает, что так происходит спонтанное восстановление после некоторого торможения, но возможно и другое объяснение.

Независимо от условий содержания животного, события, которые совпадают с началом эксперимента, должны быть обширными и непохожими на события из поздней части экспериментального периода. Клевки подкреплялись сразу же или с небольшой задержкой, после чего организма вновь оказывается в экспериментальной камере, — речь идет об этих событиях. В угасании они присутствуют лишь несколько мгновений. При возобновлении клевки продолжаются, как в случае с желтым треугольником. Единственный способ добиться полного угасания в контексте такого события, как начало эксперимента — повторно начинать эксперимент.

Подкрепление по фиксированному интервалу также подтверждает влияние новизны. Прерывистое подкрепление создает большую кривую угасания, чем постоянное подкрепление, и сложности тем, кто ожидает простой связи между количеством подкреплений и количеством клевков при угасании — на самом деле эта связь сложная.

Один из результатов подкрепления по фиксированному интервалу — адаптация эмоциональных изменений. Возможно, это объясняет сглаженность последующих кривых угасания, но не их большую степень. Последнее причисляют недостаточной новизне в ситуации угасания. При подкреплении по фиксированному интервалу множество клевков происходят без подкрепления и в контексте долгого отсутствия еды. Поэтому контекст угасания не является полностью новым.

Подкрепление по фиксированному интервалу, однако, не является простым решением. Если подкреплять по регулярному графику — например, каждую минуту — то вскоре поведение организма становится дискриминированным относительно паузы: сразу после подкрепления клевки практически не происходят, поскольку поступление еды сопряжено с ее последующим отсутствием в течение минуты.

Рис. 6 показывает, как быстро поведение становится дискриминированным относительно паузы. Первые пять кривых воспроизводятся при подкреплении по фиксированному интервалу в экспериментальные периоды по пятнадцать минут каждый. В пятый период, или через час подкрепления в режиме фиксированного интервала, возникает дискриминированное поведение после каждого подкрепления, что создает ступенчатую кривую.

Благодаря тому же механизму, частота клевков возрастает при подкреплении. Это основа для другой дискриминации. Высокая частота клевков создает благоприятные условия для определенных процессов. На рис. 7 клевки голубя подкрепляли раз в минуту в течение ежедневных экспериментальных периодов по пятнадцать минут на протяжение нескольких недель. Кривая угасания показывает более высокую частоту клевков птицы, чем на предыдущем графике.

Быстро возникает и стабилизируется частота клевков, которая выше общей частоты при подкреплении по фиксированному интревалу — это такие условия, которые ранее были сопряжены с подкреплением. Когда наступает усталость, частота быстро падает до более низкого, но стабильного значения, а затем практически до нуля. В таком контексте клевки часто не возобновляются. Если же они все таки возобновляются, то контекст сразу становится похожим на тот, где клевки подкреплялись. При таком «автокатализе» частота быстро увеличивается, и во втором взрыве происходит около 500 клевков, а затем быстро и плавно снижается почти до нуля.

Кривая не становится беспорядочной, большая часть ее изгиба гладкая. Но взрыв клевков через сорок пять минут показывает значительную остаточную силу, которая появилась бы раньше на кривой, будь угасание просто усталостью. Альтернативное объяснение кривой в том, что поведение птицы контролируется предшествующей «ложной» сопряженностью подкрепления с высокой частотй клевков.

Это предположение можно проверить с помощью режима подкрепления, в котором невозможна дифференцированное подкрепление частоты клевков. В режиме подкрепления по вариативному интервалу, один интервал между последовательно подкрепленными клевками настолько короткий, что неподкрепленные активности не успевают произойти, а самый длинный интервал составляет около двух минут. Остальные интервалы арифметически распределены между этими значениями — в среднем получается одна минута. Интервалы распределяют в случайном порядке, чтобы составить режим подкрепления. В таком режиме частота подкреплений не меняется в отношение предыдущих подкреплений, и кривые никогда не становятся ступенчатыми, как кривая Е на рис. 6. Дифференциированное подкрепление определенных частот клевков в таком контексте невозможно.

Рис. 8 показывает кривую угасания после кратковременного подкрепления по вариативному интервалу. Она начинается с обычной для такого режима частоты активности — в отличие от подкрепления по фиксированному интервалу, всплеска активности не происходит. Прежнего «автокатализа» не наблюдается. Также не происходит значительных пауз или резких изменений частоты клевков в любом направлении. Кривая растянута на восемь часов, в отличие от двух часов на рис. 7, и представляет собой единый упорядоченный процесс. Общее число клевков больше из-за большего времени.

Все это объясняется контекстом, в котором невозможно, чтобы клевки голубя стали дискриминированны относительно еды или относительно высокой частоты клевков.

Поскольку самый большой промежуток между подкреплением длился всего две минуты, за это время должна была появиться определенная новизна. Такое объяснение искажения на рисунке проверяется сравнением с другими режимами подкреплениями с более длинными интервалы.

Многократно умножив десятисекундный интервал на соотношение 1.54 получили геометрическую прогрессию. Получились интервалы в среднем пять минут, самый длинный был более двадцати одной минуты. Их случайным образом распределили в режим подкрепления, который повторялся каждый час.

[VI режим подкрепления создавали аналогово. Среди набора значений — 10, 20, 30, 40, 50 секунд — выбирали одно. Арифметическая прогрессия — это VI, в котором возможные значения интервала создаются сложением. Геометрическая — VI, где возможные значения создавались умножением на 1.54, — прим. пер].

При переходе к этому режиму от арифметической серии частота клевков сначала снизилась во время более длинных интервалов, но вскоре после стабилизировалась.

Рис. 9 показывает две записи. На каждый тысячный клевок рейсфедер возвращался к нулевой отметке. Для цельной кумулятивной кривой потребовалось бы разрезать запись и сложить части в единую линию. Подкрепления обозначены горизонтальными черточками. Общее время составляет около трех часов. Записи показывают различающуюся частоту клевков для двух голубей. При таком режиме постоянную частоту клевков поддерживают в течение хотя бы двадцати одной минуты без подкрепления, после чего подкрепляют. Так, при последующем угасании должна развиваться меньшая новизна.

На рис. 10 первая кривая показывает несколько замерочных сессий для поведения отдельного голубя длиной по несколько часов с таким геометрическим набором интервалов. Частота клевков при угасании примерно в два раза превышает кривую на рис. 8 после арифметического набора интервалов в среднем в одну минуту, но кривые в остальном очень похожи. Дальше геометрический режим создает более длительные промежутки, в которых частота активности значительно не меняется.

Вторая кривая следует после первой через два с половиной часа подкрепления по вариативному интервалу. После нескольких подкреплений начинается фаза угасания, и в течение нескольких тысяч клевков частота остается довольно стабильной.

Третья кривая была записана после еще одной экспериментальной сессии в два с половиной часа с геометрическим набором интервалов. За короткой серией подкреплений последовал стабильный промежуток из более чем шести тысяч оставшихся без подкрепления клевков с небольшим изменением частоты (участок А). У серий с интервалами в среднем более пяти минут и содержащих более длительные отдельные интервалы этот прямой участок продолжался бы дольше.

В этом взгляде на проблему угасания создают режим подкрепления, который похож на фазу угасания, так что частота активности не снижается достаточно долго. Иными словами создают угасание без кривизны.

Вскоре наступает что-то вроде усталости, но это не происходит постепенно. Последний небольшой отрезок на третьей кривой может предполагать усталость общей небольшой кривизной, но это лишь маленькая часть целого процесса. Запись состоит из серий по несколько сотен клевков, их частота такая же, как и при подкреплении по фиксированному интервалу.

Голубь резко останавливается. Когда клевки возобновляются, он быстро достигает частоты как при подкреплении. Это напоминает дифференциальное подкрепление высокой частоты клевков при постоянном подкреплении. Несмотря на отсутствие дифференциального подкрепления высоких и низких частот, практически все подкрепления происходят при постоянной частоте активности.

Изучение режимов подкрепления, возможно, даст ответ, появляется ли кривизна кривой угасания из-за новизны. Контекст при угасании должен быть идентичен контексту при подкреплении. Эта гипотеза не является теорией, поскольку она не говорит о параллельном процессе в другом дискурсе.

Изучение угасания после разных режимов с вариативным интервалом относится не только к этой гипотезе. Цель в экономном описании контекста при подкреплении и угасании и отношения между ними. Частота активности как единица данных позволяет наблюдать и контролировать ее контекст, выражая отношение между одним и другим в объективных терминах. Данные снижают потребность в теории. Если голубь совершает семь тысяч клевков с постоянной частотой без подкрепления, то сложно объяснить кривую угасания с несколькими сотнями клевков, апеллируя к увеличению торможения или любому другому продукту усталости. Исследования без теории переносит угасание в новые области и новые порядки величин. Ускорение сбора данных освобождает от теорий. И если оказывается, что теории не выполняли никакой роли в разработке экспериментов, расставание с ними будет безболезненным.

Оригинал: Skinner, B. F. (1950). Are theories of learning necessary?. Psychological review, 57(4), 193.
Текст и оформление: Вероника Пачина.