Анализ поведения и кризис воспроизводимости в психологии
«Тактики научного исследования» Сидмана
Еще будучи аспирантом Колумбийского университета, Мюррей Сидман опубликовал свою первую статью в журнале «Psychological Bulletin» (Sidman, 1952). В своей работе он продемонстрировал, что «… когда разные группы испытуемых используются для получения точек данных, определяющих функциональную связь, средняя кривая не дает информации, необходимой для утверждения относительно этой связи для отдельного человека».
В своей первой статье Сидман также заявил, что «Репликативная статистика необходима для определения надежности отдельных кривых…» (Sidman, 1952). Термин «репликативная статистика» был предшественником более позднего акцента на репликации как экспериментальном методе доказательства (Sidman, 1960).
Вскоре после этого Сидман (1953) опубликовал статью в журнале Science, в которой ввел термин «свободное оперантное избегание». В том же году в последующей работе было представлено параметрическое исследование оперантного избегания в ходе внутрисубъектного эксперимента [серии изменений независимой переменной на каждом организме по отдельности — прим. ред.] с участием трех крыс. Данные были четкими и убедительными без использования статистических выводов, привычных в то время. Оба исследования стали частью диссертационной работы Сидмана.
В начале 1950-х внутрисубъектный дизайн не был распространен. Обычно разные группы субъектов подвергалась воздействию одного уровня независимой переменной, как описано Динсмуром (1990) в рассказе об исследовательских традициях в лаборатории Келлера и Шенфельда в Колумбийском университете. По словам Динсмура, внутриобъектные проекты Сидмана противоречили традициям университета.
Новаторские исследования Сидмана в начале карьеры заложили основу для одной из самых влиятельных книг по анализу поведения — «Тактики научных исследований: оценки экспериментальных данных в психологии». Суть работы — как детально изучать поведение отдельного организма без обращения к статистическим выводам.
Сидман выявил фундаментальные проблемы статистических выводов в контексте науки об отдельном объекте:
Главный антагонист статистической надежности - «случайность». Современная психология считает случайность своим дьяволом. Считается, что изначально все данные несут на себе его порчу, и если их независимость от случайности не доказана, немедленно и безвозвратно отправляются в ад. Считается, что символ «случайности» не может быть полностью стерт с любых данных. Лучшее, что мы можем сделать, это определить низкую вероятность принадлежности к «случайности», и с некоторым трепетом их принять. Если они не принадлежат «случайности», они принадлежат науке. Таким образом, данные относятся к науке путем исключения. У них нет положительных достоинств, только отрицательные, связанные со случайностью и низким уровнем уверенности.
Термин «кризис репликации» стал тяжелым бременем для некоторых наук, включая психологию. В значительной степени этот кризис вызван продолжительным применением статистических выводов при оценке данных.
Работа Сидмана над методами воспроизведения с использованием внутрисубъектного дизайна должна вдохновить исследователей, особенно в области психологии, на использование и дальнейшее развитие методов воспроизведения. Как лаконично сказал Сидман (1960), «наиболее достоверным эмпирическим тестом на надежность данных является воспроизведение».
Журнал прикладного анализа поведения (JABA) и экспериментального анализа поведения (JEAB) на протяжении десятилетий публиковали статьи, отражающие развитие и совершенствование репликативного дизайна (Johnston & Pennypacker, 2009; Perone & Hursh, 2013).
Так, в ответ на критику о том, что кризис репликации распространяется и на анализ поведения, можно с уверенностью сказать «нет» и вместо этого заявить, что, по сути, поведенческие аналитики являются людьми репликации. Универсальность результатов повышалась по мере их подтверждения через прямую и систематическую репликацию с использованием внутрисубъектного дизайна, который выходит за рамки теоретического любопытства и социальных потребностей, связанных с образованием и терапией. Сидман (1960) писал, что «увеличение группы исследования не повышает универсальность данных» (стр. 47).
Однако Сидман не был категорически против использования данных больших групп и любой формы статистики. Даже в «Тактике» он утверждал, что актуарные статистики могут предоставить полезную информацию. В конце своей жизни Сидман считал, что демографическая статистика может быть полезна для распространения принципов анализа поведения. Как пояснил Сидман в интервью Холту (2010):
«Практикующие поведенческие аналитики не всегда понимают, что некоторые вопросы эффективности вмешательств требуют статистики населения. Например, люди, которым приходится иметь дело с практическими вопросами социума и мировыми проблемами - лидеры в правительстве, в вооруженных силах, в дипломатии, в образовании и т.д. - не станут рассматривать вмешательства, которые оказались эффективны для нескольких людей.
Их не интересует какой-либо конкретный человек, и их не беспокоит, если некоторые люди не демонстрируют желаемое изменение поведения при применении вмешательства. Скорее, они хотят знать, какая часть населения продемонстрирует желаемый эффект или насколько велик будет эффект в популяции или организации, в которой применяется вмешательство.»
Методологический Уроборос психологии
Дэвидсон (2018) предоставил концепцию судьбы методологических практик в психологии, вроде ритуализированного тестирования нуль-гипотезы (NHST – Null Hypothesis Significance Testing), с использованием метафоры Уробороса, мифического символа бесконечного «цикла разрушения и возрождения» (Merriam-Webster, 2020).
Общий смысл метафоры Уробороса в анализе Дэвидсона заключается в том, что новые инструменты со временем совершенствуются, пока не станут восприниматься как средство получения достоверных знаний. Инструменты становятся институционализированны как «форма мышления», что ритуализирует их. Затем ритуализированные инструменты становятся предметом широкой критики, что приводит к появлению других инструментов в ответ на критику, и запускает новый цикл.
Как утверждал Дэвидсон, это и произошло с ритуализированной проверкой нулевой гипотезы, и, как он опасался, является судьбой статистического размера эффекта (ES – effect size), который включает уже знакомую стандартизированную разность средних, d Коэна, и другие индексы. В настоящее время ES рекомендуется в качестве альтернативы излишнему акценту на NHST в современной психологии.
Путь методологического разграничения анализа поведения и психологии проложен историческими, эпистемологическими, философскими и практическими соображениями, которые их разделяют. «Тактика» Сидмана дала существенное обоснование анализу поведения, помогая оградить его от той же участи, которая постигла ритуал NHST в психологии.
Дэвидсон (2018) утверждал, что психология основана на механической объективности, с помощью которой она пытается достичь истины в используемых ею методах. По словам Дэвидсона, существует явная борьба между методами и экспертной интерпретацией.
В психологии стандартизированный метод по умолчанию одерживает победу над экспертными знаний, в основном из-за механической объективности (Cohen, 1990) или «культурной нормы использования количественных методов и следования стандартизированным правилам при производстве научных знаний», которая находится в резком противоречии «выученным или экспертным суждениям» (Davidson, 2018). Другими словами, стандартизация возникла из эпистемологического колеса механической объективности.
На рисунке 2 показаны общие исторические элементы метафоры Уробороса в методологии психологии. Предшественники элементов Уробороса, которые описал Дэвидсон (2018), демонстрируют силу его/их воздействия на преобладающие методологические практики в мейнстримной психологии.
Исторически сложилось так, что преобладание в настоящий момент NHST в психологии является побочным продуктом гибридизации двух спорных статистических подходов к выводам/умозаключениям, введенных и продвигаемых в течение почти десятилетия (1925-1933), а именно, точный тест статистической значимости Фишера (SST - statistical significance testing) и тест статистической гипотезы Неймана-Пирсона (SHT - statistical hypothesis testing).
Шнайдер (2015) представил краткое изложение различий между двумя позициями. Работа Шнайдера о контрастирующих позициях подходов указывает на то, что они как нельзя более отличались друг от друга (Lambdin, 2012). Различия присутствуют в интерпретациях p-критерия, в том, как и когда (до или после сбора данных) использовать статистические инструменты, а также в их целях (индуктивная или дедуктивная).
Важный момент разногласий между двумя подходами заключается в смысле p-критерия, особенно при сообщении о незначимых результатах: SST Фишера будет молчать о нулевом значении, но SHT Неймана-Пирсона будет о нем сообщать, что «не имеет ничего общего с действительной истинностью нулевой гипотезы» (Schneider, 2015).
Несмотря на принципиальные различия, эти два подхода были объединены из соображений целесообразности или с целью институционализации. Различия между ними указывают на реальность того, что гибрид, в силу слияния несовместимых позиций, представляет собой их бастардизацию.
Как возник гибрид? Ответ кроется в учебниках по статистике и экспериментальному дизайну, в которых изначально были изложены правила игры. Согласно Хаббарду и Райану (2000), Снедекор - главный пропагандист точки зрения/позиции/подхода Фишера, опубликовал «Calculation and Interpretation of the Analysis of Variance» и «Covariance and Statistical Methods» в 1934 и 1937 годах соответственно.
После этого в 1942 году появились такие учебники, как «Fundamental Statistics in Psychology and Education» Гилдфорда, в которых «логика Фишера сочеталась с дихотомией Неймана и Пирсона» (Woods, 2011). С тех пор в психологических исследованиях господствовал гибрид NHST.
В свете анализа Дэвидсона (2018) гибридный NHST стал стандартным инструментом в психологических исследованиях, а возникшие исследовательские ритуалы закрепились в учебниках после Второй мировой войны. Ритуализация вызвала множество критических замечаний (Branch, 1999, 2014; Harlow et al., 1997; Lambdin, 2012; Morrison & Henkel, 1970), которые по-разному осуждали активное внедрение гибрида NHST и традиционного p-критерия, «часто игнорируемую роль интерпретации» статистики и связанные с этим бессмысленные ритуалы.
Коулз (Cowles, 2001) рассматривал связь эволюции, биометрии и евгеники как основу внедрения статистики в психологию. По словам Коулза, «любопытство к разнообразию и изменчивости приводит к попыткам классификации и измерения». В этом историческом контексте развивать науку позволил союз измерения и статистики. Следовательно, занятие наукой означало классифицирование всего многообразия и его анализа, что требовало сбора и количественной оценки данных посредством статистических методов.
Напомним, что основная проблема в аллегории Уробороса Дэвидсона - это антагонизм экспертного суждения в пользу механической объективности, реализуемой через ритуалы NHST. Однако Дэвидсон не первый и не единственный, кто выступал за экспертное суждение.
Коэн (Cohen, 1990), высказываясь о надлежащем применении статистики, также выдвинул экспертное суждение, даже не смотря на то, что он преуменьшает значимость «индуктивной статистики, применяемой с обоснованным суждением, как полезного инструмента» в широком представлении исследовательского процесса.
Однако, по словам Дэвидсона, «… основным подходом к результатам должна быть интерпретация исследователем, соответствующая контексту; любые стандартизированные руководящие принципы интерпретации должны применяться в крайнем случае». Анализ Дэвидсона поднимает тему актуальности методологического подхода Сидмана (1960) к изучению психологии в более широком историческом контексте.
При сравнении поведенческого анализа с остальной психологией, шкала истинности включает методологию, которая предполагает научное суждение на различных этапах разработки и проведения эксперимента, сбора данных, оценки и интерпретации данных. Сидман (1960) подробно изложил большинство из этих этапов.
При сравнении поведенческого анализа с остальной психологией, шкала истинности включает методологию, которая предполагает научное суждение на различных этапах разработки и проведения эксперимента, сбора данных, оценки и интерпретации данных. Сидман (1960) подробно изложил большинство из этих этапов.
Говоря о роли правил в выработке научного суждения, Сидман посоветовал «…студенту не ожидать набор правил экспериментальной процедуры в классической версии учебника», отметив, что «стремление к науке - сугубо личное дело» (Sidman, 1960). Под «личным делом» он, конечно, не имел в виду небрежную науку, как пояснил десятилетия спустя (Sidman, 1990).
Таким образом, оценка данных в анализе поведения не способствует заучиванию ритуала, как подчеркивал Сидман. Согласно Сидману: 1) не существует сложившихся «беспристрастных» правил научной оценки данных; 2) не существует твердых, надежных оснований, на которых ученые могли бы утверждать «набор правил» оценки данных без иллюзии «надежности»; 3) бездумный эклектизм не является решением проблемы (1960). Для Сидмана «объективность науки состоит не столько в сложившихся правилах процедуры, сколько в самокорректирующей природе научного процесса» (1960).
Невозможно переоценить своевременность публикации «Тактики» Сидмана, учитывая то влияние, которое книга оказала на анализ поведения. Она появилась в самый последний момент, когда NHST достигла своей асимптоты роста в психологии. К 1960 году все психологические журналы, включая те, которые опубликовали односубъектное исследование (Dukes, 1965), почти полностью приняли этот подход, и наступила новая эра бессмысленного ритуала NHST (Cohen, 1990; Davidson, 2018). Методологические обоснования, сформулированные в «Тактике», обеспечили защиту от натиска NHST, который пронизывал психологию того времени.
Текст: Анна Войтова
Оформление: Вероника Пачина
Оригинал:
Iversen, I.H. (2021). Sidman or statistics?. Jrnl Exper Analysis Behavior, 115: 102-114.
Imam, A.A. (2021). Historically recontextualizing Sidman's Tactics: How behavior analysis avoided psychology's methodological Ouroboros. Jrnl Exper Analysis Behavior, 115: 115-128.