Измерить что-то и не впасть в дисперсию: меры изменчивости

Александр Сойнов & Александр Кулябин

Мы продолжаем знакомство с непонятным, но интересным миром описательной статистики. В прошлой статье мы разобрались с мерами центральной тенденции, то есть по сути — с основными методами нахождения общего в имеющейся совокупности.

В этом материале мы с вами разберемся с тем, как отразить степень различий индивидуальных результатов в совокупности от их центральной тенденции. А если проще, то насколько в принципе субъекты могут друг от друга отличаться.

Для этого используются меры изменчивости. К ним относятся размах, дисперсия и стандартное отклонение.

Введение

Чтобы понять, о чем пойдет речь, обратимся к нашему примеру из прошлой статьи: напомним, что мы изучали какой рост встречается в определенной группе людей.

Пусть перед глазами будет график, где по оси Х мы отразим все полученные нами переменные, а по оси Y – сколько людей имели тот или иной рост.

Описать его с точки зрения центральной тенденции мы уже сможем, теперь перейдем к описанию его мер изменчивости. Начнем с простого.

Размах

Для нашего графика размах будет равен: R = 200 (максимальный рост из нашей выборки) -150 (минимальный рост) = 50 см.

Таким образом мы отразим максимальную разницу в значениях среди нашей выборки. На основании размаха мы можем судить о близости имеющихся значений или наличии выбросов.

Вроде бы прекрасный в своей простоте метод, но его основная проблема в том, что он учитывает изменчивость нашего признака, опираясь лишь на два крайних значения. То есть ни о каком отражении совокупности речь, разумеется, не идет. А следовательно — размах крайне чувствителен к выбросам.

Если в нашу группу мы добавим одного человека с ростом в 250 см, размах увеличится в два раза (250-150=100 см), но говорить, что при этом изменилась вариативность признака, будет не совсем правильно.

В целом, получившееся у нас распределение можно назвать нормальным (об этом дальше). Но давайте предположим, что крайние значения (200 см и 150 см) это выбросы, сильно влияющие на размах. Наличие выраженных выбросов лишает смысла определение размаха, но мы все же можем это несколько нивелировать — в противном случае любое сильное отклонение сведет наши расчеты.

Чтобы избежать искажений, мы можем отсечь 25 % самых высоких и 25 % самых низких людей (то есть 1 и 4 квартили) и найти размах для оставшегося диапазона.

Размах разумно использовать, когда изучаемое явление предсказуемо и достаточно однородно. Такая методика применима, например, при прогнозировании своих трат на покупку квартиры, или поиске работы с оглядкой на размах зарплат в регионе. Ну, а некоторые бесспорные недостатки размаха можно нивелировать, применив межквартильный размах.

Далее пойдут понятия, которые уже невозможно объяснить на пальцах и без использования математики. Крепитесь.

Дисперсия

Дисперсия показывает, насколько в среднем все значения выборки отклоняются от среднего значения по выборке.

Давайте разбираться, как это посчитать и зачем это надо.

К формуле дисперсии мы обратимся ниже, пока сделаем ряд вычислений, чтобы нам было легче разобраться.

Итак, среднее значение по нашей выборке x̅=175 см.

Чтобы рассчитать среднее отклонение (квадрат которых нам нужен по определению дисперсии), для начала надо выяснить индивидуальные отклонения каждого значения.

Для этого мы вычтем из каждого значения 175 см ( то есть наше среднее арифметическое). (Показано черными стрелками).

Такое действие обозначается формулой х-x̅, где х — это наблюдаемое значение, а x̅ - среднее значение.

Итак — погнали:

1. 150 см - 175 см = -25 см
2. 155 см -175 см = -20 см (таких действий надо провести два, так как у нас имеется два человека с подобным значением роста)
3. 160 см - 175 см = - 25 см (таких, соответственно, четыре)
4. 165 см - 175 см = -10 см (таких пять и так далее...)
5. 170 см - 175 см = -5 см
6. 175 см - 175 см = 0 см
7. 180 см - 175 см = 5 см
8. 185 см - 175 см = 10 см
9. 190 см -175 см = 15 см
10. 195 см - 175 см = 20 см
11. 200 см - 175 см = 25 см

Для простоты понимания и чтобы не растягивать статью, здесь и далее представим, что в нашей выборке каждому росту соответствует один человек, а значит, количество индивидуальных наблюдений в этот раз составляет 11 человек.

Итак, мы рассчитали отклонение для каждого из наших наблюдений от среднего значения, и что теперь?

Время обратиться к формуле дисперсии.

Что мы тут видим (кроме душераздирающего количества математических символов)?

Мы видим, что в числителе стоит сумма отклонений каждого из наблюдений (х-x̅) еще и возведенная в квадрат, а в знаменателе — количество этих самых наблюдений.

Почему нужно возводить в квадрат, спросите вы? Вспомнив предыдущую статью, вы поймете, что числитель отражает одно из свойств среднего арифметического, а именно то, что сумма всех отклонений равняется нулю. Чтобы это избежать и нивелировать отрицательные значения отклонений, мы и возводим в квадрат.

Нам необходимо возвести все в квадрат, сложить и поделить — что может быть проще? Вперед:

1. (-25 см)² = 625 см²
2. (-20 см)² = 400 см²
3. (-15 см)² = 225 см²
4. (-10 см)² = 100 см²
5. (-5 см)² = 25 см²
6. (0 см)² = 0 см²
7. (5 см)² = 25 см²
8. (10 см)² = 100 см²
9. (15 см)² = 225 см²
10. (20 см)² = 400 см²
11. (25 см)² = 625 см²

Складываем и получаем 2750 см²

Почему мы делим на (n-1)? Если честно, ответ на этот вопрос простирается гораздо глубже настоящей статьи. Да оно и не важно, просто знайте, что при работе с выборочной совокупностью надо делить на (n-1), но если вы будете работать с совокупностью генеральной, то делить будете просто на n (но в медицине это встречается не часто)

Мы работаем с выборочной совокупностью, и ее размер составил 11 человек.

Делим на число наблюдений минус 1, то есть на 10:

D=2750 см²/ 10= 275 см².

Странно, не находите? Считали отклонения показателей роста, а получили площадь. Действительно странно. Сама по себе дисперсия нам ничего не говорит о выборке и ее мере изменчивости.

Дисперсия характеризует то, насколько индивидуальные значения отклоняются от среднего. Но в силу того, что она всегда представляет собой квадрат нужных нам единиц, оперировать ей не так удобно как стандартным отклонением.

Тогда что делать дальше? Вспомним, что для того чтобы избавиться от отрицательных значений, мы возвели все отклонения в квадрат.

Значит сейчас надо просто найти корень из того, что получилось. Таким образом мы получим стандартное отклонение (оно же среднеквадратичное). Если бы мы работали с генеральной совокупностью, оно называлось бы сигмой (σ).

Таким образом, в нашем случае стандартное отклонение равно корню из 2750. То есть 16,58 см.

Стандартное отклонение

И вот тут же, получив корень из дисперсии, мы действительно нашли реальное среднее отклонение наших значений от среднего значения по выборке.

Среднее значение и среднеквадратическое отклонение очень часто совместно используются для описания исследуемых выборок.

Дело в том, что, как правило, большинство (а именно около 68 %) значений, согласно закону нормального распределения, находится в пределе +/- одного среднеквадратического отклонения от среднего, то есть изменчивость признака для 68% нашей группы 175 см ± 16,58 см.

Эти значения ( в нашем случае рост) обладают так называемым нормальным размером. Оставшиеся 32 % либо очень высокие, либо очень низкие люди. В целом для большинства исследуемых признаков картина распределения выглядит вот так:

Таким образом, зная меры изменчивости, мы можем сказать, насколько разнообразным является исследуемый признак в целом и в каком диапазоне лежит статистическая норма по тому или иному параметру.

Итог

1. Меры изменчивости позволяют узнать насколько разнообразны проявления признака для исследуемой группы, и в каком диапазоне лежит норма этого признака.
2. К мерам изменчивости относятся размах, дисперсия и стандартное (среднеквадратическое) отклонение.
3. Около 68% значений исследуемого признака лежат в пределах одной сигмы, то есть в пределах одного среднеквадратического отклонения от среднего арифметического.

Глоссарий:

1. Размах (Range) - это разность между максимальным и минимальным значением признака
2. Межквартильный размах - это разность между показателями, соответствующими первому и третьему квартилю, то есть 50% процентов значений, наиболее близких к медиане
3. Дисперсия (variance) - это средний квадрат отклонений индивидуальных значений признака в выборке от среднего арифметического этой выборки.
4. Стандартное отклонение (standart deviation) - это квадратный корень из дисперсии. На данное число в среднем отличаются все индивидуальные значения от среднего арифметического в выборке.