Сравнение точности прогнозов в 2020 году.
Как обычно, я начинаю подводить итоги года с публикации результатов моей оценки оправдываемости прогнозов различных моделей. Мне кажется, оценка оправдываемости прогнозов - это очень важно для доверия к любой организации или модели, которая делает прогнозы. Одно дело - просто составлять какие-то прогнозы, совсем другое - нести за них ответственность и честно признавать свои ошибки. Я знаю, что у многих из нас есть любимая модель, приложение или сайт, на которых мы чаще всего смотрим прогнозы. Даже в беседе нашей группы чаще всего видно, кто любит какую модель, кто какие прогнозы чаще всего показывает. К сожалению, часто "любовь" бывает зла. Слепо доверяя любимому сайту или приложению, часто мы его любим за красивый интерфейс или просто пользуемся по привычке. А статистика обычно содержит слишком много цифр, которые для людей ещё хуже, чем "много букв". Но всё-таки для тех, кому важна именно точность прогнозов, а не красивый внешний вид или аргументы типа "мой телефон показывает...", "по телевизору сказали...", информация, приведённая ниже, всё-таки может быть полезна.
Поскольку в нашей группе за последний год появилось много новых подписчиков, думаю, будет не лишним напомнить, как я получаю эти данные. Любой сайт, приложение или даже человека, который способен регулярно выдавать прогнозы по нужным мне метеопараметрам, я называю "моделью". Поэтому "модель" - это и официальные прогнозы, и прогнозы нашей группы, и мои собственные прогнозы, и прогнозы моей собственной "модели". Эта модель, конечно, не решает самостоятельно уравнения гидродинамики. Она берёт уже готовые прогнозы с разных сайтов и пытается подобрать к ним такие коэффициенты, чтобы итоговый прогноз получался максимально точным. Чтобы подобрать коэффициенты, я постепенно собираю данные по оправдываемости разных моделей, и сейчас у меня уже набралась выборка за несколько лет. В этом году я, на основе этой выборки, подобрал оптимальные коэффициенты для прогнозов температуры. С облачностью и осадками, к сожалению, не успел.
Считается оправдываемость по прогнозам, сделанным в дни выхода обзоров - в понедельник и четверг. Это позволяет мне убить сразу нескольких зайцев: обеспечить одинаковую выборку данных для честности сравнения, использовать эти же данные для прогнозов моей модели.
Набор моделей, которые я использую в качестве источников данных и для оценки, постепенно меняется. Каждый год, по итогам подсчёта оправдываемости, я выкидываю из рейтинга самую неточную модель и заменяю её на другую по советам коллег и подписчиков. Это мы сделаем и в этот раз, в конце поста.
Несколько пояснений к названиям моделей. С Intellicast, MeteoBlue, YR, Foreca и Yandex, думаю, понятно: это просто прогнозы, взятые с соответствующих сайтов. Official - прогнозы официальных синоптиков. Pogoda812 - ежедневные прогнозы, публикуемые в нашей группе. SPBW - мои прогнозы, которые я делаю вручную. Сейчас из этих прогнозов я публикую только осадки в табличках в конце обзоров. EXP - прогноз моей экспериментальной модели. Температуру и облачность из этих прогнозов я публикую в табличках в конце обзоров. EXP (c окр.) - то же, что EXP, но с округлением температуры до целых градусов.
Ну а теперь приступим, собственно, к цифрам. Те, кто их не любит, могут посмотреть только последнюю табличку - в ней подведены итоги и составлен рейтинг моделей. Сначала, как обычно, посмотрим на прогнозы температуры на один день.
Поскольку моя экспериментальная модель (EXP) выдаёт прогнозы с точностью до десятых долей градуса, она имеет преимущество по точности перед другими моделями. Поэтому в этот раз я ввёл ещё одну графу EXP (с округлением), где температуру, рассчитанную этой моделью, я округлял до целых градусов. Это привело, конечно, к некоторой деградации точности, и точность прогнозов (напомню, они публикуются в табличке в конце обзора) стала практически такой же, как у прогнозов группы (Pogoda812) для максимальной температуры и всё равно осталась на первом месте в прогнозах минимальной температуры. У прогнозов группы зато минимальная систематическая погрешность. Это значит, что температура завышалась и занижалась примерно в равном числе случаев. Большинство моделей максимальную температуру занижают, и минимальную тоже, но чуть меньше.
Вообще, нужно отметить, что оправдываемость практически по всем параметрам у всех моделей в этом году выросла. Хотя, в середине года были разговоры о том, что она должна упасть из-за того, что стали меньше летать самолёты, которые делают дополнительные измерения. Как оказалось, это не так. Что послужило причиной довольно резкого роста оправдываемости, не очень понятно. Скорее всего, год просто был более удачным для модельных прогнозов. Ситуаций, когда всё шло совсем не по прогнозам моделей (пролётов), было очень мало. По моим наблюдениям, сильно помогла циклоническая тёплая зима, которая, в целом, более прогнозируема, чем антициклоны с малопредсказуемой инверсионкой и неожиданными пике температуры при ночных прояснениях. Ну и вообще год был довольно циклоническим, и погода больше определялась глобальными факторами, чем локальными, которые гораздо хуже прогнозируются.
Облачность некоторые модели смогли предсказать со средней точностью лучше 10%. Такого никогда раньше не было, поэтому оценка зашкалила за 5.00 :) Как и следовало ожидать, хуже всего предсказывает облачность Яндекс, который её ужасно завышает. По сути, прогнозы Яндекса по облачности малоинформативны, потому что в большинстве случаев он даёт облачный прогноз. Тройка лидеров тут такая же, как всегда: моя модель, мои "ручные" прогнозы и прогнозы группы. Из сайтов наиболее адекватны по облачности YR и Foreca. Правда, YR меня очень сильно разочаровал в конце года. Раньше у них был наглядный график облачности отдельно для трёх ярусов. Теперь они сделали новый дизайн сайта, в котором этого нет, и вообще информации заметно меньше, да ещё и только на норвежском языке :(
Осадки. В этом году моя модель "научилась" выдавать прогноз осадков. Пока она это делает по довольно "тупому" алгоритму: просто среднее по моделям, без коэффициентов. Но даже такой простенький алгоритм обеспечил ей второе место. Прогнозы группы тут лидируют. Осадки - единственный параметр, по которому неплохо смотрятся официалы. Кстати, только они осадки завышают, все остальные - занижают (то есть чаще не прогнозируют осадки тогда когда по факту они есть). Хуже всего с этим у Intellicast и MeteoBlue.
Перейдём к прогнозам на 2-3 суток. Могу отметить, что такие прогнозы в группе стали точнее. По всей видимости, им стали больше уделять внимание. У официалов с прогнозами температуры довольно плохо. Я понимаю, что им надо дать прогноз, который одновременно оправдается на 8 станциях, но если сравнивать прогнозы конкретно на ИЦП, то они проигрывают не только нам, но и большинству моделей. И, к сожалению, точность их прогнозов не улучшается.
Ещё в большей степени это относится к облачности. Как я понимаю, для официалов облачность - это вообще второстепенный параметр, в прогнозе она даже не всегда фигурирует, а иконка на сайте иногда не соответствует тексту прогноза. Но, даже если прогноз есть, градаций в нём слишком мало. Хотя, модели в большинстве случаев успешно прогнозируют облачность даже на 2-3 суток с точностью 10-15%. Жаль, что так, потому что лично для меня облачность - это самый важный метеопараметр. Именно она главным образом создаёт ощущение погоды. Есть солнце - значит погода уже точно не плохая, даже если ветер и холодно.
Ну а теперь перейдём к главному - подведению итогов и составлению рейтинга моделей. Итак, что же у нас получилось в этом году, кто станет лидером, а кто "вылетит" из рейтинга?
На первом месте моя экспериментальная модель. Понятно, что выигрыш в 0.03 балла ей могла принести большая точность представления результата (температура до десятых градуса, облачность до процента). Но, тем не менее, победа довольно убедительная, и это наводит меня на мысль, что таким методом можно было бы делать и ежедневные прогнозы в группе, особенно учитывая то, что кадров у нас хронически не хватает. Но для этого модель нужно ещё сильно дорабатывать, а это требует много времени. Причём, у неё ещё есть резерв для повышения точности: оптимизация коэффициентов прогноза облачности и осадков, которую я планирую провести в следующем году.
Прогнозы в группе на третьем месте. Довольно сильно уступают модельным прогнозам прогнозы облачности, особенно на 2-3 дня. Осадки на 2-3 дня тоже "хромают". Я бы посоветовал Паше считать оправдываемость прогнозов и на 2-3 дня тоже, потому что, мне кажется, не всегда наши синоптики уделяют им должное внимание.
Из моделей-сайтов лучшей оказалась Форека (всё-таки не зря Артур, у которого были самые точные прогнозы в группе так её любит :)) Более-менее сносен Интелликаст, хотя у него плохо с осадками. Метеоблю и YR - так себе. YR очень сильно занижает температуру (особенно ночную), и часто "не видит" осадки. У Метеоблю всё неплохо с температурой, но вот с осадками - беда (не видит) и с облачностью не очень (завышает).
Ну и теперь мы подходим к нашим аутсайдерам. У официалов хороший прогноз осадков, но облачность и температуру лучше у них не смотреть. Ну и наш "любимый" Яндекс ожидаемо повторяет участь Гисметео и "сырого" GFS и выбывает из игры всего через год после вступления. У него плохо всё: и температура, и осадки, но совсем ужасна облачность. Я бы предложил разработчикам сайта не мудрить с искусственным интеллектом, а брать хотя бы среднее по моделям. Уже было бы на порядок точнее. Ну а мы с Яндексом прощаемся.
Вместо него в 2021 году нужно будет взять какую-то новую модель. Есть какие-нибудь предложения? Какому сайту, кроме перечисленных в таблице и выбывших вы доверяете? Требования к кандидатам: должны быть прогнозы минимальной и максимальной температуры, облачности и осадков на срок до 4 суток.
На этом обзор оправдываемости прогнозов в 2020 году я завершаю, ну а выводы такие: если вы читаете нашу группу, то другими погодными сайтами можно вообще не пользоваться, так как прогнозы там наверняка будут менее точными. И это я говорю не в качестве самоутверждения, чтобы похвалить себя, а так действительно выходит по статистике. Если же пользоваться другими сайтами, то имейте в виду их сильные и слабые стороны, которые я тоже обозначил. Ну и если вашего любимого сайта ещё нет в табличке - предлагайте его, на следующий год я добавлю тот, который предложат наибольшее число людей.