Вапник Владимир Наумович
Владимир Наумович Вапник родился 06.12.1936 г. В 1943-1953 гг. учился в школе № 18 в Ташкенте. В 1958 г. окончил Узбекский государственный университет в Самарканде (https://ru.wikipedia.org/wiki/Вапник,_Владимир_Наумович).
Он внес неоценимый вклад в развитие машинного обучения, за что получил «кучу» международных премий. В статье 2018 г. «Prestigious AI Series Wraps up with Lecture by the Father of Machine Learning» (https://engineering.nyu.edu/news/prestigious-ai-series-wraps-lecture-father-machine-learning) его и вовсе называют отцом машинного обучения.
Владимир Наумович в 1964 г. под руководством Александра Яковлевича Лернера в Институте проблем управления АН СССР (https://www.ipu.ru/sites/default/files/page_file/75 лет ИПУ РАН.pdf) защитил кандидатcкую диссертацию по статистике.
С 1962 по 1971 г. Владимир Наумович вместе с Алексеем Червоненкисом (https://ru.wikipedia.org/wiki/Червоненкис,_Алексей_Яковлевич) разрабатывал метод обобщенного портрета для распознавания образов. В 1968 г. они получили фундаментальный результат – условия равномерной сходимости частот к вероятностям по классу событий. В их честь названа характеристика семейства алгоритмов для решения задачи классификации с двумя классами, характеризующая сложность или ёмкость этого семейства (размерность Вапника – Червоненкиса или VC-размерность, https://ru.wikipedia.org/wiki/Размерность Вапника — Червоненкиса).
В 1974 г. была опубликована книга: Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М.: Наука, 1974. А вот одна из первых их статей: Вапник В.Н., Червоненкис А.Я. Об одном классе алгоритмов обучения распознаванию образов // Автоматика и телемеханика. 1964. № 6, c. 937-945.
В 1971 г. Лернер совершил по тем временам невероятное преступление – подал заявление на отъезд из страны. Разрешение на выезд ему дали только через ... 17 лет! (в разгар перестройки – в 1988 г.). После подачи указанного заявления в ИПУ началась паника, и чтобы подстраховаться решили уволить Вапника, как весьма близкого к Лернеру человека (https://www.youtube.com/watch?v=LMZ-Et2uyZc).
Выдающийся ученый Яков Залманович Цыпкин (https://ru.wikipedia.org/wiki/Цыпкин,_Яков_Залманович) поручился за Вапника перед директором ИПУ Вадимом Александровичем Трапезниковым (https://ru.wikipedia.org/wiki/Трапезников,_Вадим_Александрович).
После этого конфликт был исчерпан. При этом Вапник и Червоненкис были переведены в лабораторию Александра Михайловича Петровского, который был человеком редкой порядочности. Он, в частности, позволил переведенным продолжить исследования по восстановлению зависимостей по эмпирическим данным.
Казалось бы, все было хорошо, но, когда Вапник написал докторскую диссертацию Высшая аттестационная комиссия пошла на редкий шаг – сменила ему одного из оппонентов. Это был плохой сигнал, и Трапезников предложил самому Вапнику выбрать – защищаться ему сейчас или нет, и тот снял диссертацию с защиты.
Владимир Наумович считает (https://www.youtube.com/watch?v=LMZ-Et2uyZc), что многое в его научной жизни прошло на волоске от катастрофы, однако ему сильно повезло и практически все задуманное у него получилось. Вапник смог опубликовать все научные результаты, что он получил. Люди его слушали, и это большое счастье. Он считает, что старики в ИПУ – Лернер, Цыпкин, Айзерман – были мужественными людьми.
После снятия диссертации с защиты Владимир Наумович начал писать книгу и писал ее, как он сам говорит, с остервенением, и написал хорошо. Она была опубликована на русском языке в 1979 г.: Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979, а через три года эта книга вышла и на английском: Vapnik.V. Estimation of Dependences Based on Empirical Data. NY: Springer, 1982.
Докторскую диссертацию на тему «Принцип структурной минимизации в задачах восстановления зависимостей по эмпирическим данным» Владимир Наумович (https://www.ipu.ru/node/11937), все-таки, защитил в 1984 г. в ИПУ (https://www.dissercat.com/content/printsip-strukturnoi-minimizatsii-v-zadachakh-vosstanovleniya-zavisimostei-po-empiricheskim-). Утвердил ли его ВАК я не знаю…
В результате им была создана статистическая теория восстановления зависимостей по эмпирическим данным, которая была названа методом опорных векторов (https://ru.wikipedia.org/wiki/Метод_опорных_векторов). Название этого метода на английском: Support-Vector Machine или SVM (https://en.wikipedia.org/wiki/Support-vector_machine). Метод строит классификатор, который обобщал принципы перцептрона и стал широко использоваться в машинным обучении (https://habr.com/ru/articles/802185/). В сочетании с «ядерным трюком» (kernel trick), который стал его нелинейным расширением, этот метод был одно время основным в машинном обучении.
Этот трюк применялся, если данные нельзя линейно разделить в исходном пространстве, к ним применяют преобразования, которые конвертируют их в пространство признаков более высокого измерения. Цель этого преобразования – сделать так, чтобы после него классы линейно разделялись в этом пространстве функций более высокой размерности. Затем можно установить границу решения, чтобы разделить классы и сделать прогнозы. Это преобразование неявное – исходные данные не нужно явно отображать в пространство более высокой размерности, что экономит вычислительные ресурсы и упрощает процесс. При этом используют функции ядра, которые вычисляют скалярные произведения между образами всех пар точек данных в пространстве признаков.
В то время Вапник утверждал, что обучающимся машинам нужны не столько так называемые «большие данные», сколько умные способы их анализа (https://www.youtube.com/watch?v=rNd7PDdhl4c). Это как в японской пословице: «Лучше один день провести с великим учителем, чем тысяча дней прилежного изучения». Но это оказалось не совсем так или совсем не так. Естественно, что это относится к «большим данным», а не к великим учителям.
Вапник относился к нейросетям скептически: 1. Переобучение и слабая теория. В 1990-х нейронные сети страдали от переобучения, а их поведение плохо поддавалось теоретическому анализу. Нейронные сети ему не нравились, так как были слишком сложными, чтобы их можно было объяснить хорошей теорией. Это шло вразрез с его философией, так как он считал, что обучение должно быть строго обосновано. 2. SVM был на пике. В 90-е годы предложенный им метод демонстрировал выдающиеся результаты на многих задачах, особенно при ограниченных объемах данных. На этом фоне нейросети казались менее практичными. 3. Нехватка данных и вычислений. Тогда ещё не было таких массивов данных и мощностей, которые сделали возможным успех глубокого обучения (Лекун Ян. Как учится машина. Революция в области нейронных сетей и глубокого обучения, https://www.litres.ru/book/yan-lekun/kak-uchitsya-mashina-revoluciya-v-oblasti-neyronnyh-setey-i-glub-66361966/chitat-onlayn/ ).
Вапник работал в группе ЛеКуна в AT&T, но несмотря на это не верил в будущее нейронных сетей и не скрывал этого: «Через 10 лет никто в здравом уме не будет использовать нейронные сети».
При этом отмечу, что создание им SVM было очень высоко оценено научной общественностью. За его создание Вапник награжден премией Канеллакиса (2008), премией IEEE «Пионеру нейронных сетей» (2010), премией IEEE Френка Розенблатта (2012), медалью Бенджамена Франклина (2012) – это одна из важнейших научных наград в мире, NEC C & C Prize (2013), премией Кампе де Фериэ (2014), медалью IEEE Джона фон Неймана (2017) и медалью Колмогорова (2018) (http://www.kolmogorov.clrc.rhul.ac.uk/).
В 2004 г. IEEE установила награду имени Фрэнка Розенблата, которую присуждают за «выдающийся вклад в продвижение проектов, практику, методы или теорию, которые используют биологические и лингвистические вычислительные парадигмы, но не ограничиваются нейронными сетями, коннективистскими системами, эволюционными вычислениями, нечеткими системами, и гибридными интеллектуальными системами, в которых содержатся эти парадигмы».
Вот кто был награжден IEEE Frank Rozenblat Award (https://en.wikipedia.org/wiki/IEEE_Frank_Rosenblatt_Award): 2020: Xin Yao; 2019: Erkki Oja; 2018: Enrique H. Ruspini; 2017: Stephan Grossberg; 2016: Roald R. Yager; 2015: Marco Dorigo; 2014: Geoffrey E. Hinton; 2013: Terrence Sejnowski; 2012: Vladimir Vapnik; 2011: Hans-Paul Schwefel; 2010: Michio Sugeno; 2009: John J. Hopfield; 2008: Teuvo Kohonen; 2007: James C. Bezdek; 2006: Lawrence J. Fogel.
Одна из самых высоких наград в мире науки в целом – Benjamin Franklin Medal (https://ru.wikipedia.org/wiki/Медаль_Бенджамина_Франклина). В 2012 г. ее получили два человека, учившихся в одной школе: Vladimir Vapnik (Computer and Cognitive Science) и Rashid Sunyaev (Physics).
А вот, кто получал IEEE Neural Networks Pioneer Award (https://cis.ieee.org/getting-involved/awards/past-recipients#NeuralNetworksPioneerAward): 2019: Yoshua Bengio; 2018: Lee Giles; 2016: Marios M. Polycarpou; 2016: Jürgen Schmidhuber; 2014: Yann LeCun; 2014: Jun Wang; 2013: Frank Lewis; 2011: Jose C. Principe; 2010: Vladimir Vapnik; 2009: John G. Taylor; 2008: Gail Carpenter; 2008: Kumpati S. Narendra; 2007: Michael Jordan; 2006: Erkki Oja; 2006: Donald Specht; 2005: Carver Mead; 2004: Andrew Barto; 2003: Kunihiko Fukushima; 2002: Terrence J. Sejnowski; 2001: James McClelland; 2001: David E. Rumelhart; 2000: Leon Chua; 1999: Robert Hecht-Nielsen; 1998: Geoffrey E. Hinton; 1997: John J. Hopfield; 1995: Michael A. Arbib; 1995: Nils J. Nilsson; 1995: Paul J. Werbos; 1994: Christoph von der Malsburg; 1993: Thomas M. Cover; 1992: Shun-Ichi Amari; 1992: David Willshaw; 1992: Walter Freeman; 1991: Stephen Grossberg; 1991: Teuvo Kohonen; 1991: Bernard Widrow.
Теперь о IEEE John von Neumann Medal (https://en.wikipedia.org/wiki/IEEE_John_von_Neumann_Medal). Вот некоторые из тех, кто ее получил: 1995: Д. Кнут; 2003: А. Ахо; 2004: Д. Хопкрофт (почетный доктор Университета ИТМО) и Д. Ульман; 2011: Ч. Хоар (почетный доктор Университета ИТМО); 2015: Д. Гослинг; 2017: В. Вапник (За разработку статистической теории обучения, теоретические основы машинного обучения и метод опорных векторов).
Вапник сегодня один из признанных в мире лидеров машинного обучения (https://cml.rhul.ac.uk/index.html). Его труды, опубликованные с 1995 г. по 2011 г., приведены здесь: https://cml.rhul.ac.uk/publications/vapnik/index.shtml. Показатели цитируемости: Citations – 257 520, h-index – 92 (https://scholar.google.com/citations?user=vtegaJgAAAAJ&hl=en).
Основные монографии: Vapnik V.N. The Nature of Statistical Learning Theory. Springer, 1995, 2000 и Vapnik V.N. Statistical Learning Theory. NY: John Wiley, 1998.
В 2019 г. Владимир Наумович опубликовал большую статью на русском языке, посвященную памяти, как он пишет, «выдающегося ученого и замечательного человека Я.З. Цыпкина»: Вапник В.Н. Полная теория обучения // Автоматика и телемеханика. 2019. № 11, с. 24-58 (http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=at&paperid=15378&option_lang=rus). Естественно, имеется и ее англоязычная версия (https://link.springer.com/article/10.1134/S000511791911002X).
С 1990 г. В.Н. Вапник работает за рубежом, причем с 1990 по 2002 гг. в знаменитой AT&T Bell Laboratories. Сейчас Владимир Наумович – профессор Центра вычислительных систем обучения Колумбийского университета и Fellow of NEC Labs America. Он почетный сотрудник ИПУ (https://www.ipu.ru/honorary-scientific-researchers).
В заключение отмечу, что Алексей Яковлевич Червоненкис (https://habr.com/ru/company/yandex/blog/238545/) был ведущим научным сотрудником ИПУ, профессором МФТИ и колледжа Royal Holloway Лондонского университета, а также преподавателем Школы анализа данных «Яндекса». Он умер от переохлаждения в лесу. Journal of Machine Learning Research выпустил специальный номер, посвященный его памяти (https://www.jmlr.org/papers/special/chervonenkis15.html).
06.01.2021. https://news.itmo.ru/ru/blog/315/. Вариант статьи опубликован в «Виртуальном компьютерном музее» (https://www.computer-museum.ru/articles/predpriyatiya-i-nii/5152/).
P.S. 1. 16.11.2021 г. суперкомпьютер Chervonenkis (https://www.facebook.com/photo/?fbid=10157882497821403&set=a.10150448878836403) работающий в «Яндексе», занял с производительностью 21.53 петафлопс 19 место в мире. Это самый мощный компьютер в России.
2. Сначала этот текст был размещен в «Виртуальном компьютерном музее» в разделе «Институт проблем управления», где Владимир Наумович работал до отъезда из страны. По моему ходатайству 09.07.2025 г. этот текст был размещен также и в «Галерее славы» этого музея (раздел «Отечественные ученые и инженеры»).