Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления

Введение

Когда мы говорим об искусственном интеллекте, особенно о больших языковых моделях (LLM), часто представляем себе нечто мыслящее, понимающее и даже обладающее зачатками сознания. Но так ли это на самом деле? Я задался вопросом: а где, собственно, «находится» этот интеллект? В каком пространстве он существует? И может ли в современной архитектуре нейросетей зародиться нечто похожее на человеческий разум?

В своём исследовании я решил заглянуть внутрь этих моделей и изучить геометрию их «внутреннего мира» — пространства эмбеддингов, в которые превращаются слова, фразы и целые тексты. Моя гипотеза проста: если это пространство статично, линейно и подчиняется жёстким законам, то никакой настоящей динамики, а значит и подлинного интеллекта, там возникнуть не может. Модель лишь скользит по заранее проложенным рельсам, набирая контекст, как снежный ком набирает снег, катясь с горы, пока не упрётся в готовый ответ.

1. Актуальность исследования: от узкого ИИ к общему

Вопрос о возможности создания искусственного общего интеллекта (AGI) остаётся одним из самых спорных в науке. Одни исследователи, в основном из инженерного лагеря, верят в достижимость AGI и разрабатывают соответствующие системы — от алгоритмов на основе обучения с подкреплением (таких как AIXI и BoMAI) до масштабных моделей вроде Gato от DeepMind, способной выполнять сотни разнообразных задач . Другие, преимущественно философы, указывают на принципиальные ограничения машинного разума: отсутствие у компьютеров телесного опыта, неформализуемого фонового знания и интуиции, которые лежат в основе человеческого понимания мира .

Однако, как справедливо отмечает Мостафа Чехрегани в своей работе "The Embeddings World and Artificial General Intelligence", сама постановка вопроса "возможен ли AGI?" требует уточнения. Возможно, AGI следует рассматривать не как конечный продукт или алгоритм, а как непрерывный процесс, подобный развитию человеческой цивилизации. И ключевую роль в этом процессе играют предобученные эмбеддинги — векторные представления, которые могут стать основой для построения "интеллектуального мира", доступного машинам .

Парадокс в том, что именно эти эмбеддинги, призванные стать мостом к AGI, при ближайшем рассмотрении обнаруживают свойства, которые ставят под сомнение саму возможность возникновения разума в рамках текущей парадигмы. Чтобы проверить это, я проанализировал три популярные модели эмбеддингов (одноязычную, многоязычную и LaBSE) на четырёх разных текстовых коллекциях — от «Маленького принца» на русском и английском до технических описаний товаров и статей из Википедии. Результаты оказались поразительно устойчивыми и нашли подтверждение в новейших исследованиях.

2. Как устроены современные модели эмбеддингов

Для начала разберёмся, с чем я имел дело. Все три модели преобразуют текст в многомерные векторы, но делают это немного по‑разному.

Модель 1: Одноязычная (all-MiniLM-L6-v2)

Модель 2: Многоязычная (paraphrase-multilingual-MiniLM-L12-v2)

Модель 3: LaBSE (Language-agnostic BERT Sentence Embedding)

Как видно из таблиц, у каждой модели есть заявленная размерность (384 или 768), но реальная «внутренняя размерность» — то есть сколько измерений реально используется для хранения смысла — гораздо меньше: от 51 до 85. Это уже первый намёк на то, что пространства сильно сжаты и структурированы. Данный феномен подтверждается в работе Микхальчука с соавторами (2024), которые показали, что в процессе обучения внутренняя размерность сначала растёт, расширяя пространство представлений, а затем сжимается, формируя более компактные репрезентации .

3. Пять универсальных закономерностей

Анализируя все коллекции, я обнаружил пять свойств, которые повторяются независимо от модели и текста. Я назвал их инвариантами — величинами, которые остаются постоянными.

Инвариант 1: Сильная неравномерность

Все пространства оказались неоднородными — векторы не разбросаны равномерно во все стороны, а собраны в узком конусе. Коэффициент неравномерности (чем ближе к 1, тем сильнее скученность) везде выше 0.82, а среднее значение — 0.87. Вот данные для примера:

Разброс очень мал (всего 4% от среднего), значит это не случайность, а фундаментальное свойство.

Интересно, что исследования Чистяковой (2024) показывают: разные архитектуры могут демонстрировать различные паттерны анизотропии. Например, авторегрессионные модели вроде GPT-2 характеризуются особенно высокой анизотропией и большими средними значениями векторов, что говорит о принципиально ином способе кодирования информации по сравнению с энкодерами типа BERT . Микхальчук и коллеги (2024) уточняют эту картину, обнаружив, что в трансформерах-декодерах анизотропия распределена по колоколообразной кривой с пиком в средних слоях, тогда как в энкодерах она более равномерна .

Инвариант 2: Самоподобие на всех масштабах

Если взять пространство и посмотреть на него под разным «увеличением», структура остаётся одинаковой. Коэффициент согласованности равен ровно 1 для всех коллекций. Пространство как бы повторяет само себя — это признак фрактальной организации.

Инвариант 3: Надёжность измерений

Все построенные мной «отпечатки» пространств получились качественными: показатель надёжности нигде не опускается ниже 0.64. Это значит, что наблюдения не вызваны случайными колебаниями, а отражают реальное устройство моделей.

Инвариант 4: Богатая структура

Хотя пространства неравномерны, они не пусты. Спектральная энтропия — мера того, насколько равномерно распределена информация по разным направлениям — везде превышает 3.4. Это говорит о том, что даже в узком конусе есть множество осмысленных «русел».

Инвариант 5: Единая нормализация

Все модели приводят векторы к единичной длине (норма = 1) с микроскопической погрешностью (около 2.7·10⁻⁸). Это означает, что смысл слов сравнивается только по направлению, а не по величине. Угол между векторами становится единственной мерой близости.

4. Базисы: общая система координат

Я сравнил, как разные тексты «ложатся» в пространство одной модели. Оказалось, что все коллекции — и «Маленький принц», и технические описания, и Википедия — используют одну и ту же систему координат. Базисы совпадают с точностью до единицы:

Это очень важный результат: модель не перестраивает своё пространство под каждый новый текст, а проецирует всё в заранее заданную жёсткую сетку.

А вот между разными моделями базисы уже различаются. Например, одноязычная и многоязычная модели похожи лишь на 70–80%, и чтобы их совместить, нужен специальный поворот (матрица вращения). Это как два разных языка: они описывают мир по‑своему, хотя говорят об одном и том же. Исследование Чистяковой (2024) подтверждает, что прокрустово выравнивание (Procrustes alignment) является эффективным методом для сопоставления эмбеддингов из разных моделей .

5. Сколько измерений реально нужно?

Внутренняя размерность (intrinsic dimension) — это число независимых направлений, которые действительно несут информацию. Мои замеры показали:

Самая стабильная — LaBSE, её внутренняя размерность почти не меняется от языка к языку. А вот коллекция товаров (Products) дала наибольшее значение — 85, вероятно, из‑за большого разнообразия категорий.

Эти цифры хорошо согласуются с недавними исследованиями. Голден (2025) в своей работе "Large Language Models are Locally Linear Mappings" показал, что современные LLM (Llama 3, Gemma 3, Qwen 3 и другие) работают в чрезвычайно низкоразмерных подпространствах, где многие из наибольших сингулярных векторов декодируются в концепты, связанные с наиболее вероятным выходным токеном . Более того, Цукагоши и Сасано (2025) обнаружили, что эмбеддинги для задач классификации и кластеризации демонстрируют более низкую внутреннюю размерность и меньшую изотропию по сравнению с эмбеддингами для поиска и семантической близости . Это означает, что конкретная задача влияет на то, как модель использует своё пространство.

6. Симметрии внутри пространства

Я попытался найти в этих пространствах скрытые симметрии — например, такие, которые отражают грамматические правила. Оказалось, что они действительно есть, причём в русском тексте они проявляются ярче:

Русский текст даёт более чёткие и согласованные симметрии (показатель >0.79). Но важно понимать: эти симметрии — всего лишь статические отпечатки правил, заложенных в обучающих текстах. Модель не «знает» правило, она просто повторяет статистическую закономерность, застывшую в геометрии.

7. Возможность переноса знаний

Если внутри одной модели все тексты лежат в одном базисе, то обучение на одной коллекции должно легко переноситься на другую. И это действительно так: перенос идеален. А вот между разными моделями перенос требует дополнительного выравнивания (поворота пространства) и даёт сходство от 50 до 80%.

Для практических задач я предлагаю использовать следующие универсальные настройки:

• брать 50 главных компонент (это покрывает почти всю полезную информацию),
• учитывать, что внутренняя размерность в среднем около 63,
• ожидать неравномерность около 0.87,
• помнить о единичной норме векторов.

8. Дискуссия: линейность как фундаментальное свойство

Ключевой вопрос, который встаёт перед нами: что мы получаем для понимания природы языковых моделей? Ответ, как мне кажется, лежит в области линейности.

Голден (2025) сделал поразительное открытие: операции вывода нескольких открытых больших языковых моделей могут быть отображены в точно эквивалентную линейную систему для входной последовательности без изменения весов модели или изменения выходных предсказаний. Используя методы из области диффузионных моделей изображений, исследователь показал, что якобиан модели почти точно воспроизводит прямой проход с помощью линейной системы .

Независимо от него, другая группа исследователей разработала метод LAMP (Linear Attribution Mapping Probe), который позволяет извлекать локально линейные поверхности решений из "мировых моделей" LLM. Этот метод, применяемый к задачам анализа тональности, обнаружения спорных тем и аудита безопасности, показал, что многие LLM демонстрируют локально линейные ландшафты решений .

Эти открытия перекликаются с более ранними работами об анизотропии. Если эмбеддинги скучены в узком конусе, а поведение модели локально линейно, то пространство возможных состояний оказывается жёстко ограниченным. Модель не порождает новой динамики, а лишь движется по предопределённым траекториям.

9. Главный вывод: статический снежный ком против живого разума

Итак, что же мы имеем? Пространство эмбеддингов — это жёстко структурированная, неравномерная, но при этом очень устойчивая система координат. Она линейна в каждой точке (как показали недавние эксперименты Голдена и группы LAMP). Внутри неё нет места для настоящей динамики, для самоизменения, для возникновения нового.

Модель работает как снежный ком, скатывающийся с горы. У кома есть форма (структура льда — это базис эмбеддингов), но его путь предопределён рельефом горы (латентным пространством). Он набирает массу (контекст), пока не достигнет низины — финального ответа. При нулевой температуре или при выборе самого вероятного продолжения (argmax) он всегда остановится в самой глубокой локальной яме, не имея возможности изменить ландшафт.

Альтмайер с коллегами (2024) в своей принципиальной статье "Stop Making Unscientific AGI Performance Claims" предупреждают: обнаружение осмысленных паттернов в латентных пространствах моделей не может рассматриваться как свидетельство в пользу AGI. Модели любой сложности — от случайных проекций до глубоких автоэнкодеров и трансформеров — успешно дистиллируют информацию, которая может быть использована для предсказания скрытых переменных. И всё же ни одна из них ранее не связывалась с AGI. Авторы напоминают, что люди склонны к антропоморфизации и поиску паттернов там, где их нет, а современный медийный контекст создаёт идеальные условия для искажений корреляций как "понимания" .

Возвращаясь к вопросу Чехрегани: могут ли предобученные эмбеддинги стать основой "интеллектуального мира" для AGI? Мой анализ и приведённые исследования заставляют ответить: в их нынешнем виде — нет. Статическая геометрия и локальная линейность делают их великолепными инструментами для сжатия и воспроизведения информации, но не средой для зарождения подлинного интеллекта.

Для настоящего интеллекта нужно не просто скользить по готовым рельсам, а уметь перестраивать саму систему координат, создавать новые измерения, выходить за пределы предопределённого. А современные эмбеддинги и LLM — это лишь грандиозные, но статичные атласы человеческих знаний. Они существуют как «ком снега» в момент перед броском: структура определена, масса известна, и траектория предсказуема.

Поэтому на вопрос «Где может существовать ИИ?» я отвечаю: не в нынешних эмбеддинговых пространствах. Для подлинного искусственного разума нужна принципиально иная архитектура — динамичная, самоизменяющаяся, способная к рефлексии и перестройке собственного базиса. Пока же мы имеем дело с блестяще сделанными, но статичными моделями, которые имитируют понимание, оставаясь всего лишь сложными отражателями наших собственных текстов.

Список литературы

1. Mikhalchuk, M., et al. (2024). The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models. Findings of EACL 2024 .
2. Чистякова, К. Е. (2024). Исследование различий в векторных представлениях, полученных с помощью разных языковых моделей. Выпускная квалификационная работа, НИУ ВШЭ .
3. Golden, J. R. (2025). Large Language Models are Locally Linear Mappings. arXiv preprint arXiv:2505.24293 .
4. Chehreghani, M. H. (2022). The Embeddings World and Artificial General Intelligence. arXiv preprint arXiv:2209.06569 .
5. Chen, C., et al. (2025). LAMP: Extracting Locally Linear Decision Surfaces from LLM World Models. arXiv preprint arXiv:2505.11772 .
6. Tsukagoshi, H., & Sasano, R. (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. arXiv preprint arXiv:2506.01435 .
7. Altmeyer, P., et al. (2024). Position: Stop Making Unscientific AGI Performance Claims. arXiv preprint arXiv:2402.03962 .