Падение в кроличью нору

**От статической геометрии эмбеддингов к живой динамике мышления — и обратно, внутрь машины**

*Продолжение статьи «Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления»*

Предыдущая статья закончилась довольно мрачным, но честным выводом: современные большие языковые модели, при всей их впечатляющей мощи, обитают в пространствах, которые по своей природе статичны. Я показал, что эмбеддинги живут в узком конусе, подчиняются жёсткому базису, а их внутренняя размерность на порядки меньше заявленной. Модель не порождает новую динамику, а скользит по заранее проложенным рельсам, как снежный ком, катящийся с горы по предопределённому руслу.

Но если разум — это прежде всего способность к самоизменению, к рефлексии, к выходу за пределы готовых схем, то возникает закономерный вопрос: а может ли вообще в такой архитектуре зародиться нечто похожее на мышление? Или мы обречены вечно улучшать статичные атласы, не приближаясь к пониманию того, как возникает живая мысль?

Эта статья — попытка нырнуть глубже. Если предыдущий текст был диагнозом, то теперь я хочу разобраться в природе болезни и поиске лечения. Моё падение в кроличью нору начинается с трёх взаимосвязанных вопросов.

**Первый вопрос** родился прямо из результатов моего исследования. Я обнаружил, что реальная размерность пространства, в котором разворачивается смысл, ничтожно мала по сравнению с многотысячными пространствами признаков. Зачем же мы тратим колоссальные вычислительные ресурсы на эти тысячи измерений, если итоговая геометрия так компактна? Может быть, мы имеем дело не с эффективным кодированием, а с колоссальной избыточностью? Или эта избыточность — необходимое условие для устойчивости? Ответ может перевернуть понимание того, как обучать модели будущего.

**Второй вопрос** мучил меня давно. Трансформеры блестяще справляются с параллельной обработкой, но демонстрируют странную слепоту там, где требуется рекуррентность — способность возвращаться к ранее обработанному, строить вложенные иерархии. Это ярко проявилось в тестах ListOps из бенчмарка LRA, где модели на основе трансформера показывают результаты значительно хуже специализированных рекуррентных архитектур. Почему механизм внимания, позволяющий заглядывать в любой токен, не справляется с задачами, требующими настоящей рекурсии? Не ограничивает ли само устройство трансформера его способность к динамическому перестраиванию состояний?

**Третий вопрос** вытекает из первых двух. Если трансформеры статичны и дружат с рекурсией плохо, существуют ли архитектуры, лишённые этих недостатков? Чтобы ответить, я заглянул в альтернативные вселенные: в мир рекуррентных нейронных сетей (RNN) с их живой, но труднообучаемой динамикой, и в мир State Space Models (SSM), в частности Mamba, обещающих соединить преимущества обоих миров.

В этой статье я проведу читателя по пути, который прошёл сам. Мы начнём с диагностики ограничений трансформера, попытаемся понять их природу, а затем отправимся на поиски архитектур, способных к настоящей динамике. Я буду использовать два языка — строгий математический и образный интуитивный, — чтобы каждый читатель мог проследить за ходом мысли.

Куда приведёт это падение? Возможно, к пониманию того, что настоящий интеллект не может существовать в статичных пространствах. А может быть, кроличья нора окажется настолько глубокой, что мы потеряемся в ней навсегда. Но это единственный способ узнать, есть ли на дне свет.

Поехали.

## Акт 1: Два мира — параллельный и последовательный

### 1. Трансформер: параллельная статика

Начнём с индустриального стандарта. Трансформер произвёл революцию благодаря способности обрабатывать все токены последовательности одновременно. Зафиксируем это математически.

Пусть на входе последовательность из `n` токенов, каждый превращён в вектор размерности `d`. Это матрица `X ∈ R^(n×d)`. Далее:

1. **Линейные проекции:**

`Q = XW_Q, K = XW_K, V = XW_V`,

где `W` — обучаемые матрицы.

2. **Self-attention:**

`Attention(Q, K, V) = softmax(QK^T / √d_k) V`.

Здесь `QK^T` — матрица попарных сходств размера `n×n`. Softmax превращает сходства в вероятности.

3. **Позиционная полносвязная сеть (FFN):**

Применяется к каждому токену независимо:

`FFN(x) = ReLU(xW_1 + b_1)W_2 + b_2`.

Главное свойство: все операции над разными токенами независимы и выполняются параллельно. Матричное умножение `QK^T` сразу даёт все попарные взаимодействия. Это позволяет обучать модели на огромных корпусах, используя тысячи GPU.

Но у медали есть обратная сторона. Как я показал в предыдущей статье, пространства эмбеддингов в трансформерах статичны: они подчиняются жёсткому базису, имеют низкую внутреннюю размерность и анизотропны. Модель не порождает новой динамики, а лишь «скользит» по готовому ландшафту.

Это проявляется в ограничении: трансформеры с трудом справляются с задачами, требующими иерархической структуры. Классический пример — бенчмарк **ListOps** (набор LRA). В нём нужно вычислять результат вложенных операций (например, `[MAX 4 3 [MIN 2 1] 5]`). Человек легко строит дерево. Трансформер же, несмотря на механизм внимания, «видит» все токены одновременно, но не имеет встроенного механизма для построения иерархии. Он может запомнить статистические закономерности, но если встретит невиданную ранее глубину вложенности, он, скорее всего, ошибётся. Его внутренняя динамика линейна — он не может развернуть рекурсивный процесс во времени, ему приходится имитировать его в одном параллельном проходе.

### 2. RNN: последовательная динамика

Теперь посмотрим на рекуррентные нейронные сети (RNN). Здесь обработка идёт последовательно. На каждом шаге `t` скрытое состояние `h_t` обновляется на основе предыдущего состояния `h_{t-1}` и текущего входа `x_t`:

`h_t = tanh(W_h * h_{t-1} + W_x * x_t + b)`

Выход получается из состояния: `y_t = softmax(W_y * h_t + b_y)`.

Состояние `h_t` несёт сжатое представление всей предыдущей последовательности. Это настоящая рекуррентность: информация течёт во времени. Такая архитектура способна моделировать иерархические структуры — достаточно развернуть вычисления во времени.

Но за динамику приходится платить. Главная плата — невозможность параллельного обучения. Чтобы обучить RNN, нужно развернуть её во времени (Backpropagation Through Time, BPTT). Вычисления на каждом шаге должны быть выполнены последовательно. Длинные последовательности приводят к затуханию или взрыву градиентов. Это делает RNN медленными при обучении на длинных текстах и неэффективными на современном «железе», заточенном под матричные умножения.

### 3. Два мира — два недостатка

Итак, мы имеем две крайности:

• **Трансформер** — параллельный, быстрый в обучении, но статичный и слабый в иерархической рекурсии. Как огромная библиотека: можно мгновенно найти страницу, но нельзя прочитать книгу как процесс.

• **RNN** — динамичный, способный моделировать время, но последовательный и медленный. Как чтец, читающий слово за словом, но не способный охватить текст взглядом.

Ни один подход не даёт «живого мышления». Мышление требует и динамики (изменения во времени), и параллельной обработки (ассоциаций). Так появилась идея создать архитектуру, взявшую лучшее от обоих миров.

### 4. Мост к Mamba

В последние годы возникло новое семейство моделей — State Space Models (SSM), и самым ярким представителем стала **Mamba**. Она обещает сохранить рекуррентную природу, но при этом обучаться параллельно, как трансформер.

Однако предупрежу читателя: даже если Mamba решит проблему параллельного обучения рекуррентных моделей, это лишь одна из двух фундаментальных проблем. Вторая — динамика самой системы, её способность к самоизменению и рефлексии. Ни трансформеры, ни RNN, ни Mamba пока не обладают этим свойством. Их внутреннее пространство остаётся предопределённым обучением. Но чтобы понять, почему это так, нам нужно разобраться, как устроена Mamba. Этим мы и займёмся в Акте 2.

## Акт 2: Mamba — архитектура, которая попыталась соединить два мира

### 1. От S4 к Mamba: эволюция State Space Models

В 2021 году Альберт Гу и коллеги предложили архитектуру S4 (Structured State Space Sequence Model), совершившую прорыв в моделировании длинных последовательностей. S4 показала, что SSM могут конкурировать с трансформерами при линейной сложности.

Однако у S4 был недостаток: её матрица переходов состояний была инвариантна во времени (time-invariant). Модель не могла адаптироваться к контексту — она применяла одни и те же правила к любому входу.

Mamba, представленная в декабре 2023 года Альбертом Гу и Три Дао, стала ответом на это ограничение. Её ключевая инновация — **селективность (selectivity)**: параметры модели начинают зависеть от входных данных, что позволяет динамически регулировать, какую информацию сохранять, а какую забывать.

### 2. Полное математическое описание Mamba

#### 2.1. Базовая формулировка State Space Model

В общем виде SSM описывает систему через скрытое состояние `h(t) ∈ R^N`, эволюционирующее под действием входа `x(t)`:

`h'(t) = A h(t) + B x(t)`

`y(t) = C h(t) + D x(t)`

Где `A` — матрица эволюции, `B` и `C` — проекционные матрицы. Для работы с дискретными последовательностями систему дискретизируют (метод zero-order hold):

`A_bar = exp(ΔA)`

`B_bar = (ΔA)^-1 (exp(ΔA) - I) * ΔB`

Где `Δ` — шаг дискретизации. После дискретизации получаем рекуррентную форму:

`h_t = A_bar * h_{t-1} + B_bar * x_t`

`y_t = C * h_t`

#### 2.2. Ключевая инновация Mamba: селективность

В классических SSM параметры `A_bar, B_bar, C` и шаг `Δ` статичны. Mamba делает их функциями от входа `x_t`:

`B_t = Linear_B(x_t)`

`C_t = Linear_C(x_t)`

`Δ_t = softplus(Linear_Δ(x_t))`

Матрица `A` остаётся статической (для сохранения математических свойств), но её влияние модулируется через `Δ_t`.

**Интуиция:** теперь модель сама решает, насколько важна текущая информация. Если `Δ_t` мало, состояние обновляется медленно (информация сохраняется). Если `Δ_t` велико, модель быстро забывает прошлое и фокусируется на текущем входе.

#### 2.3. Две формы вычисления: дуальность Mamba

Одно из самых красивых открытий, формализованных в Mamba-2 (май 2024), — это **State Space Duality (SSD)**. Селективная SSM может быть вычислена двумя эквивалентными способами.

1. **Рекуррентная форма (SSM-представление):**

`h_t = A_t * h_{t-1} + B_t * x_t`

Идеальна для инференса: константная память `O(N)`.

2. **Представление в виде матрицы преобразования (Attention-подобное):**

Если развернуть рекуррентное вычисление, отображение `X → Y` эквивалентно умножению на нижнюю треугольную матрицу `M`:

`Y = M X`, где `M_ij` зависит от произведения матриц `A` между шагами `i` и `j`.

Это выражение напоминает линейное внимание: `C * B^T` — аналог `QK^T`, а структура `M` играет роль маски причинности с забыванием.

**Почему это важно?** Дуальность позволяет выбирать способ вычисления. Для обучения на коротких последовательностях можно материализовать матрицу `M` (параллельно). Для длинных — использовать рекуррентную форму (линейная сложность).

#### 2.4. Аппаратно-эффективная реализация

Mamba стала прорывом ещё и благодаря реализации с учётом особенностей GPU:

• **Пересчёт вместо материализации:** Состояние `h_t` не сохраняется для всех шагов, а пересчитывается на лету.

• **Слияние ядер (kernel fusion):** Операции выполняются в одном ядре CUDA, минимизируя доступ к медленной памяти.

• **Параллельный скан (associative scan):** Благодаря структуре `A`, можно использовать алгоритмы параллельного сканирования.

В результате Mamba достигает в 5–6 раз более высокой пропускной способности, чем трансформеры сопоставимого размера, и потребляет в 3 раза меньше памяти.

### 3. Что говорят научные работы

Зафиксируем ключевые результаты:

• **Оригинальная Mamba (2023):** Превосходит трансформеры сопоставимого размера на задачах языкового моделирования (Pile), линейная сложность.

• **Mamba-2 (2024):** Формализована дуальность (SSD), улучшено качество на задачах точного воспроизведения информации.

• **Исследование ограничений (2024):** Mamba испытывает трудности с операциями COPY и сложными цепочками рассуждений (Chain of Thought), если размер состояния не растёт линейно с длиной последовательности.

• **Обзорные статьи:** Mamba успешно применяется в зрении и речи, но имеет проблемы с экстраполяцией на последовательности длиннее обучающих.

### 4. Почему Mamba до сих пор не захватила мир?

Казалось бы, у нас есть архитектура с линейной сложностью, параллельным обучением и высоким throughput. Почему нет повсеместного перехода?

1. **Технические ограничения:** Селективность усложняет реализацию. Трансформеры имеют отточенные оптимизации (cuDNN, FlashAttention). Mamba моложе. Кроме того, Mamba хуже справляется с точным копированием информации из контекста (извлечение конкретной строки), так как информация сжимается в состояние фиксированного размера.

2. **Индустриальная инерция:** Трансформеры — это экосистема. Фреймворки, инструменты fine-tuning, квантизации (vLLM, TensorRT) заточены под KV-кэш. Переход требует переучивания опыта.

3. **Гибридный подход:** Индустрия находит компромисс. Появились гибриды (Jamba от AI21, MambaVision от NVIDIA), комбинирующие слои Mamba и Attention. Mamba рассматривают как дополнительный инструмент для эффективности инференса, а не полную замену.

### 5. Возвращаясь к главному: проблема динамики

Здесь мы возвращаемся к ключевому тезису. Mamba блестяще решает проблему эффективности: соединяет параллельное обучение с рекуррентным инференсом.

**Но она не решает проблему динамики системы.**

Всё описанное выше — селективность, адаптивные состояния — остаётся статическим после обучения. Законы изменений (веса, функции `Δ`) зафиксированы в момент завершения обучения. Mamba не может перестроить свой собственный базис, не может выйти за пределы пространства представлений, сформированного данными. Она, как и трансформер, остаётся отражением статистических закономерностей.

В терминах моей предыдущей статьи: Mamba по-прежнему обитает в том же статическом конусе эмбеддингов. Просто теперь она движется по этому конусу более хитрым способом. Но сам конус — его геометрия и базис — остаётся неизменным.

Мы научили машины скользить по рельсам быстрее и избирательнее. Но рельсы всё ещё проложены нами.

## Акт 3: Новый взгляд на старую парадигму и разбитие о реальные тесты. Падение в пустоту

### 1. Четыре цели и математическая модель (ClusterRec)

Напомню суть моего подхода **ClusterRec**. Я поставил задачу: создать архитектуру с динамикой (изменение внутреннего базиса в процессе обработки), иерархичностью, параллельностью обучения и линейной сложностью инференса `O(N)`.

Я отказался от традиционных матриц весов как единственных хранилищ и ввёл самоорганизующиеся кластеры `C = {C_1, ..., C_K}`, которые эволюционируют под действием двух сил: взаимного отталкивания и притяжения к данным.

Входные токены `x_t` проецируются в латентное пространство: `e_t = W_E * x_t + b_E`.

Для каждого токена вычисляется мягкая принадлежность к кластерам:

`w_tk = exp(-||e_t - C_k||^2 / τ) / Σ_j exp(-||e_t - C_j||^2 / τ)`

Кластеры взаимодействуют через гауссово ядро `K_kj`, порождая дрейф:

`drift_k = β * Σ_{j≠k} K_kj * (C_k - C_j)`

Вклад данных в движение кластеров усредняется по батчу:

`contrib_k = α * Σ_t w_tk * e_t`

Обновление кластеров происходит с инерцией `λ`:

`C_k' = λ * C_k + drift_k + contrib_k`

Обновлённые кластеры влияют на представления токенов:

`e_t_new = e_t + (1/K) * Σ_k w_tk * C_k'`

Все параметры обучаемы. Функция потерь включает реконструкцию и регуляризацию.

### 2. Проблеск надежды: LRA Text

Первые эксперименты я провёл на задаче **LRA Text** (бинарная классификация длинных текстов до 4000 токенов). Результаты первых четырёх эпох вселяли осторожный оптимизм:

| Метрика | Эп. 1 | Эп. 2 | Эп. 3 | Эп. 4 |

| :--- | :--- | :--- | :--- | :--- |

| Test Acc | 0.619 | 0.621 | 0.617 | 0.629 |

| Val Acc | 0.625 | 0.627 | 0.622 | 0.633 |

| Ср. норма кластеров | 0.236 | 0.240 | 0.244 | 0.244 |

| Инерция (λ) | 0.494 | 0.504 | 0.517 | 0.544 |

Я видел медленный рост точности, увеличение инерции, падение взаимодействия между кластерами (они разбегались) и уменьшение температуры `τ` (кластеризация становилась жёстче). Экстраполяция сулила к 50-й эпохе точность 0.65–0.68 — уровень трансформеров. Казалось, динамика поля работает.

### 3. Крушение: ListOps и CIFAR-10

Настоящая проверка иерархических способностей — задача **ListOps**. Именно здесь трансформеры пасуют (показывая результаты в районе 36–50% в базовых конфигурациях), а рекуррентные модели могут проявить себя. Я применил ClusterRec к ListOps. И получил…

**19.4% точности.**

Это лишь чуть выше случайного угадывания (10%). Для сравнения: специализированные SSM и RNN достигают здесь 60% и выше, а оптимизированные трансформеры — около 50%. Моя динамическая система, призванная улавливать иерархии, оказалась практически бесполезной.

Я проверил модель на **CIFAR-10** (изображения как последовательность патчей). Результат зеркальный: **19.4% точности** (при базовом уровне 10%).

Два независимых эксперимента, два катастрофических провала. Модель не учится, застревая на уровне шума.

### 4. Отчаяние и попытки исправления

Я перепробовал всё:

• Менял размерность латентного пространства `d` (64–512).

• Увеличивал количество кластеров `K` (128–1024).

• Играл с гиперпараметрами, фиксировал их.

• Добавлял слои до и после кластерного слоя.

• Пробовал разные функции потерь.

• Использовал предобученные энкодеры.

Ничего не помогло. Точность упрямо оставалась в районе 19–20%. Архитектура схватывала лишь примитивные статистические закономерности, но не строила внутренние представления для иерархической обработки.

### 5. Инсайт: от механики Ньютона к динамике поля

В поисках объяснения я вернулся к метафоре из первой статьи. Трансформер — как снежный ком на рельсах (механика Ньютона). Пространство фиксировано.

В ClusterRec я попытался перейти к **динамике поля**: кластеры — подвижные центры, меняющиеся под влиянием токенов, а токены чувствуют это поле. Аналогия — общая теория относительности, где материя искривляет пространство.

Но правильно ли это сравнение? В ОТО уравнения жёстко обоснованы. Мои же уравнения — эвристика: дрейф пропорционален разности векторов. Они не гарантируют возникновения структуры, а лишь создают видимость движения. Кластеры разбегаются хаотически, не выстраивая иерархий. Поле «дышит», но не мыслит.

Возможно, для настоящей динамики нужны более сложные уравнения: изменение метрики, рождение и аннигиляция кластеров, нелокальные взаимодействия. Но тогда модель рискует стать невычислимой.

### 6. Сомнения и новые вопросы

Я не понимаю, насколько эта идея перспективна. Может быть, я наткнулся на принципиальное ограничение: для рекурсивной иерархической обработки динамика поля должна быть сложнее, а мы не умеем её настраивать. Или такой путь тупиковый — и для иерархий нужны явные механизмы (стеки, деревья), а не плавные поля.

С другой стороны, все современные архитектуры работают в статическом базисе. Природа мысли — в непрерывном изменении способа представления. Может быть, для настоящего ИИ нужна двойная динамика: и движение частиц в поле, и эволюция самого поля. Мы просто ещё не нашли правильных уравнений.

### 7. Полёт продолжается

Пока результатами похвастаться нечем. С точки зрения эффективности получилась, прошу прощения за ненаучный термин, «хрень». 19.4% на ListOps и CIFAR-10 — это полное фиаско. Модель, красивая на бумаге, разбилась о реальность бенчмарков.

Но именно это падение в пустоту даёт новый импульс. Если бы всё работало сразу, не было бы исследований. Провал заставляет переосмыслить допущения. Может быть, нужна иерархия динамических систем? Может быть, кластеры должны быть вложенными? Или ключевую роль играет конкурентная борьба за ресурсы?

Я не знаю. Я лишь понимаю, что полёт продолжается. Кроличья нора оказалась глубже, чем я думал, и на её дне, возможно, нет никакого света. Но останавливаться нельзя.

---

### Ссылки

1. Gu A., Dao T. *Mamba: Linear-Time Sequence Modeling with Selective State Spaces*. arXiv:2312.00752, 2023.

2. Gu A. et al. *State Space Duality (Mamba-2)*. arXiv:2405.21060, 2024.

3. Waleffe R. et al. *Exploring the Limitations of Mamba in COPY and CoT Reasoning*. arXiv:2410.03810, 2024.

4. Wang J. et al. *A comprehensive survey and taxonomy of Mamba*. ScienceDirect, 2024.

5. Gu A. *Modeling Sequences with Structured State Spaces*. Stanford PhD Thesis, 2023.

6. AI21 Labs. *Attention was never enough: Tracing the rise of hybrid LLMs*. AI21 Blog, 2024.