От трансформера к «цифровой памяти»: архитектурная эволюция Qwen
Как линейка Qwen прошла путь от классических трансформерных блоков до гибридных систем с разреженным вниманием, MoE-роутерами и внешней N-gram-памятью? Разбираем слои и математику каждого шага — и сводим всё в итоговую таблицу «от чего начинали и куда движемся».*
> - **Qwen-1/2:** плотный трансформер + RMSNorm + SwiGLU + RoPE — «гигиенический набор» современной LLM.
> - **Qwen-2.5 / Qwen3-Next:** гибридное внимание (Gated DeltaNet + полное внимание) и переход к MoE.
> - **Qwen 3.8 Flash Next:** GDN + Qwen Sparse Attention, Gated Residual, N-gram-эмбеддинги и оптимизатор Muon — предвестник архитектуры Qwen4.
> - **Главный тренд:** растёт не глубина, а «ширина» — суммарные параметры взлетают, активные параметры на токен — падают.
---
1. Фундамент: три блока, которые определили всё
Развитие Qwen — это история не только про масштаб, но и про глубокую переработку базовых строительных блоков трансформера. Именно они заложили стабильность обучения и способность работать с длинным контекстом.
RMSNorm вместо LayerNorm
Классический LayerNorm центрирует данные и масштабирует до единичной дисперсии:
$$LN(x) = \gamma \cdot \frac{x - \text{mean}(x)}{\sqrt{\text{var}(x) + \epsilon}} + \beta$$
RMSNorm выбрасывает центрирование и нормализует только по среднеквадратичному значению:
$$RMSNorm(x) = \gamma \cdot \frac{x}{\sqrt{\text{mean}(x^2) + \epsilon}}$$
**Почему это важно:** меньше операций → быстрее вычисления на миллиардах параметров, а ключевую роль в стабилизации обучения играет именно масштабирующая инвариантность, а не центрирование. Qwen сделала этот выбор рано — и не прогадала.
RoPE вместо абсолютных позиций
Начиная с Qwen-2.5 семейство полностью перешло на вращательное позиционное кодирование. Вместо прибавления вектора позиции к токену, RoPE вращает векторы Query и Key на угол, зависящий от позиции:
$$q'_{pos, i} = q_{pos, i} \cos(\theta_i) - q_{pos, i+d/2} \sin(\theta_i)$$
$$q'_{pos, i+d/2} = q_{pos, i} \sin(\theta_i) + q_{pos, i+d/2} \cos(\theta_i)$$
где $\theta_i = 10000^{-2i/d}$. RoPE одновременно кодирует абсолютное и относительное положение и позволяет экстраполировать на длины, не виденные при обучении. А когда базового RoPE стало мало, команда добавила **YaRN и NTK-aware scaling** — так появились контекстные окна в сотни тысяч токенов.
### SwiGLU вместо ReLU/GELU
$$\text{SwiGLU}(x) = (x \cdot \sigma(Wx)) \otimes Vx$$
Сигмоида работает как динамический «клапан», управляющий потоком информации через FFN. В связке RMSNorm + RoPE + SwiGLU возникает синергия: стабильное обучение глубоких сетей и лучшая выразительность представлений.
---
2. Сердце трансформера: как эволюционировало внимание
> **Пул-цитата:** каждый шаг эволюции внимания Qwen — это ответ на одну конкретную боль: длина контекста → масштаб параметров → стоимость вычислений.
**Этап 1 — Qwen-1/2: классический MHA.** Многоголовое самовнимание со сложностью $O(n^2d)$. Квадратичная зависимость от длины последовательности быстро упирается в потолок на длинных документах.
**Этап 2 — Qwen-2.5: первый гибрид.** 24 слоя Gated DeltaNet (линейное внимание с delta rule, эффективно накапливающее историю) + 8 слоёв полного внимания по схеме «3×GDN → 1×Full Attention». GDN держит локальную историю, полное внимание устанавливает глобальные связи. Результат — контекст в **262K токенов**.
**Этап 3 — Qwen3 / Qwen3-Next:** гибридная пара совершенствуется (GDN + Gated Attention) и накладывается на MoE-каркас.
**Этап 4 — Qwen 3.8 Flash Next:** Gated Attention заменяется на **Qwen Sparse Attention (QSA)**. QSA не считает внимание ко всей последовательности, а через индексатор (MQA с 4 группами ключей) выбирает только релевантные блоки контекста. Сложность падает с квадратичной к почти линейной.
**Цена вопроса на практике:** до **10.2×** ускорение prefill и до **6.6×** ускорение decode на контексте в **1 млн токенов**.
---
3. MoE: ширина вместо глубины
Плотная модель активирует **все** параметры на каждом токене: Qwen-7B тратит все 7B весов на любой запрос, а инференс 72B становится экономически болезненным.
MoE заменяет FFN на набор экспертов с роутером, который выбирает для токена 1–2 подходящих. Итог — разрыв между «потенциалом знаний» и «расходом топлива»:
- **Qwen 3.8-Max:** ~2.4T суммарных параметров → **~95B активных** на токен;
- **Qwen 3.8-Flash-Next:** 125B основная модель → **~6B активных** на токен.
Внедрение потребовало аккуратного роутера, балансировки нагрузки экспертов и распределённого обучения (ZeRO, pipeline parallelism). Зато MoE дал качество уровня закрытых флагманов при открытом релизе и заметный рост бенчмарков (MMLU-Pro, SuperGPQA, GSM8K, кодинг и агентные задачи).
---
4. Qwen 3.8 Flash Next: четыре инновации-предвестника Qwen4
- **Гибрид GDN + QSA** — локальная рекуррентная память + точечный глобальный поиск по длинному контексту.
- **Gated Residual** — «ворота» в остаточном потоке: сеть учится, сколько информации из прошлых слоёв сохранять, а какую гасить. Лекарство от «проклятия глубины» в 48-слойных сетях.
- **N-gram-эмбеддинги (51B параметров)** — внешняя «кэш-память» для частых последовательностей и фактов: модель обращается к ней напрямую, разгружая основную вычислительную цепочку. Аналогия — кэш процессора перед оперативной памятью.
- **Оптимизатор Muon** вместо AdamW — более эффективная сходимость и стабильность обучения сложной гибридной системы (заявлено снижение затрат на обучение до ~9×).
---
Сводная таблица: с чего начинали и куда движемся
| Компонент | Qwen-1 / Qwen-2 | Qwen-2.5 | Qwen-3 Series | Qwen 3.8 Flash Next |
| :--- | :--- | :--- | :--- | :--- |
| **Архитектура** | Dense Transformer | Dense Transformer | MoE | Multimodal MoE |
| **Параметры (всего)** | 7B / 14B / 72B | 7B / 72B | до 2.4T | 176B (125B + 51B n-gram) |
| **Активные параметры** | = всего | = всего | ~95B / токен | ~6B / токен |
| **Нормализация** | Pre-Norm RMSNorm | RMSNorm | RMSNorm | RMSNorm |
| **Позиции** | Absolute / Sinusoidal | RoPE | RoPE + YaRN / NTK | RoPE |
| **Внимание** | Standard MHA, O(n²d) | Hybrid: GDN + Full Attention | MoE + Gated Attention | Hybrid: GDN + QSA |
| **Активация FFN** | GELU | SwiGLU | SwiGLU | SwiGLU |
| **Residual stream** | стандартный | стандартный | стандартный | **Gated Residual** |
| **Внешняя память** | — | — | — | **N-gram Embeddings** |
| **Оптимизатор** | AdamW | AdamW | AdamW | **Muon** |
| **Контекст** | ~32K | до 262K | 128K+ | до 1M |
---
6. Вывод: три тренда траектории
- **От глубины к ширине.** Ранние модели росли слоями и параметрами «в лоб»; современные — наращивают суммарную ёмкость при падающей стоимости токена. 6B активных против 125B суммарных — это экономическая революция инференса.
- **Гибридизация как парадигма.** Чистых механизмов больше нет: GDN + QSA, MoE + sparse attention, нейросеть + внешняя память. Сила системы — в синергии специализированных компонентов.
- **Выход за пределы трансформера.** N-gram-память и Muon показывают: прогресс теперь живёт не только в слоях, но и в экосистеме — управлении данными, памяти и оптимизации обучения.
Итог: Qwen прошла путь от «аккуратного ученика», собравшего лучшие практики эпохи (RMSNorm, RoPE, SwiGLU), до архитектора собственных решений (QSA, Gated Residual, N-gram-память). И если Qwen 3.8 Flash Next — черновик Qwen4, то нас ждёт ещё более тонкая инженерия: разреженность, гибридность и специализация каждого слоя.
7. Финальный вывод: от O(n²) к линейной сложности — новая физика масштабирования
Если сжать всю архитектурную сагу Qwen до одной строки, она будет звучать так: **мы фактически переходим от квадратичной сложности внимания к логарифмической и, в пределе, линейной**. И именно этот переход, наложенный на разреженность MoE, и даёт ту самую «бóльшую мощь при меньших параметрах».
### Лестница сложности
| Эпоха | Механизм | Сложность по длине n |
| :--- | :--- | :--- |
| Qwen-1 / 2 | Полное MHA | **O(n²·d)** — каждый токен честно сравнивается со всеми |
| Qwen-2.5 / 3-Next | Гибрид GDN + полное внимание | **O(n)** для рекуррентных слоёв + редкие «островки» O(n²) |
| Qwen 3.8 Flash Next | GDN + QSA | **O(n·k) ≈ O(n log n) → O(n)** — индексатор выбирает k ≪ n релевантных блоков |
Почему это именно линейность: Gated DeltaNet сжимает всю историю в состояние фиксированного размера $S_t$, и обновление на токен стоит $O(d^2)$ — **константа, не зависящая от n**. А QSA вообще отказывается от идеи «смотреть на всё»: вместо плотной матрицы n×n считается только внимание к отобранным блокам. При квадратичной схеме рост контекста с 32K до 1M (в 32 раза) означал бы ~1000× больше вычислений; при линейной архитектуре стоимость растёт пропорционально длине — отсюда и заявленные **10.2× на prefill и 6.6× на decode** на миллионном контексте. Это не «оптимизация», это смена порядка роста.
Две оси эффективности работают одновременно
- **Линейность по длине:** контекст можно наращивать на порядки, а вычислительный счёт растёт скромно и предсказуемо.
- **Разреженность по параметрам:** MoE + N-gram-память делают «знание» дешёвым — 125B+51B хранится, но на каждый токен трудятся лишь ~6B активных параметров.
Их пересечение и есть главный экономический сдвиг: **ёмкость модели (эксперты, память, слои) перестаёт быть пропорциональной стоимости инференса**. Раньше «умнее» означало «дороже на каждый токен»; теперь «умнее» означает «почти столько же». Качество на FLOP взлетает: активные 6B выдают уровень моделей в разы крупнее, а высвободившийся вычислительный бюджет уходит на длинные контексты, рассуждения и агентность, а не на обслуживание избыточных параметров.
Панчлайн
Эволюция Qwen — это переход от brute-force интеллекта («считаем всё со всем, всеми параметрами») к **селективному интеллекту**: нужные блоки контекста, нужные эксперты, нужная порция остаточного потока. Квадратичная матрица внимания была налогом на незрелость архитектуры; линейные гибриды GDN+QSA этот налог отменяют. Именно поэтому Qwen 3.8 Flash Next выглядит как черновик Qwen4: траектория указывает на модели с триллионной суммарной ёмкостью и «мозгом» размером с небольшую плотную модель — **больше мощи при кратно меньших активных параметрах**. Это и есть новая парадигма: масштабировать не вычисления, а избирательность. 🚀