Возможности процессоров для локального ИИ

В этом рассказе разбираемся, где проходит граница между старым и пригодным для локального ИИ железом: отдельно смотрим на Intel и AMD, языковые модели и генерацию изображений.

Если говорить совсем конкретно, то для современного локального ИИ под Windows x64 нам нужен процессор с поддержкой AVX2.

Для человека, который не привык разбираться в поколениях процессоров, фраза «нужен Haswell» мало что говорит. Поэтому проще ориентироваться на сокет и конкретные модели.

У Intel нижняя граница начинается примерно с LGA1150 — это четвёртое поколение Core, Haswell. Например, Core i3-4130 — всего два физических ядра и четыре потока, но AVX2 он поддерживает. То есть само по себе наличие всего двух ядер не является препятствием для запуска.

А вот более старые платформы вроде LGA1155 уже не имеют AVX2. Поэтому старый компьютер на LGA1155 может быть вполне пригоден для других задач, в том числе для экспериментов с локальной генерацией изображений, но рассчитывать на современный запуск локальной языковой модели через программное обеспечение, которому необходим AVX2, уже нельзя.

Именно поэтому в данном случае гораздо полезнее запомнить не название поколения, а простую вещь:

для локальной языковой модели под современным Windows-софтом нижняя граница Intel — примерно LGA1150 и процессоры Haswell с AVX2.

При этом это именно нижняя техническая граница. Core i3-4130 может запустить нужный программный стек, но никто не обещает, что на таком процессоре работа с современной языковой моделью будет быстрой.

Здесь снова действует наше главное правило:

запускается — ещё не значит нормально работает.

А что с AMD?

С AMD ситуация складывается похожим образом, только границы здесь немного другие.

Если говорить о старых компьютерах, то процессоры AMD на платформах FM2 и FM2+, включая семейства A4, A6 и A8, для современных локальных языковых моделей в LM Studio нам не подходят. Но это совершенно не означает, что такой компьютер бесполезен для локального ИИ.

Для локальной генерации изображений такие старые системы вполне можно использовать — особенно если в компьютере установлена подходящая видеокарта.

А вот начиная с AM4 ситуация меняется. Здесь уже появляется поколение процессоров AMD с необходимой поддержкой AVX2, поэтому AM4 становится той платформой, с которой можно рассматривать запуск локальных языковых моделей в LM Studio.

При этом, как и в случае с Intel, сам по себе надпись на материнской плате «AM4» ещё не заменяет проверку конкретного процессора. Нам важно не название сокета, а наличие необходимых инструкций у установленного CPU.

Получается довольно простая картина:

старые AMD FM2/FM2+ — языковые модели нет, генерация изображений возможна;

AM4 и современные процессоры с AVX2 — уже можно рассматривать и для локальных языковых моделей, и для генерации изображений.

А что именно можно запускать на каждом из этих процессоров, какие модели являются минимальными и где заканчивается техническая возможность и начинается нормальная работа, в этой таблице.

А вот что будет дальше…

С процессорами разобрались. Но компьютер, как назло, на одном процессоре далеко не уедет.Где-то рядом уже лежит следующая деталь, которая умеет считать быстрее, чем мы успеваем придумать ей задачу.
Видеокарта.

И вот тут начинается отдельная история: NVIDIA, AMD, VRAM, CUDA и карты, которые выглядят совершенно обычно… пока не выясняется, для чего они когда-то предназначались.

Продолжение и другие материалы проекта как и общая тема этих рассказов и практических обзоров продолжается на каналах:

MAX —https://max.ru/channel_computer_ai_practice

Telegram — https://t.me/ai_practice_ru

Подписывайтесь на наши каналы, чтобы не пропустить новые рассказы, практические обзоры и эксперименты с локальным ИИ.