Запускаем LLaMA на Windows.

Запустите быструю модель, похожую на ChatGPT, локально на вашем устройстве.

Это сочетает в себе Модель фундамента LLaMA с открытым воспроизведением из Стэнфорд Альпака точная настройка базовой модели для выполнения инструкций ( RLHF используется для обучения ChatGPT ) и набора модификаций для llama.cpp.

git clone https://github.com/antimatter15/alpaca.cpp
cd alpaca.cpp

make chat
./chat

Или Вы можете скачать его https://github.com/antimatter15/alpaca.cpp и распаковать в удобное для Вас место.

Также Вам нужна модель ggml-alpaca-7b-q4.bin скачать ее можно с BitTorrent:

магнит: magnet:?xt=urn:btih:5aaceaec63b03e51a98f04fd5c42320b2a033010&dn=ggml-alpaca-7b-q4.bin&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce


торрент: https://btcache.me/torrent/5AACEAEC63B03E51A98F04FD5C42320B2A033010

торрент: https://torrage.info/torrent.php?h=5aaceaec63b03e51a98f04fd5c42320b2a033010

Приступим:

• Загрузите и установите CMake: https://cmake.org/download/
• Скачать и установить git. Если вы никогда не использовали git раньше, рассмотрите GUI-клиент как https://desktop.github.com/
• Откройте терминал Windows внутри папки, в которую вы клонировали репозиторий
• Выполните следующие команды одну за другой:

cmake .
cmake --build . --config Release

• Загрузите модель по любой из ссылок выше и сохраните файл ggml-alpaca-7b-q4.bin в главный каталог Альпака.
• В окне терминала выполните эту команду:

.\Release\chat.exe

• ( Вы можете добавить другие варианты запуска, такие как --n 8 )
• Теперь вы можете ввести AI в терминале, и он ответит. Наслаждайтесь!

Модель понимает только Английский язык.

Модель - 13B

Вы можете скачать ggml-alpaca-13b-q4.bin с BitTorrent:

магнит: magnet:?xt=urn:btih:053b3d54d2e77ff020ebddf51dad681f2a651071&dn=ggml-alpaca-13b-q4.bin&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=udp%3A%2F%2F9.rarbg.com%3A2810%2Fannounce


торрент: https://btcache.me/torrent/053B3D54D2E77FF020EBDDF51DAD681F2A651071

торрент: https://torrage.info/torrent.php?h=053b3d54d2e77ff020ebddf51dad681f2a651071

Для запуска этой модели нужно больше ресурсов компьютера.

./chat -m ggml-alpaca-13b-q4.bin