Как запустить большие языковые модели локально: пошаговое руководство

Чтобы запустить большую языковую модель (LLM) локально, установите инструмент для работы с моделями, например Ollama, загрузите открытую модель и обращайтесь к ней через командную строку, REST API или библиотеку на Python или JavaScript. Ниже описан порядок действий и инструменты, которые помогут в этом.

Что понадобится

Перед установкой проверьте несколько параметров:

Операционная система: macOS, Linux или Windows.
Объем оперативной памяти и видеопамяти. Чем больше параметров у модели, тем больше памяти она потребует. Для небольших моделей обычно достаточно ноутбука, для крупных нужен сервер с мощной видеокартой.
Свободное место на диске. Веса моделей занимают от нескольких гигабайт до десятков гигабайт.

Шаг 1. Установите среду для запуска моделей

Ollama - открытый инструмент с лицензией MIT для запуска открытых моделей, таких как Gemma, DeepSeek, Qwen и gpt-oss. Он работает локально и предоставляет CLI, REST API и библиотеки для Python и JavaScript. Скачайте установщик для своей системы с официального сайта проекта и выполните установку.

После установки проверьте, что команда доступна в терминале:

выполните команду версии, чтобы убедиться, что приложение установлено;
запустите сервер, если он не стартовал автоматически.

Шаг 2. Загрузите модель

Выберите модель под свое железо. Начинайте с небольшой версии: она быстрее загрузится и проще в проверке. Загрузите ее командой pull с указанием названия модели. После загрузки модель появится в списке локальных моделей.

Если модель не помещается в память, ответы будут очень медленными или сервис откажет в запуске. В этом случае выберите версию с меньшим числом параметров или более агрессивным квантованием.

Шаг 3. Проверьте модель в терминале

Запустите модель командой run с ее названием. Откроется интерактивный режим, где можно отправить вопрос и получить ответ. Это самый быстрый способ убедиться, что все работает.

Шаг 4. Подключите модель к своему коду

Ollama предоставляет REST API, который обычно слушает локальный порт. Чтобы отправить запрос из программы, укажите название модели и текст запроса. Для Python и JavaScript есть официальные библиотеки, которые упрощают работу с API.

Пример порядка действий

Установите библиотеку для своего языка.
Создайте клиент, который обращается к локальному серверу.
Передайте название модели и сообщение пользователя.
Обработайте ответ и добавьте обработку ошибок, например на случай, если сервер не запущен.

Шаг 5. Добавьте инструменты для агентов

Если модель должна работать как агент, то есть искать информацию, вызывать инструменты и выполнять задачи, понадобятся дополнительные компоненты. Ниже - проекты из каталога Stackora, которые часто используются в таких сценариях.

Агенты и среды разработки

OpenHands - платформа для разработки с помощью ИИ, лицензия MIT.
hermes-agent - агент с лицензией MIT, из категории AI Agents.
ai-engineering-from-scratch - учебный материал по инженерии ИИ с лицензией MIT.

Браузерные агенты

browser-use - открытая Python-библиотека для браузерных агентов с лицензией MIT. У проекта есть также облачная версия с отдельным API, но для локального запуска достаточно библиотеки.

Документация и инструменты разработчика

context7 - источник актуальной документации для ИИ-агентов, лицензия MIT. Подключается как MCP-сервер.
ECC - система оптимизации работы агентного харнесса с навыками, памятью и настройками безопасности, лицензия MIT.
rtk - CLI-прокси, который, по описанию проекта, снижает расход токенов LLM на типичных командах разработчика на 60-90%. Распространяется под лицензией Apache-2.0 и написан на Rust.

Шаг 6. Проверьте безопасность и производительность

Локальный запуск не означает полной безопасности. Перед подключением агентов к файлам, терминалу и браузеру ограничьте их права. Для инструментов с доступом к командам используйте отдельного пользователя или контейнер.

Следите за скоростью ответов и загрузкой памяти. Если ответы медленные, уменьшите размер модели или уменьшите длину контекста.