Перейти к содержанию

Поддерживаемые LLM-провайдеры

Glarus AI — модельно-агностичная платформа. Заказчик сам выбирает LLM под свои требования: юрисдикция данных, бюджет, качество ответов, наличие GPU в контуре. Поддерживаемые провайдеры регистрируются централизованно при установке системы, переключение между моделями для пользователя происходит в один клик в окне чата.

Рекомендуемые для российского контура классы провайдеров:

  1. Российские облачные LLM (MWS GPT) — данные физически остаются в РФ, соответствие 152-ФЗ обеспечивается провайдером, VPN не требуется.
  2. Локально развёрнутые LLM (Ollama и совместимые OpenAI-совместимые серверы on-prem) — данные не покидают периметр заказчика. Максимальный уровень изоляции.

Иностранные облачные LLM (Claude, OpenAI, Gemini) технически поддерживаются — их можно подключить через российские прокси-сервисы с OpenAI-совместимым API. Для сценариев с персональными данными этот путь не рекомендуется — см. соответствие требованиям РФ.

Единственное техническое требование к любому провайдеру — наличие API-ключа и совместимость с OpenAI- или Anthropic-подобным HTTP-протоколом.

Сравнительная таблица

Провайдер Класс Юрисдикция данных VPN из РФ 152-ФЗ без доп. мер Реестр ПО Tool calls / MCP Пример моделей
MWS GPT российский РФ (УЗ-1) не требуется да да да 70+ моделей — DeepSeek, Qwen, Llama, GigaChat, Cotype и др.
Локальная модель (Ollama) on-premise периметр заказчика не требуется да n/a да (через OpenAI-совместимый API) Llama 3.3, Qwen 2.5, DeepSeek-R1, T-Pro и др.
Иностранные облачные через российский прокси внешний США / ЕС не требуется (выходит прокси) нет — нужен DPA, согласие субъекта ПД нет да Claude, GPT-4o, Gemini

Подключение

Все модели подключаются централизованно — регистрация провайдера и выдача доступа выполняются инженером поддержки Glarus при установке системы. Заказчику достаточно указать в заявке: какой провайдер, какие модели, в каком объёме. После регистрации модели появляются в селекторе чата и в настройках агентов.

Для подключения провайдера Glarus требуется стандартный набор параметров:

  • Base URL эндпойнта провайдера;
  • API-ключ (или Authorization Key, IAM-токен — зависит от провайдера);
  • дополнительно для локальных моделей — сетевой доступ из контура Glarus AI до хоста LLM.

MWS GPT

  1. Заказчик регистрируется на mws.ru/services/mws-gpt/, создаёт проект, получает API-ключ в личном кабинете.
  2. В заявке на подключение передаёт инженеру поддержки Glarus: Base URL (https://api.gpt.mws.ru/v1, уточняется в личном кабинете MWS), API-ключ, список нужных моделей из каталога MWS GPT (включает более 70 LLM — DeepSeek, Qwen, Llama, GigaChat, Cotype и др.).
  3. После регистрации провайдер и выбранные модели становятся доступны в селекторе моделей чата Glarus AI.
  4. Проверка подключения — задать любой тестовый вопрос выбранной модели в чате Glarus AI; если агент отвечает, модель подключена.

Локальная модель (Ollama)

Самый безопасный по данным сценарий — LLM работает прямо на сервере заказчика.

  1. На машине в контуре заказчика устанавливается Ollama и скачивается нужная модель. Пример: ollama pull qwen2.5:32b-instruct (или llama3.3:70b, или deepseek-r1:70b — подбирается под GPU).
  2. Ollama по умолчанию слушает http://localhost:11434, OpenAI-совместимый эндпойнт — http://localhost:11434/v1.
  3. В заявке на подключение заказчик указывает инженеру поддержки Glarus: сетевой адрес Ollama (или другого совместимого сервера) внутри своего контура.
  4. После регистрации модели становятся доступны в селекторе моделей чата. Проверка — тестовый вопрос в чате Glarus AI.

Иностранные облачные LLM через российский прокси

Для полноты: если заказчик принял риски трансграничной передачи ПД и имеет DPA с провайдером, Claude / OpenAI / Gemini подключаются через OpenAI-совместимый эндпойнт российского прокси-сервиса (например, https://api.proxyapi.ru/openai/v1 — подробности в документации провайдера прокси). Юридические последствия и рекомендация по отказу от этого пути — в "Соответствие требованиям РФ: 152-ФЗ, DPA".

Дополнительная информация