Языковые модели

Подключение LLM-провайдеров — облачных и локальных, выбор модели по умолчанию и полностью автономная конфигурация.

Поддерживаемые провайдеры

Языковые модели подключаются на странице Админка → Языковые модели. Готовых карточек девять:

Провайдер	Что нужно для подключения
OpenAI	API-ключ
Anthropic	API-ключ
OpenRouter	API-ключ и базовый URL (по умолчанию — адрес OpenRouter)
Azure OpenAI	целевой URI эндпоинта (адрес API, имя деплоймента и версия API в одной строке) и API-ключ
Ollama	базовый URL сервера Ollama; для Ollama Cloud — ещё и API-ключ
LM Studio	базовый URL сервера; API-ключ — если сервер его требует
LiteLLM Proxy	базовый URL прокси и API-ключ
OpenAI-совместимый	URL эндпоинта; API-ключ — если сервер его требует
Yandex AI Studio	API-ключ Yandex Cloud с доступом к AI Studio; адрес API уже вшит

Провайдера, которого нет в списке, подключают карточкой «Свои модели».

К моделям Charo обращается по трём протоколам: Anthropic, Azure OpenAI и OpenAI-совместимому. Все провайдеры, кроме первых двух, работают по OpenAI-совместимому протоколу — меняются только адрес и ключ. Отдельных подключений к Amazon Bedrock и Google Vertex AI нет: ключи AWS и JSON сервис-аккаунта Google Charo не принимает.

Зарубежные облачные провайдеры (OpenAI, Anthropic, OpenRouter, Azure) — внешние сервисы: для их использования серверу Charo нужен сетевой доступ к API провайдера. Конфигурации, работающие внутри российского контура, — ниже.

Список моделей и их параметры

Перечень моделей OpenAI и Anthropic вшит в сборку. У OpenRouter, Ollama, LM Studio, OpenAI-совместимых серверов и Yandex AI Studio Charo запрашивает список моделей у самого провайдера.

Окно контекста берётся из встроенного справочника. Незнакомой модели присваивается окно в 32 000 токенов — значение меняется переменной окружения GEN_AI_MODEL_FALLBACK_MAX_TOKENS; около тысячи токенов всегда резервируется под ответ.

Поддержку изображений Charo определяет по имени модели. Если модель названа нестандартно, укажите тип входных данных вручную в её настройках.

Кто может пользоваться провайдером

В карточке провайдера есть блок «Доступ к моделям»: все пользователи и агенты либо только выбранные группы и агенты. Ограничение по группам работает при активной лицензии.

Где взять ключи

Yandex AI Studio — API-ключ Yandex Cloud с доступом к AI Studio, в консоли облака. Ключ привязан к каталогу (folder), и список моделей Charo забирает именно по этому каталогу.
OpenAI / Anthropic / OpenRouter — в консоли разработчика провайдера, раздел API-ключей.
Azure OpenAI — в портале Azure: целевой URI развёрнутого деплоймента и ключ ресурса.
GigaChat — ключ выдаётся в личном кабинете провайдера; подключение — через карточку «Свои модели» по OpenAI-совместимому адресу.
Локальные серверы — ключ обычно не нужен: укажите адрес Ollama, LM Studio или vLLM, доступный из контейнеров Charo.

Модель по умолчанию

Модель по умолчанию задаётся на странице «Языковые модели» — на ней ассистент отвечает, пока пользователь не выберет в чате другую из подключённых.

Эмбеддинги языковой моделью не считаются: их модель настраивается отдельно, в настройках индексации, и по умолчанию она локальная. Распознавание текста на сканах языковую модель тоже не использует — оно работает на сервере моделей Charo.

Полностью автономная конфигурация

Конфигурации, при которых запросы не уходят за пределы российского контура:

Локальные модели — Ollama, LM Studio или vLLM (последний подключается как OpenAI-совместимый). Для рабочих ответов на русском выбирайте модель от 8–14 млрд параметров; для нагруженных инсталляций — GPU-сервер с vLLM.
Yandex AI Studio — отдельная карточка в списке провайдеров: нужен только API-ключ, адрес API уже вшит. Каталог моделей Charo получает сам.
GigaChat — подключается как своя модель по OpenAI-совместимому адресу провайдера.
Эмбеддинги — модель по умолчанию уже работает локально на модельном сервере Charo и хорошо поддерживает русский.

Типовые проблемы

Ошибка «401 Unauthorized» при проверке провайдера

Ключ неверный, истёк или не имеет доступа к выбранной модели. Сгенерируйте новый ключ и проверьте, что тариф провайдера включает нужную модель.

«Unknown LLM provider … — a custom provider needs an API base»

У провайдера не заполнен базовый URL. Встроенный адрес есть только у OpenAI, OpenRouter и Yandex AI Studio; всем остальным адрес нужно указать явно.

Таймаут при обращении к провайдеру

Сервер Charo не достучался до API. Проверьте сетевой доступ именно с сервера (curl из контейнера API), настройки сетевого доступа и не блокирует ли трафик межсетевой экран.

Модель отвечает не на русском

Добавьте инструкцию о языке в системный промпт агента или выберите модель с лучшей поддержкой русского.