Языковые модели

Подключение LLM-провайдеров — облачных и локальных, выбор модели по умолчанию и полностью автономная конфигурация.

Поддерживаемые провайдеры

Языковые модели подключаются на странице Панель администратора → Языковые модели. Готовых карточек восемь — в том порядке, в каком они стоят на экране:

Карточка	Что нужно для подключения
Yandex AI Studio	API-ключ Yandex Cloud с доступом к AI Studio; адрес API уже вшит
GPT	API-ключ OpenAI
Claude	API-ключ Anthropic
LiteLLM Proxy	базовый URL прокси и API-ключ
Ollama	базовый URL сервера Ollama; для Ollama Cloud — ещё и API-ключ
OpenRouter	API-ключ и базовый URL (по умолчанию — адрес OpenRouter)
LM Studio	базовый URL сервера; API-ключ — если сервер его требует
OpenAI-совместимый	URL эндпоинта; API-ключ — если сервер его требует

Провайдера, которого нет в списке, подключают отдельной карточкой «Свои модели».

К моделям Charo обращается по двум протоколам: Anthropic — у карточки Claude — и OpenAI-совместимому у всех остальных, где меняются только адрес и ключ. Отдельных подключений к Amazon Bedrock и Google Vertex AI нет: ключи AWS и JSON сервис-аккаунта Google Charo не принимает.

Зарубежные облачные провайдеры (GPT, Claude, OpenRouter) — внешние сервисы: для их использования серверу Charo нужен сетевой доступ к API провайдера. Локальные модели и российские облачные сервисы — ниже.

Список моделей и их параметры

Перечень моделей GPT и Claude вшит в сборку. У OpenRouter, Ollama, LM Studio, OpenAI-совместимых серверов и Yandex AI Studio Charo запрашивает список моделей у самого провайдера.

Окно контекста берётся из встроенного справочника. Незнакомой модели присваивается окно в 32 000 токенов — значение меняется переменной окружения GEN_AI_MODEL_FALLBACK_MAX_TOKENS; около тысячи токенов всегда резервируется под ответ.

Поддержку изображений Charo определяет по имени модели. Если модель названа нестандартно, укажите тип входных данных вручную в её настройках.

Кто может пользоваться провайдером

В карточке провайдера есть блок «Доступ к моделям»: все пользователи и агенты либо только выбранные группы и агенты. Ограничение по группам работает при активной лицензии.

Где взять ключи

Yandex AI Studio — API-ключ Yandex Cloud с доступом к AI Studio, в консоли облака. Ключ привязан к каталогу (folder), и список моделей Charo забирает именно по этому каталогу.
GPT (OpenAI), Claude (Anthropic), OpenRouter — в консоли разработчика провайдера, раздел API-ключей.
GigaChat — ключ выдаётся в личном кабинете провайдера; подключение — через карточку «Свои модели» по OpenAI-совместимому адресу.
Локальные серверы — ключ обычно не нужен: укажите адрес Ollama, LM Studio или vLLM, доступный из контейнеров Charo.

Модель по умолчанию

Модель по умолчанию задаётся на странице «Языковые модели» — на ней агент отвечает, пока пользователь не выберет в чате другую из подключённых.

Эмбеддинги языковой моделью не считаются: их модель настраивается отдельно, в настройках индексации, и по умолчанию она локальная. Распознавание текста на сканах языковую модель тоже не использует — оно работает на сервере моделей Charo.

Полностью автономная конфигурация

Конфигурация, при которой запросы к моделям не покидают контур организации:

Языковая модель локально — Ollama, LM Studio или vLLM (последний подключается как OpenAI-совместимый). Для рабочих ответов на русском выбирайте модель от 8–14 млрд параметров; для нагруженных инсталляций — GPU-сервер с vLLM.
Эмбеддинги локально — модель по умолчанию уже работает на модельном сервере Charo и хорошо поддерживает русский.

Такая установка не обращается ни к каким внешним сервисам моделей — ни зарубежным, ни российским.

Российские облачные сервисы

Если запросы могут уходить из контура организации, но не должны уходить за рубеж, подойдут облачные сервисы российских провайдеров. Обращения к ним идут по сети в инфраструктуру провайдера — например, к ai.api.cloud.yandex.net для Yandex AI Studio, — поэтому серверу Charo нужен доступ к этим адресам:

Yandex AI Studio — отдельная карточка в списке провайдеров: нужен только API-ключ, адрес API уже вшит. Каталог моделей Charo получает сам.
GigaChat — подключается через карточку «Свои модели» по OpenAI-совместимому адресу провайдера.

Типовые проблемы

Ошибка «401 Unauthorized» при проверке провайдера

Ключ неверный, истёк или не имеет доступа к выбранной модели. Сгенерируйте новый ключ и проверьте, что тариф провайдера включает нужную модель.

«Unknown LLM provider … — a custom provider needs an API base»

У провайдера не заполнен базовый URL. Встроенный адрес есть только у GPT, OpenRouter и Yandex AI Studio; всем остальным адрес нужно указать явно.

Таймаут при обращении к провайдеру

Сервер Charo не достучался до API. Проверьте сетевой доступ именно с сервера (curl из контейнера API), настройки сетевого доступа и не блокирует ли трафик межсетевой экран.

Модель отвечает не на русском

Добавьте инструкцию о языке в системный промпт агента или выберите модель с лучшей поддержкой русского.