Разделы документации
Администрирование

Языковые модели

Подключение LLM-провайдеров — облачных и локальных, выбор модели по умолчанию и работа без доступа к зарубежным API.

Поддерживаемые провайдеры

Charo работает с любой моделью через одного из провайдеров в Админка → Языковые модели:

ПровайдерЧто нужно для подключения
OpenAI-совместимый APIбазовый URL и API-ключ — подходит для GigaChat, YandexGPT (через совместимые шлюзы), vLLM и других
ChatGPT (OpenAI)API-ключ OpenAI
Claude (Anthropic)API-ключ Anthropic
Azure OpenAIendpoint, ключ и имя деплоймента
Amazon Bedrockключи AWS и регион
Google Vertex AIJSON сервис-аккаунта Google Cloud
OpenRouterAPI-ключ OpenRouter
Ollamaадрес локального сервера Ollama
LM Studioадрес локального сервера LM Studio
LiteLLM Proxyадрес прокси и ключ

Если провайдера нет в списке, используйте OpenAI-совместимый API или пользовательскую модель.

Облачные зарубежные провайдеры (OpenAI, Anthropic, Google, Azure, AWS) — внешние сервисы: их API и регистрация новых аккаунтов могут быть недоступны из России. Для их использования серверу Charo нужен сетевой доступ к API провайдера. Рекомендации для работы целиком внутри РФ — ниже.

Где взять ключи

  • Российские провайдеры — ключ выдаётся в личном кабинете провайдера (например, GigaChat API или Yandex Foundation Models); подключение — через OpenAI-совместимый шлюз провайдера.
  • OpenAI / Anthropic / OpenRouter — в консоли разработчика провайдера, раздел API Keys.
  • Azure / Bedrock / Vertex AI — в соответствующей облачной консоли; для Vertex AI создайте сервис-аккаунт с ролью Vertex AI User и скачайте JSON-ключ.
  • Локальные модели — ключ не нужен: укажите адрес сервера Ollama, LM Studio или vLLM, доступный из контейнеров Charo.

Модель по умолчанию и разделение по задачам

Charo использует языковые модели для нескольких задач, и их можно разнести по разным провайдерам:

  • Чат — основная модель, которая формулирует ответы. Модель по умолчанию задаётся на странице «Языковые модели»; пользователи могут выбирать из подключённых моделей в интерфейсе чата.
  • Контекстный поиск и описание изображений — отдельные модели для задач индексации; выбираются в настройках индексации. Для контекстного поиска подойдёт быстрая недорогая модель; для описания изображений нужна модель с поддержкой зрения.
  • Эмбеддинги — не языковая модель, настраиваются отдельно на той же странице «Настройки индексации»: по умолчанию — локальная модель без внешнего API.

Работа без доступа к зарубежным API

Полностью автономная конфигурация, при которой наружу не уходит ни один запрос:

  1. Чат — локальная модель через Ollama или vLLM (OpenAI-совместимый API). Для рабочих ответов на русском выбирайте модель от 8–14 млрд параметров; для нагруженных инсталляций — GPU-сервер с vLLM.
  2. Эмбеддинги — модель по умолчанию уже работает локально на модельном сервере Charo и хорошо поддерживает русский.
  3. Российские облачные API — если локальных мощностей нет, подключите GigaChat или YandexGPT через OpenAI-совместимый шлюз: данные остаются в российской юрисдикции.

Типовые проблемы

Ошибка «401 Unauthorized» при проверке провайдера

Ключ неверный, истёк или не имеет доступа к выбранной модели. Сгенерируйте новый ключ и проверьте, что тариф провайдера включает нужную модель.

Таймаут при обращении к провайдеру

Сервер Charo не достучался до API. Проверьте сетевой доступ именно с сервера (curl из контейнера API), настройки прокси и не блокирует ли трафик межсетевой экран. Для зарубежных провайдеров доступ из российских сетей может отсутствовать.

Модель отвечает не на русском

Добавьте инструкцию о языке в системный промпт ассистента или выберите модель с лучшей поддержкой русского.