Настройки индексации

Что настраивается

Страница Админка → Настройки индексации управляет тем, как документы индексируются, преобразуются в эмбеддинги и готовятся к поиску. Здесь три блока: модель эмбеддингов, оптимизация поиска и обработка изображений.

Смена модели эмбеддингов требует полной переиндексации всех документов — в зависимости от объёма корпуса это часы или дни. Подробнее о том, что происходит при переиндексации, — «Потоки данных».

Модель эмбеддингов

Эмбеддинг — векторное представление текста, по которому работает семантический поиск. Charo использует выбранную модель для кодирования всех документов и запросов, поэтому модель и её параметры фиксируются для всего индекса.

Доступные варианты:

• Локальные модели — работают на вашей инфраструктуре, содержимое документов не покидает контур. Вариант по умолчанию и рекомендация для русскоязычного корпуса.
• LiteLLM-совместимый эндпоинт — любой OpenAI-совместимый сервер эмбеддингов, включая локальный Ollama: укажите целевой URL и, при необходимости, API-ключ.
• Облачные провайдеры (Cohere, OpenAI, Google) — требуют API-ключ провайдера. Учтите два момента: содержимое документов будет уходить на API провайдера, и API зарубежных провайдеров могут быть недоступны из России.
• Свои модели — произвольная модель с ручными параметрами: имя, размерность, нормализация эмбеддингов, префиксы запроса и документа (если модель обучена с префиксами — их отсутствие ухудшит качество).

Смена модели

При выборе новой модели Charo строит второй индекс в фоне: поиск продолжает работать на старой модели и переключается на новую после завершения переиндексации. Пока идёт переиндексация:

• прогресс виден на этой же странице; переиндексацию можно отменить — вернётся предыдущая модель, прогресс будет потерян;
• настройки блока «Оптимизация поиска» временно заблокированы.

Оптимизация поиска

Контекстный поиск — к каждому фрагменту документа при индексации добавляется контекст уровня документа, сгенерированный языковой моделью. Повышает релевантность гибридного поиска, но заметно увеличивает объём работы модели при индексации. Для генерации контекста выбирается отдельная LLM контекстного поиска — подойдёт быстрая недорогая модель. Требуется настроенная языковая модель.

Обработка изображений

Извлечение и описание изображений — из загружаемых файлов (PDF, DOCX и др.) извлекаются изображения, и модель с поддержкой зрения описывает их текстом: документы, состоящие из одних изображений, становятся доступными для поиска.

• LLM для описания изображений — выбирается из настроенных моделей с поддержкой зрения.
• Максимальный размер изображения — изображения больше лимита пропускаются для экономии ресурсов.
• Описания включаются в эмбеддинги при индексации, поэтому изменение модели описаний действует только на новые документы.

Рекомендации для русскоязычного корпуса

• Начните с локальной модели эмбеддингов по умолчанию — она мультиязычная и не требует внешних API.
• Не меняйте модель без замера: подготовьте 10–20 реальных вопросов и сравните качество ответов до и после.
• Контекстный поиск включайте, когда базовое качество уже устраивает, а хочется точнее: прирост заметен на больших разнородных корпусах.
• Облачные эмбеддинг-провайдеры для закрытого контура не подходят — содержимое документов уходит на внешний API (см. «Безопасность»).