Потоки данных

Путь документа

Каждый документ проходит один и тот же конвейер:

1. Получение. Воркер обращается к источнику через коннектор и забирает новые и изменённые документы (у большинства источников — инкрементально, по времени изменения).
2. Извлечение текста. Из документа извлекаются текст, метаданные (автор, дата, ссылка) и, если включено, описания изображений.
3. Чанкование. Текст режется на фрагменты (чанки) с перекрытием — так поиск находит точное место, а не документ целиком.
4. Эмбеддинги. Модельный сервер превращает каждый фрагмент в вектор.
5. Запись. Векторы и текст фрагментов записываются в векторное хранилище (Qdrant), метаданные документа — в PostgreSQL.

После записи документ участвует в поиске. Если настроены хуки, они вызываются на шаге между извлечением и чанкованием (обработка документов) и после записи (push документов).

Что и когда индексируется

• Первичная индексация — сразу после создания коннектора: забирается всё доступное содержимое источника.
• Обновления — по расписанию, которое задаётся в настройках коннектора: забираются только изменения.
• Очистка устаревших документов — периодическая сверка с источником: документы, удалённые в источнике, удаляются из индекса.
• Синхронизация прав — отдельный цикл для коннекторов с наследованием ACL (см. «Права доступа»).

Полная переиндексация

Смена модели эмбеддингов (и часть настроек в настройках поиска) требует полной переиндексации: все документы заново проходят шаги 3–5, потому что старые векторы несовместимы с новой моделью.

Пока идёт переиндексация:

• поиск работает по старому индексу — пользователи ничего не замечают;
• система строит новый индекс параллельно и переключается на него по завершении;
• нагрузка на модельный сервер и источники заметно выше обычной.

Сколько это занимает

Скорость упирается в модельные серверы (эмбеддинги) и лимиты API источников. В зависимости от объёма корпуса полная переиндексация занимает часы или дни; GPU у модельных серверов сокращает время в разы. Планируйте смену модели эмбеддингов на нерабочее время.

Как отслеживать прогресс

• Админка → Подключённые коннекторы — статус по каждому коннектору: сколько документов проиндексировано, последняя успешная синхронизация, ошибки.
• Карточка коннектора показывает историю запусков индексации, синхронизаций прав и подробности последней ошибки.
• При полной переиндексации прогресс виден на странице настроек индексации; там же переиндексацию можно отменить — вернётся предыдущая модель.