Веб-сайты

Индексация сайтов в Charo — рекурсивный обход, одиночные страницы и sitemap, скрейпинг c JavaScript.

Что индексируется

Страницы сайта: HTML преобразуется в текст, PDF-документы по ссылкам тоже индексируются.
Область обхода зависит от метода скрейпинга (см. ниже).

Когда использовать

Публичные и внутренние сайты без API: корпоративный портал, база знаний на сайте, документация продукта. Учётные данные не нужны — индексируется то, что доступно по прямой ссылке с сервера Charo.

Настройка в Charo

Поле	Что указать
Базовый URL	адрес, с которого начинается обход, например `https://portal.company.ru/kb/`
Метод скрейпинга	«recursive» — обход всех страниц того же сайта по ссылкам, начиная с базового URL; «single» — только одна указанная страница; «sitemap» — все страницы из sitemap.xml

Расширенное поле «Прокручивать перед скрейпингом» — включите, если содержимое сайта подгружается при прокрутке (бесконечные ленты, ленивая загрузка).

Синхронизация прав

Не применимо: индексируется общедоступное содержимое. Управляйте доступом видимостью коннектора (см. «Права доступа»).

Ограничения и частота обновления

Страницы за формой входа не индексируются.
Адреса из приватных диапазонов проверяются политикой безопасности: коннектор не ходит на localhost и служебные адреса.
Обновления — повторный обход по расписанию коннектора; для больших сайтов надёжнее метод «sitemap».

Устранение неполадок

Проиндексирована одна страница вместо сайта

Выбран метод «single», либо ссылки на другие страницы ведут на другой домен — рекурсивный обход не покидает исходный сайт.

Содержимое страниц пустое

Сайт рендерится JavaScript-ом с задержкой или подгружается при прокрутке — включите «Прокручивать перед скрейпингом».

Часть страниц отсутствует при методе «sitemap»

Проверьте, что sitemap.xml актуален и доступен по адресу <базовый URL>/sitemap.xml или укажите прямой путь к нему.