Веб-сайты

Что индексируется

• Страницы сайта: HTML преобразуется в текст.
• PDF-документы по ссылкам — из них извлекается текст.
• Область обхода зависит от метода скрейпинга (см. ниже).

Страницы открываются встроенным браузером, поэтому содержимое, которое дорисовывает JavaScript, тоже попадает в индекс.

Когда использовать

Публичные и внутренние сайты без API: корпоративный портал, база знаний на сайте, документация продукта. Учётные данные не нужны — индексируется то, что доступно по прямой ссылке с сервера Charo.

Настройка в Charo

Поле	Что указать
Базовый URL	адрес, с которого начинается обход, например https://portal.company.ru/kb/
Метод скрейпинга	«recursive» — обход страниц того же сайта по ссылкам, начиная с базового URL; «single» — только указанная страница; «sitemap» — все страницы из sitemap.xml

Расширенное поле «Прокручивать перед скрейпингом» — включите, если содержимое сайта подгружается при прокрутке (бесконечные ленты, ленивая загрузка).

По умолчанию этот коннектор обходит сайт раз в сутки; частоту можно изменить в расширенной конфигурации.

Синхронизация прав

Не применима: индексируется общедоступное содержимое. Управляйте доступом видимостью коннектора (см. «Права доступа»).

Ограничения и частота обновления

• Страницы за формой входа не индексируются: коннектор не авторизуется.
• Адреса проверяются политикой безопасности: коннектор не ходит на loopback, link-local и адреса из частных диапазонов. Внутренний портал должен быть доступен по публично разрешимому имени, иначе обход будет отклонён.
• Обновления — повторный обход по расписанию коннектора; для больших сайтов надёжнее метод «sitemap».

Устранение неполадок

Причина отказа видна в карточке коннектора — Админка → Коннекторы, история попыток индексации. Charo называет её по-русски и указывает адрес страницы; ниже — что делать с самыми частыми.

Коннектор не сохраняется

Поле «Базовый URL» пустое или заполнено некорректно. Метод «single» вдобавок проверяет доступность указанной страницы сразу; для «recursive» и «sitemap» проверки при сохранении нет — ошибки появятся в карточке коннектора после первой индексации.

Обращаться по этому адресу запрещено политикой безопасности

Имя разрешается в петлевой, link-local или частный адрес. Это сработала защита от обхода внутренней сети: внутренний портал должен быть доступен по публично разрешимому имени.

Источник не отвечает

Имя не разрешается с сервера Charo или сайт недоступен — проверьте DNS и сетевой доступ именно с этого сервера.

robots.txt сайта запрещает обходить адрес

Страница не запрашивалась вовсе. Разрешите её в robots.txt сайта либо укажите в подключении адрес, который обход разрешает.

Сайт закрыт защитой от ботов

Вместо страницы сайт отдал проверку браузера. Прочитать его Charo не может — исключите такой адрес из подключения.

Сайт больше, чем обходит одно подключение

Достигнут предел страниц на одно подключение. Сузьте начальный адрес до нужного раздела или разбейте сайт на несколько коннекторов.

Страницу не удалось отрисовать

Браузер не успел или не смог отрисовать страницу: она слишком тяжёлая либо адрес не открывается. Charo повторит попытку по расписанию.

На странице не нашлось текста

Разметка пустая либо содержимое дорисовывают скрипты, до которых обход не добрался, — включите «Прокручивать перед скрейпингом». Проверьте адрес в браузере: если текст виден только после действий пользователя, обход его не получит.

Со страницы ведёт ссылка на картинку

При обходе сайта Charo картинки не распознаёт — почти всегда это оформление страницы, и сообщение можно игнорировать. Если текст с картинок нужен, загрузите изображения через «Загрузку файлов».

Проиндексирована одна страница вместо сайта

Выбран метод «single», либо ссылки на другие страницы ведут на другой домен — рекурсивный обход не покидает исходный сайт.

Часть страниц отсутствует при методе «sitemap»

Проверьте, что sitemap.xml актуален и доступен по адресу <базовый URL>/sitemap.xml, либо укажите прямой путь к нему.