Веб

Что индексируется

• Страницы сайта: HTML преобразуется в текст.
• Файлы по ссылкам — всё, что сайт отдаёт не как HTML: PDF, TXT, CSV, MD, JSON, DOC, DOCX, XLSX, PPTX и EPUB; из них извлекается текст. Картинки при обходе не распознаются.
• Область обхода зависит от метода скрейпинга (см. ниже).

Страницы открываются встроенным браузером, поэтому содержимое, которое дорисовывает JavaScript, тоже попадает в индекс.

Когда использовать

Публичные и внутренние сайты без API: корпоративный портал, база знаний на сайте, документация продукта. Учётные данные не нужны — индексируется то, что доступно по прямой ссылке с сервера Charo.

Настройка в Charo

Поле	Что указать
Базовый URL	адрес, с которого начинается обход, например https://portal.company.ru/kb/
Метод скрейпинга	«По ссылкам сайта» (recursive) — обход страниц того же сайта по ссылкам, начиная с базового URL; «Одна страница» (single) — только указанная страница; «По карте сайта» (sitemap) — все страницы из sitemap.xml. Коды в скобках встречаются в журналах и настройках

Расширенное поле «Прокручивать перед скрейпингом» — включите, если содержимое сайта подгружается при прокрутке (бесконечные ленты, ленивая загрузка).

По умолчанию этот коннектор обходит сайт раз в сутки; частоту можно изменить в расширенной конфигурации.

Синхронизация прав

Не применима: индексируется общедоступное содержимое. Управляйте доступом видимостью коннектора (см. «Права доступа»).

Ограничения и частота обновления

• Страницы за формой входа не индексируются: коннектор не авторизуется.
• Адреса проверяются политикой безопасности: коннектор не ходит на loopback, link-local и адреса из частных диапазонов. Внутренний портал должен быть доступен по публично разрешимому имени, иначе обход будет отклонён.
• Обновления — повторный обход по расписанию коннектора; для больших сайтов надёжнее метод «По карте сайта».

Устранение неполадок

Причина отказа видна в карточке коннектора — Панель администратора → Коннекторы, история попыток индексации. Charo называет её по-русски и указывает адрес страницы; ниже — что делать с самыми частыми.

Коннектор не сохраняется

Поле «Базовый URL» пустое или заполнено некорректно. Метод «Одна страница» вдобавок проверяет доступность указанной страницы сразу; для методов «По ссылкам сайта» и «По карте сайта» проверки при сохранении нет — ошибки появятся в карточке коннектора после первой индексации.

Обращаться по этому адресу запрещено политикой безопасности

Имя разрешается в петлевой, link-local или частный адрес. Это сработала защита от обхода внутренней сети: внутренний портал должен быть доступен по публично разрешимому имени.

Источник не отвечает

Имя не разрешается с сервера Charo или сайт недоступен — проверьте DNS и сетевой доступ именно с этого сервера.

robots.txt сайта запрещает обходить адрес

Страница не запрашивалась вовсе. Разрешите её в robots.txt сайта либо укажите в подключении адрес, который обход разрешает.

Сайт закрыт защитой от ботов

Вместо страницы сайт отдал проверку браузера. Прочитать его Charo не может — исключите такой адрес из подключения.

Сайт больше, чем обходит одно подключение

Достигнут предел страниц на одно подключение. Сузьте начальный адрес до нужного раздела или разбейте сайт на несколько коннекторов.

Страницу не удалось отрисовать

Браузер не успел или не смог отрисовать страницу: она слишком тяжёлая либо адрес не открывается. Charo повторит попытку по расписанию.

На странице не нашлось текста

Разметка пустая либо содержимое дорисовывают скрипты, до которых обход не добрался, — включите «Прокручивать перед скрейпингом». Проверьте адрес в браузере: если текст виден только после действий пользователя, обход его не получит.

Со страницы ведёт ссылка на картинку

При обходе сайта Charo картинки не распознаёт — почти всегда это оформление страницы, и сообщение можно игнорировать. Если текст с картинок нужен, загрузите изображения через коннектор «Файл».

Проиндексирована одна страница вместо сайта

Выбран метод «Одна страница», либо ссылки на другие страницы ведут на другой домен — обход по ссылкам не покидает исходный сайт.

Часть страниц отсутствует при методе «По карте сайта»

Проверьте, что sitemap.xml актуален и доступен по адресу <базовый URL>/sitemap.xml, либо укажите прямой путь к нему.