Перейти к содержимому

О сканере PageCheck

PageCheck проверяет сайты на скорость, видимость в поиске, безопасность и ошибки. Когда кто-то запрашивает проверку адреса, наш проверяющий агент один раз посещает эту страницу, как посетитель с браузером, и составляет отчёт для того, кто её запросил. Если вы нашли нас в журналах своего сервера, на этой странице объясняется, что мы запрашивали и зачем.

Это не поисковый робот

Проверяющий агент посещает только адрес, который ввёл человек. Он не переходит по ссылкам по всему сайту, не строит индекс и не возвращается сам. Каждое посещение кто-то запросил — обычно владелец сайта или агентство, которое его делает.

Что он запрашивает

  • Саму страницу — сначала в том виде, в каком её отправляет сервер, затем открытую в браузере с её изображениями, стилями и скриптами.
  • В этом браузере проверяющий агент прокручивает страницу и двигает мышью, как посетитель. В самом конце он принимает баннер cookie («Принять все»), чтобы увидеть, какие инструменты статистики и рекламы запускаются только после согласия. Этот выбор остаётся в браузере проверяющего агента, который удаляется после проверки; посещение может отразиться в вашей статистике и в журнале согласий вашего баннера cookie.
  • robots.txt, карту сайта (sitemap), которую он указывает, иконки сайта и один несуществующий адрес, чтобы увидеть, как сайт отвечает на запрос отсутствующей страницы.
  • Четыре корневых адреса сайта (с www и без, по http:// и по https://) с прохождением перенаправлений каждого до страницы, на которой он заканчивается.
  • Несколько стандартных файлов платформы, на которой работает сайт, чтобы определить, обновлено ли её ПО (для WordPress, например, файлы стилей и скриптов ядра).
  • Для интернет-магазинов, продающих в Латвии: есть ли магазин в списках сайтов сравнения цен Salidzini.lv (один вопрос о магазине через настоящий браузер) и Kurpirkt.lv (его публичный список магазинов, читается раз в день). Эти запросы идут на эти сайты, а не на ваш.
  • Несколько адресов, которые не должны быть общедоступными, например файлы журналов или инструменты администрирования, чтобы предупредить владельца, если они доступны.
  • Публичные DNS-записи домена — для проверок электронной почты и домена.

Проверка занимает минуту-две и делает несколько десятков запросов, в основном к собственным файлам страницы. Каждая проверка пассивна: проверяющий агент никогда не входит в систему, не отправляет формы, не подбирает пароли и не измеряет, какую нагрузку выдерживает сайт.

Как его узнать

Проверяющий агент представляется актуальной версией Chrome и добавляет своё имя в конец user agent:

Mozilla/5.0 (…) Chrome/… Safari/537.36 PageCheck/1.0 (+https://pagecheck.dev/checker/)

Два исключения: измерение скорости выполняет Lighthouse — инструмент Google с открытым исходным кодом, который использует собственную стандартную идентификацию, чтобы результаты можно было сравнивать с результатами Google; а если сайт защищён проверкой на ботов, которую агент прошёл, он сохраняет идентификацию браузера, который её прошёл.

Откуда он приходит

Все запросы приходят с этих IP-адресов (только IPv4):

  • 65.21.12.114
  • 164.68.121.244

Если первый адрес не может получить страницу (нет соединения или проверка на ботов, которую он не проходит), сканер запрашивает эту страницу ещё раз со второго адреса, и отчёт об этом сообщает.

Когда мы добавляем мощности, новый адрес появляется здесь раньше, чем с него будет отправлен хоть один запрос.

robots.txt

Поскольку каждую проверку запрашивает человек и она охватывает один адрес, проверяющий агент читает robots.txt, чтобы проверить его, а не как указание держаться в стороне, — так же, как Google PageSpeed Insights. Если вы хотите, чтобы ваш сайт никогда не проверялся, воспользуйтесь отказом ниже.

Только одна функция читает больше одного адреса: «Найти страницы сайта» в массовой проверке, которая ищет страницы для проверки в карте сайта (sitemap) и переходя по ссылкам (не более 100 страниц). Она соблюдает robots.txt и пропускает адреса, запрещённые для PageCheck (или для всех роботов), если только пользователь не подтвердит, что это его сайт или сайт его клиента.

Наш исследовательский робот

Мы также используем исследовательского робота, который измеряет, насколько надёжны наши проверки. Примерно раз в две недели он открывает главную страницу сайтов из публичных списков, иногда также /favicon.ico, с адреса research-1.pagecheck.dev (157.173.117.113), с user agent «PageCheck-Research/1.0».

В отличие от проверки, об этих визитах никто не просил, поэтому робот сначала читает robots.txt и следует ему: правилам для PageCheck-Research, если их нет — для PageCheck, если нет и их — для всех роботов. Больше он ничего не читает и никогда не посещает сайт, исключение которого было запрошено (см. ниже).

Как его пропустить

Если файрвол или защита от ботов останавливают проверяющего агента, в отчёте указывается, какие проверки не удалось выполнить; они никогда не засчитываются как пройденные. Чтобы пропустить агента, разрешите указанные выше IP-адреса или запросы, в user agent которых есть «PageCheck».

Как исключить свой сайт

Напишите на hello@pagecheck.dev с адреса на вашем домене (или сообщите, как мы можем убедиться, что вы управляете сайтом) и укажите домен. Мы добавим его в список исключений, обычно в течение одного рабочего дня; после этого никто не сможет проверить его с помощью PageCheck, включая его поддомены.

Вопросы

Если проверяющий агент доставил вам неудобства или у вас есть вопрос о запросе в ваших журналах, напишите на hello@pagecheck.dev, указав время и адрес запроса.