Informazioni sul verificatore PageCheck

PageCheck controlla velocità, visibilità nelle ricerche, sicurezza ed errori dei siti web. Quando qualcuno chiede il controllo di un indirizzo, il nostro verificatore visita quella pagina una volta, come farebbe un visitatore con un browser, e scrive un report per chi l’ha richiesto. Se ci hai trovato nei log del tuo server, questa pagina spiega cosa abbiamo richiesto e perché.

Non è un crawler

Il verificatore visita solo l'indirizzo inserito da una persona. Non segue i link del tuo sito, non crea un indice e non torna di sua iniziativa. Ogni visita è stata richiesta da qualcuno, di solito il proprietario del sito o l'agenzia che lo realizza.

Cosa richiede

• La pagina stessa, prima come la invia il server, poi aperta in un browser con le sue immagini, i suoi stili e script.
• In quel browser il verificatore scorre la pagina e muove il mouse, come fa un visitatore. Alla fine accetta il banner dei cookie (“Accetta tutti”), per vedere quali strumenti di statistica e pubblicità si avviano solo dopo il consenso. Quella scelta resta nel browser del verificatore, che viene eliminato dopo il controllo; le tue statistiche e il registro dei consensi del tuo banner dei cookie possono mostrare la visita.
• robots.txt, la sitemap che indica, le icone del sito e un indirizzo inesistente, per vedere come il sito risponde a una pagina mancante.
• I quattro indirizzi radice del sito (con e senza www, via http:// e via https://), seguendo i reindirizzamenti di ciascuno fino alla pagina su cui termina.
• Alcuni file standard della piattaforma su cui gira il sito, per capire se il suo software è aggiornato (per WordPress, ad esempio, file di stile e script del core).
• Per i negozi online che vendono in Lettonia: se il negozio è presente sui comparatori di prezzi Salidzini.lv (una domanda sul negozio, tramite un vero browser) e Kurpirkt.lv (il suo elenco pubblico di negozi, letto una volta al giorno). Queste richieste vanno a quei siti, non al tuo.
• Alcuni indirizzi che non dovrebbero essere pubblici, come file di log o strumenti di amministrazione, per avvisare il proprietario se lo sono.
• I record DNS pubblici del dominio, per i controlli su email e dominio.

Un controllo dura uno o due minuti e fa qualche decina di richieste, per lo più ai file della pagina stessa. Ogni controllo è passivo: il verificatore non accede mai, non invia moduli, non prova password e non misura mai quanto carico regge un sito.

Come riconoscerlo

Il verificatore si presenta come un Chrome aggiornato e aggiunge il proprio nome alla fine dello user agent:

Mozilla/5.0 (…) Chrome/… Safari/537.36 PageCheck/1.0 (+https://pagecheck.dev/checker/)

Due eccezioni: la misurazione della velocità usa Lighthouse, lo strumento open source di Google, che mantiene la sua identità standard perché i risultati siano confrontabili con quelli di Google; e quando un sito è protetto da un controllo anti-bot che il verificatore ha superato, mantiene l'identità del browser che l'ha superato.

Da dove arriva

Tutte le richieste arrivano da questi indirizzi IP (solo IPv4):

• 65.21.12.114
• 164.68.121.244

Quando il primo indirizzo non riesce a raggiungere una pagina (nessuna connessione, o un controllo anti-bot che non riesce a superare), il verificatore richiede quella pagina ancora una volta dal secondo, e il report lo segnala.

Quando aggiungiamo capacità, il nuovo indirizzo compare qui prima di inviare una sola richiesta.

robots.txt

Poiché ogni controllo è richiesto da una persona e riguarda un solo indirizzo, il verificatore legge robots.txt per controllarlo, non come un'istruzione a stare lontano, come fa PageSpeed Insights di Google. Se non vuoi che il tuo sito venga mai controllato, usa l'esclusione qui sotto.

Una funzione legge più di un indirizzo: «Trova le pagine di un sito» nel controllo in blocco, che cerca pagine da controllare nella sitemap e seguendo i link (al massimo 100 pagine). Rispetta robots.txt e tralascia gli indirizzi che vieta a PageCheck (o a tutti i crawler), a meno che l’utente non confermi che il sito è suo o di un suo cliente.

Il nostro crawler di ricerca

Gestiamo anche un crawler di ricerca che misura l’affidabilità dei nostri controlli. Circa ogni due settimane apre la home page di siti presenti in elenchi pubblici, a volte anche /favicon.ico, da research-1.pagecheck.dev (157.173.117.113), con lo user agent «PageCheck-Research/1.0».

A differenza di un controllo, nessuno ha chiesto queste visite, quindi il crawler legge prima robots.txt e lo rispetta: le regole per PageCheck-Research, altrimenti quelle per PageCheck, altrimenti quelle per tutti i crawler. Non legge nient’altro e non visita mai un sito di cui è stata chiesta l’esclusione (vedi sotto).

Farlo passare

Se un firewall o una protezione anti-bot blocca il verificatore, il report indica quali controlli non è stato possibile eseguire; non li conta mai come superati. Per farlo passare, consenti gli indirizzi IP qui sopra o le richieste il cui user agent contiene «PageCheck».

Escludere il tuo sito

Scrivi a hello@pagecheck.dev da un indirizzo del tuo dominio (o dicci come possiamo verificare che gestisci il sito) indicando il dominio. Lo aggiungiamo al nostro elenco di esclusione, di solito entro un giorno lavorativo; da quel momento nessuno potrà controllarlo con PageCheck, sottodomini compresi.

Domande

Se il verificatore ti ha creato problemi o hai una domanda su una richiesta nei tuoi log, scrivi a hello@pagecheck.dev indicando ora e indirizzo della richiesta.