L'agente di Pharos
Se trovi questo nome nei log del tuo sito, è perché qualcuno ha chiesto l'analisi di quella pagina. Non stiamo esplorando il web: siamo passati una volta, su richiesta. Qui c'è cosa scarichiamo, cosa non facciamo e come fermarci.
Come ci presentiamo
Una sola stringa, per ogni richiesta che Pharos fa per conto proprio.
Mozilla/5.0 (compatible; Pharos-Audit/1.3.0; +https://pharos.verso.solutions/bot)Il token è «Pharos-Audit». La versione cambia a ogni rilascio di Pharos, il nome no.
Cosa scarichiamo
- La pagina che l'utente ci ha indicato, una volta. Non seguiamo i suoi link e non passiamo ad altre pagine.
- Il tuo
robots.txt, la sitemap dichiarata, e i file pensati per gli agenti (llms.txt,.well-known). - Una richiesta per ciascuno dei crawler AI che verifichiamo, con il suo user-agent al posto del nostro: serve a dirti se quel bot verrebbe respinto. Vedrai quindi anche nomi come
GPTBotoClaudeBotarrivare dai nostri indirizzi. È un probe, non è quel bot. - In tutto una ventina di richieste, in pochi secondi, e poi ce ne andiamo.
Cosa non facciamo
- Non torniamo da soli: non c'è nessuna pianificazione, nessun ri-passaggio. Torniamo solo se qualcuno chiede un'altra analisi.
- Non eseguiamo JavaScript. Leggiamo l'HTML servito, come fa un fetcher AI.
- Non conserviamo l'HTML della tua pagina. Il referto contiene i segnali che abbiamo calcolato, non il tuo contenuto.
- Non addestriamo modelli sul tuo sito, e non rivendiamo nulla a nessuno.
E il robots.txt?
Per la pagina che ci viene indicata non lo consultiamo, e preferiamo dirtelo invece di lasciartelo scoprire. Il motivo è che un referto che si ferma davanti al robots.txt non potrebbe dirti quello per cui esiste: quali bot stai bloccando senza saperlo. È la stessa scelta di Chrome-Lighthouse, che analizza la pagina che gli chiedi di analizzare. Scriverci una regola dentro non ci fermerebbe: se vuoi fermarci, la riga qui sotto lo fa davvero.
Come fermarci
Al livello del server o del WAF, sull'user-agent. Esempio per nginx:
if ($http_user_agent ~* "Pharos-Audit") { return 403; }Bloccandoci, chi prova ad analizzare il tuo sito con Pharos otterrà un referto che dice «non raggiungibile». Nient'altro cambia.
E «PharosBot»?
È un nome che teniamo da parte, oggi non lo usa nessuno. Servirà al giorno in cui Pharos analizzerà un sito intero e non una pagina sola: lì attraverseremmo pagine che nessuno ci ha indicato, e allora il robots.txt andrà rispettato. Cose diverse, nomi diversi. Se vedi PharosBot oggi, non siamo noi.
Qualcosa non torna?
Se Pharos-Audit si è comportato in modo che non ti aspettavi, scrivici: è il modo in cui lo correggiamo.