La crawlability misura la capacità di un motore di ricerca di raggiungere, leggere e scansionare le pagine di un sito web. Se Googlebot non riesce a recuperare correttamente una pagina, la sua indicizzazione diventa improbabile o può essere compromessa. Questo aspetto tecnico riguarda l’intera struttura del sito e viene analizzato durante audit SEO, migrazioni, rilanci e ogni intervento che modifica l’architettura o le direttive di scansione.
Crawlability: definizione e rapporto con il crawling
La crawlability descrive il grado di accessibilità di un sito per i bot dei motori di ricerca. Non è una proprietà binaria: alcune pagine sono pienamente accessibili, altre sono parzialmente raggiungibili, altre ancora sono bloccate da configurazioni tecniche. Il crawling è il processo con cui questi bot esplorano il web; la crawlability è la condizione che lo rende possibile o lo ostacola.
Che cosa indica la crawlability di una pagina o di un sito
La crawlability di una pagina indica se un crawler è in grado di raggiungerla attraverso link o altri percorsi di scoperta, di leggerne il codice HTML e di trasmetterne il contenuto ai sistemi di elaborazione del motore di ricerca. Una pagina con crawlability compromessa può essere bloccata da robots.txt, da un errore HTTP, da un link mancante o da un tempo di risposta eccessivo del server.
A livello di sito, la crawlability complessiva dipende dall’insieme delle condizioni tecniche e strutturali che facilitano o limitano la navigazione automatica. Un sito con molte pagine orfane, redirect a catena e direttive contraddittorie presenta una crawlability bassa anche se i singoli contenuti sono di qualità.
Come operano crawler, bot e spider nella scoperta delle URL
I crawler, anche chiamati bot o spider, seguono i link da una pagina all’altra per scoprire nuovi URL. Googlebot, il crawler principale di Google, parte da un insieme di URL noti e aggiunge progressivamente quelli trovati attraverso i link interni ed esterni. La frequenza e la profondità di scansione dipendono da segnali come l’autorità del sito, la velocità di risposta del server e la quantità di contenuto nuovo rilevato nelle visite precedenti.
Oltre ai link, i bot utilizzano la sitemap XML come fonte supplementare di URL da esplorare. Questo strumento non sostituisce la navigazione interna, ma permette di segnalare pagine che potrebbero non essere raggiungibili attraverso i soli collegamenti presenti nel sito.
Differenza tra scansione delle pagine e accesso alle risorse
La scansione di una pagina consiste nel recupero del suo codice HTML. L’accesso alle risorse riguarda invece il caricamento degli elementi che la pagina richiama: file CSS, JavaScript, immagini. Se un sito blocca l’accesso ai file JavaScript tramite robots.txt, Googlebot non riesce a renderizzare correttamente la pagina e può non vedere parte del contenuto o dei link in essa presenti. Google raccomanda di non bloccare i file necessari al rendering nelle linee guida su JavaScript e SEO.
Crawlability, indicizzazione e ranking: come si collegano
Crawling, indicizzazione e posizionamento sono tre fasi distinte e sequenziali. La crawlability riguarda solo la prima: la capacità del bot di accedere alla pagina. Senza questa condizione, le fasi successive non avvengono. Un sito può avere contenuti eccellenti e un profilo di link solido, ma se le sue pagine non sono accessibili ai crawler, non compaiono nelle SERP.
Sequenza tra crawling, indicizzazione e comparsa nelle SERP
Il processo inizia quando Googlebot raggiunge una pagina e ne recupera il codice. Dopo la scansione, il contenuto viene elaborato e, se ritenuto idoneo, viene aggiunto all’indice di Google. Solo le pagine indicizzate possono comparire tra i risultati di ricerca. Questa sequenza, scansione, indicizzazione, posizionamento, non è reversibile: bloccare la prima fase impedisce automaticamente le successive.
Perché una pagina scansionata non è automaticamente indicizzata
La scansione e l’indicizzazione sono operazioni separate. Google può visitare una pagina e decidere di non includerla nell’indice per diversi motivi: contenuto duplicato, qualità insufficiente, tag noindex presente, versione canonica che punta altrove, o pagina ritenuta priva di valore informativo aggiuntivo rispetto ad altri contenuti già presenti. Il fatto che Googlebot abbia visitato un URL non garantisce quindi la sua presenza nell’indice.
Differenza tra crawlability e indexability
La crawlability riguarda l’accessibilità della pagina al bot: il crawler può raggiungerla e leggerne il codice? L’indexability riguarda invece la possibilità che la pagina venga inclusa nell’indice dopo la scansione: non ci sono direttive noindex, non è un duplicato, il contenuto soddisfa i criteri di Google? Un blocco sulla crawlability impedisce di arrivare a valutare l’indexability, mentre una pagina scansionabile può comunque risultare non indicizzabile per ragioni di contenuto o direttive.
Fattori tecnici che limitano la crawlability
Diversi elementi tecnici possono ridurre la crawlability di un sito, a volte in modo intenzionale e a volte per errore di configurazione. I più comuni riguardano le direttive di scansione, gli errori di risposta del server, la struttura dei link interni e le caratteristiche del codice che rallentano o bloccano i bot.
Robots.txt, meta robots e direttive che bloccano la scansione
Il file robots.txt e il tag meta robots sono i principali strumenti con cui un sito comunica ai crawler cosa possono e non possono fare. La distinzione tra i due è rilevante: robots.txt agisce prima della scansione, il meta robots agisce dopo che la pagina è stata raggiunta e letta. Un errore in uno dei due può bloccare la visibilità di intere sezioni del sito.
Blocco del crawling
Il file robots.txt può contenere direttive Disallow che impediscono a Googlebot di accedere a determinate URL o sezioni. Una direttiva errata, per esempio un Disallow: / applicato all’intero sito, può bloccare completamente la scansione. Questo tipo di errore si verifica spesso durante migrazioni o quando l’ambiente di staging viene pubblicato senza modificare le impostazioni. La sintassi del file robots.txt prevede regole per singolo agente e per singolo percorso.
Blocco dell’indicizzazione
Il tag meta robots con valore noindex segnala a Google che la pagina non deve essere inclusa nell’indice, anche se il crawler può visitarla. Questa direttiva differisce dal blocco in robots.txt: in quel caso il bot non accede alla pagina, qui accede ma non la indicizza. Un’altra variante è l’header HTTP X-Robots-Tag, che produce lo stesso effetto a livello di server ed è particolarmente utile per file non HTML come i PDF.
Errori HTTP, redirect e pagine non raggiungibili
Gli errori HTTP comunicano al crawler lo stato di una pagina al momento della visita. Quando Googlebot incontra risposte non valide o anomale, registra l’URL come problematica e può ridurne la frequenza di scansione o escluderla del tutto dai passaggi successivi di elaborazione.
Errori 404
Un errore 404 indica che la pagina richiesta non esiste sul server. Se l’URL è raggiungibile da link interni o da sitemap, il crawler continuerà a visitarla segnalando l’errore. Le pagine con risposta 404 non vengono indicizzate. Quando la pagina non esiste più in modo definitivo, è preferibile rimuovere i link che la puntano e, se il contenuto è stato spostato, impostare un redirect 301 verso la versione pertinente.
Errori 500
Gli errori 500 segnalano un problema lato server. Quando Googlebot rileva risposte di questo tipo in modo persistente, riduce la frequenza di scansione del sito per evitare di sovraccaricare il server, con effetti negativi sulla crawlability complessiva. Errori 500 ricorrenti su pagine ad alto traffico organico rallentano l’aggiornamento delle informazioni nell’indice e possono far perdere posizionamenti acquisiti.
Link interni rotti, pagine orfane e percorsi di navigazione deboli
Un link interno rotto porta a una pagina che restituisce errore o che non esiste più. Quando Googlebot segue questi link, consuma risorse di scansione senza acquisire contenuto da elaborare. Le pagine orfane sono invece pagine presenti nel sito ma non raggiungibili attraverso nessun link interno: il crawler non può scoprirle navigando il sito e può visitarle solo se compaiono in una sitemap o in link esterni.
I percorsi di navigazione deboli, con troppe pagine intermedie prima di raggiungere i contenuti profondi, aumentano la profondità di navigazione e riducono la probabilità che Googlebot visiti quelle pagine con frequenza adeguata rispetto alla loro rilevanza.
Tempi di caricamento, parametri URL e contenuti duplicati
Un server lento costringe il crawler ad attendere la risposta, consumando più risorse per ogni pagina visitata. I parametri URL, come ?sessione=, ?ordinamento= o ?pagina=2, possono generare varianti della stessa pagina, moltiplicando le URL da visitare senza aggiungere contenuto distinto. I contenuti duplicati prodotti da questi parametri frammentano il crawl budget e complicano la selezione della versione canonica corretta.
Architettura del sito e collegamenti interni
L’architettura di un sito determina come i bot si muovono tra le pagine. Una struttura ben organizzata facilita la scoperta degli URL e permette a Googlebot di raggiungere i contenuti rilevanti senza percorrere percorsi eccessivamente lunghi o frammentati. La qualità dell’architettura incide direttamente sulla frequenza e sulla profondità della scansione.
Gerarchia delle pagine e profondità di navigazione
La profondità di navigazione misura quanti clic separano una pagina dalla homepage. Le pagine più vicine alla homepage e agli hub principali tendono a essere scoperte e rivisitate più facilmente rispetto a quelle molto profonde. Una gerarchia chiara, homepage, categorie, sottopagine, riduce questa distanza e garantisce che i contenuti rilevanti siano raggiunti dal crawler con regolarità.
Ruolo di homepage, categorie e sottopagine nella scoperta delle URL
La homepage è il punto di ingresso principale per Googlebot. Da lì, i link verso le categorie di primo livello permettono al bot di distribuirsi nelle sezioni principali del sito. Le pagine di categoria raccolgono i link verso le sottopagine e i contenuti specifici, svolgendo un ruolo di distribuzione nella navigazione automatica. Un sito che non collega le sue sezioni principali dalla homepage genera aree poco visitate dai crawler.
Come i link interni guidano Googlebot verso le pagine strategiche
I link interni trasferiscono autorità e segnalano a Googlebot quali pagine meritano attenzione. Una pagina raggiunta da molti link interni viene visitata con maggiore frequenza rispetto a una pagina isolata o con pochi riferimenti. Inserire collegamenti verso le pagine di maggiore rilevanza nei punti ad alta visibilità del sito, menu principale, articoli correlati, breadcrumb, aumenta la probabilità che quelle pagine vengano scansionate e aggiornate con regolarità nell’indice.
Sitemap XML e strumenti di supporto alla scansione
La sitemap XML è un file che elenca le URL di un sito per facilitarne la scoperta da parte dei motori di ricerca. Non sostituisce una buona struttura di link interni, ma integra i percorsi di navigazione nei casi in cui alcune pagine risultino difficilmente raggiungibili attraverso i soli collegamenti presenti nel sito.
Funzione della sitemap XML nella scoperta delle pagine
Una sitemap XML ben strutturata elenca le URL canoniche del sito, escludendo le versioni duplicate, le pagine con noindex e quelle con errori attivi. Può includere metadati come la data di ultima modifica, che aiuta Google a individuare quali pagine sono state aggiornate di recente. La specifica delle sitemap XML prevede un limite di 50.000 URL per file e 50 MB di dimensione non compressa.
Invio della sitemap tramite Google Search Console
Google Search Console consente di inviare la sitemap direttamente a Google e di monitorarne lo stato di elaborazione. L’interfaccia mostra quante URL sono state rilevate e quante sono state effettivamente indicizzate, segnalando eventuali errori nel file. Uno scarto significativo tra URL inviate e URL indicizzate può indicare problemi di qualità dei contenuti, direttive noindex attive o URL non canoniche incluse per errore nella sitemap.
Quando la sitemap integra una navigazione interna non sufficiente
Nei siti con molte pagine generate dinamicamente, e-commerce con cataloghi ampi, archivi di notizie con storico esteso, la navigazione interna da sola non garantisce che tutte le URL vengano scoperte entro tempi ragionevoli. In questi casi la sitemap diventa lo strumento principale per segnalare a Google l’esistenza di pagine che i link interni raggiungono con difficoltà o non raggiungono affatto.
Crawl budget e priorità di scansione
Il crawl budget rappresenta il numero di pagine che Googlebot scansiona su un sito in un determinato intervallo di tempo. Non è un valore fisso: dipende dalle risorse del server, dall’autorità del sito e dalla quantità di contenuto ritenuto rilevante. Per i siti di piccole e medie dimensioni con buona crawlability, il crawl budget raramente rappresenta un problema concreto; diventa invece un fattore da gestire nei siti con migliaia di pagine o con architetture tecnicamente complesse.
Che cos’è il crawl budget
Il crawl budget è determinato da due componenti principali: il crawl rate limit, che definisce la velocità massima di scansione compatibile con le prestazioni del server, e il crawl demand, che riflette l’interesse di Google verso le pagine del sito in base alla loro popolarità e al tasso di aggiornamento. Google descrive questi meccanismi nella guida alla gestione del crawl budget dedicata ai siti di grandi dimensioni.
Quali elementi consumano risorse di scansione
Alcune categorie di pagine assorbono quota di scansione senza produrre valore per il posizionamento organico:
- Pagine con parametri URL che generano varianti dello stesso contenuto, come filtri di prodotto, ordinamenti e identificatori di sessione.
- Pagine dei risultati di ricerca interni al sito, spesso prive di contenuto editoriale distinto e non indicizzabili per definizione.
- Versioni duplicate di pagine già presenti in forma canonica, come URL con e senza barra finale o con varianti di protocollo http/https non consolidate con redirect.
Come ridurre lo spreco di budget su pagine non strategiche
Per concentrare la scansione sulle pagine rilevanti, è possibile escludere nel robots.txt le sezioni che non devono essere visitate, come le aree di amministrazione, i carrelli e le pagine di ricerca interna. I tag canonici indicano a Google la versione preferita tra contenuti simili, riducendo il numero di URL che il crawler deve valutare. Rimuovere i link interni verso pagine prive di contenuto editoriale diminuisce la probabilità che il bot le visiti con frequenza, liberando risorse per le sezioni del sito effettivamente indicizzate.
Contenuti e segnali on-page che incidono sulla scansione
La qualità e la struttura del contenuto influenzano il modo in cui Googlebot elabora una pagina dopo averla raggiunta. Pagine con contenuto scarso, duplicato o mal strutturato vengono trattate diversamente rispetto a pagine con informazioni originali e ben organizzate, sia in fase di scansione che in fase di indicizzazione.
Qualità dei contenuti, aggiornamento e struttura del testo
Google aggiorna le pagine nell’indice con una frequenza proporzionale alla loro rilevanza e al tasso di modifica rilevato nelle visite precedenti. Una pagina aggiornata con regolarità con contenuti nuovi e pertinenti viene rivisitata con maggiore frequenza rispetto a una pagina statica da anni con contenuto generico, che tende a essere scansionata ad intervalli sempre più lunghi.
Titoli, meta description, alt text e segnali usati nella scansione
Il tag title e la meta description non bloccano né abilitano la scansione, ma forniscono a Google informazioni sintetiche sul contenuto della pagina. Il testo alternativo delle immagini (alt text) permette al crawler di comprendere il soggetto di elementi non testuali. Questi segnali contribuiscono alla fase di elaborazione successiva alla scansione e incidono sulla qualità dell’indicizzazione, non sulla crawlability in senso tecnico.
Tag canonici e selezione della versione da indicizzare
Il tag canonical indica a Google quale URL deve essere considerata la versione principale tra contenuti identici o molto simili. Senza questa indicazione, il crawler può distribuire le sue visite tra più varianti della stessa pagina senza determinare quale indicizzare con priorità. Un canonical mal configurato, per esempio un tag che punta a un URL errato, può escludere involontariamente pagine dall’indice o consolidare segnali su una versione sbagliata del contenuto.
Controllo operativo dei problemi di crawlability
Individuare e risolvere i problemi di crawlability richiede un approccio sistematico che combina l’analisi dei dati disponibili in Google Search Console con un audit tecnico approfondito del sito. I due strumenti si integrano: il primo fornisce dati diretti su come Google ha interagito con il sito, il secondo permette di rilevare problemi strutturali non sempre visibili dall’esterno.
Verifiche da eseguire in Google Search Console
Google Search Console mette a disposizione diversi report per valutare la crawlability. Il rapporto sulle pagine elenca le URL scansionate, indicizzate, escluse o in errore, con la motivazione associata a ogni stato. Lo strumento di ispezione URL permette di verificare se una specifica pagina è raggiungibile da Googlebot e se presenta problemi di rendering o di direttive. Il report sul file robots.txt segnala errori di sintassi che potrebbero bloccare la scansione in modo non intenzionale.
Analisi dei problemi con un audit tecnico del sito
Un Site Audit eseguibile con strumenti come Screaming Frog, Semrush o Ahrefs, simula la navigazione di un crawler e restituisce un inventario completo delle pagine, degli errori HTTP, dei redirect, dei link interni rotti e delle direttive di scansione presenti nel sito. Questa analisi permette di individuare pagine orfane, catene di redirect eccessive, tag canonical incoerenti e sezioni bloccate per errore nel robots.txt.
Checklist operativa per verificare la crawlability di una pagina
Quando una URL non viene raggiunta correttamente da Google, usa questa checklist per capire dove si trova il problema e distinguere un limite di crawlability da un problema di indexability.
- Controlla se l’URL è raggiungibile in Ispezione URL
Verifica se Google riesce a recuperare la pagina e se segnala problemi di accesso, scansione o disponibilità. - Verifica robots.txt e meta robots
Controlla che la pagina non sia bloccata da direttive che impediscono la scansione o influenzano il comportamento dei crawler. - Controlla status code e redirect
Assicurati che la URL restituisca un codice corretto e che non ci siano catene di redirect o errori server che ostacolano la scansione. - Cerca link interni verso la pagina
Verifica che la risorsa sia collegata da altre pagine del sito e non sia isolata o raggiungibile solo tramite ricerca interna o filtri. - Verifica canonical e presenza in sitemap
Controlla che la canonical sia coerente e che la pagina sia inclusa nella sitemap XML, se deve essere scoperta e monitorata da Google. - Misura la profondità di clic
Valuta quanti passaggi servono per raggiungere la pagina dalla home o da hub rilevanti del sito. - Decidi se il problema è di crawlability o indexability
Se Google non riesce a raggiungere la pagina, il problema riguarda la crawlability. Se la pagina viene raggiunta ma non entra nell’indice, allora il nodo è legato all’indexability.
Errori da monitorare con priorità tecnica
Non tutti gli errori di crawlability hanno lo stesso impatto sul posizionamento organico. Alcuni richiedono intervento immediato per evitare perdite di visibilità:
- Blocco accidentale della scansione tramite robots.txt su pagine o sezioni che devono essere indicizzate.
- Tag noindex attivi su pagine destinate all’indice, spesso residui di configurazioni di staging pubblicate per errore in produzione.
- Errori 500 persistenti su pagine ad alto traffico organico, che riducono la frequenza di scansione e ritardano l’aggiornamento nell’indice.
Gli errori 404 su URL senza valore residuo possono essere gestiti con priorità inferiore, a meno che siano puntati da link interni attivi o da sitemap non aggiornate. In questi casi, correggere i riferimenti o impostare redirect appropriati riduce il consumo di risorse di scansione e migliora la coerenza complessiva dell’architettura del sito.
In un audit SEO, la crawlability va controllata prima di valutare performance, qualità dei contenuti e opportunità di ranking. Se Google non raggiunge bene le URL strategiche, il problema non è il posizionamento: è l’accesso tecnico alle pagine
