SEO tecnico: risolvere i problemi di crawling e indicizzazione

Puoi scrivere i contenuti migliori del tuo settore, ma se Google non riesce a scansionarli o decide di non indicizzarli, per il motore di ricerca non esistono. I problemi di crawling e indicizzazione sono la parte meno visibile della SEO tecnica e una delle cause più frequenti di traffico che non arriva: pagine pubblicate da mesi che non compaiono in SERP, sezioni intere del sito ignorate, versioni duplicate che si rubano posizioni a vicenda. La buona notizia è che si diagnosticano con metodo.

Crawling e indicizzazione non sono la stessa cosa

Vale la pena distinguere i due passaggi, perché i rimedi sono diversi. Il crawling è la scansione: Googlebot visita le tue pagine seguendo i link e le sitemap. L'indicizzazione è la scelta successiva: Google decide se inserire la pagina scansionata nel suo indice. Una pagina può essere scansionata e non indicizzata, ad esempio perché la considera duplicata o di scarso valore; oppure può non essere mai scansionata perché nessun link la raggiunge o perché il robots.txt la blocca. Capire in quale dei due punti si inceppa il tuo sito è la prima domanda di ogni diagnosi.

La diagnosi parte da Search Console

Google Search Console è gratuita e contiene quasi tutto quello che serve. I punti da guardare in ordine:

• il rapporto sull'indicizzazione delle pagine, che elenca quante pagine sono indicizzate e, soprattutto, i motivi di esclusione: bloccata da robots.txt, con tag noindex, duplicata senza canonical scelto dall'utente, scansionata ma non indicizzata;
• il controllo URL, per verificare una singola pagina: quando è stata scansionata, quale versione canonica ha scelto Google, se è indicizzabile;
• le statistiche di scansione, utili sui siti grandi per capire come Googlebot spende il suo tempo;
• il rapporto sulle sitemap, per verificare che siano lette e senza errori.

Davanti a un calo o a pagine sparite, il rapporto sui motivi di esclusione è quasi sempre il punto in cui la causa diventa visibile.

Robots.txt e sitemap: i due file da tenere in ordine

Il robots.txt dice ai crawler cosa non scansionare. Gli errori classici: bloccare risorse CSS e JavaScript necessarie a renderizzare la pagina, lasciare un Disallow generale dimenticato da un ambiente di test, o usare il robots.txt per nascondere pagine dall'indice, cosa che non fa, perché una pagina bloccata può restare indicizzata se riceve link; per escludere una pagina serve il noindex. La sitemap XML è l'elenco delle pagine che vuoi far scansionare: deve contenere solo URL canonici, raggiungibili e con risposta valida, e aggiornarsi da sola quando pubblichi. Una sitemap piena di redirect, errori e pagine escluse manda a Google segnali contraddittori.

Canonical e contenuti duplicati

Il tag canonical dice a Google quale versione di una pagina considerare ufficiale quando ne esistono varianti: con e senza parametri, ordinamenti diversi di una categoria, versioni per la stampa. Gli eCommerce sono il terreno tipico dei duplicati: filtri e navigazione a faccette possono generare migliaia di URL quasi identici che diluiscono la scansione. Le regole di base: ogni pagina indicizzabile dichiara il proprio canonical; le varianti puntano alla versione principale; il canonical indica una pagina indicizzabile, non una bloccata o in redirect. E ricorda che per Google il canonical è un suggerimento: se i segnali sono incoerenti, sceglie da solo, e non sempre come vorresti.

Gli errori che troviamo più spesso negli audit

Nei controlli tecnici che facciamo sui siti dei clienti, i colpevoli ricorrenti sono pochi: il noindex dimenticato dopo un restyling o una migrazione, che spegne intere sezioni; catene di redirect accumulate negli anni, che sprecano scansione e diluiscono i segnali; pagine orfane, pubblicate ma non linkate da nessuna parte, che Google fatica a trovare; paginazioni e filtri senza regole, che moltiplicano gli URL; e ambienti di staging finiti in indice perché privi di protezione. Ognuno di questi ha una soluzione standard: la difficoltà è accorgersene, ed è il motivo per cui un controllo periodico di Search Console vale più di qualsiasi intervento di emergenza.

Fai controllare le fondamenta del tuo sito

Se hai pagine che non compaiono in SERP, un calo che non ti spieghi o un eCommerce con migliaia di URL da governare, un audit tecnico mette in fila cause e priorità. Con il servizio siti web ed eCommerce costruiamo siti tecnicamente in ordine e sistemiamo crawling e indicizzazione di quelli esistenti. Prenota una call gratuita: guardiamo insieme la tua Search Console e ti diciamo dove intervenire.