Controlla il robots.txt.
Evita di bloccarti da solo.
Uno strumento per verificare il robots.txt che conferma che non stai bloccando i motori di ricerca per errore.
14 giorni di prova gratuita · Nessuna carta di credito · Disdici quando vuoi
“Costa meno di quello che usavo ed è molto più facile da usare. Non avevo mai visto i dati delle parole chiave presentati in modo così visivo, soprattutto i cluster di argomenti, che hanno reso tutto facile da capire.”
robots.txt controlla la scansione, non l'indicizzazione, e la differenza costa cara
Il malinteso più costoso della SEO tecnica è considerare il robots.txt un modo per tenere le pagine fuori dai risultati di ricerca. Non lo è, e usarlo così produce l'opposto di ciò che volevi.
Disallow dice a un crawler di non scaricare l'URL. Non dice a nessuno di non indicizzarlo. Se altre pagine linkano un URL bloccato, i motori di ricerca possono indicizzarlo, e lo fanno, basandosi solo su quei link. Per questo ogni tanto vedi un risultato con un URL vero, senza descrizione e con una nota che dice che la pagina non è stata scansionata.
La trappola in cui cadono quasi tutti
Qualcuno vuole una pagina fuori dall'indice. Aggiunge noindex alla pagina. Poi, per scrupolo, la blocca anche nel robots.txt.
Questa combinazione garantisce che la pagina resti indicizzata. L'istruzione noindex sta dentro la pagina, e il robots.txt ha appena vietato al crawler di scaricarla, quindi l'istruzione non viene mai letta. La regola è semplice, una volta capita: per togliere una pagina dall'indice, deve restare scansionabile. Applica noindex, lascia la pagina scansionabile, aspetta la nuova scansione e solo dopo valuta se bloccarla.
Altre cose da verificare
Il file deve trovarsi nella radice dell'host per avere effetto e vale per singolo host, protocollo e porta, quindi le versioni http e https del tuo dominio sono file separati per un crawler. Google elabora al massimo 500 KB del file. Le regole vengono associate per gruppo di user-agent, e un crawler segue solo il gruppo più specifico che lo riguarda, quindi un blocco specifico User-agent: Googlebot significa che Googlebot ignora del tutto le tue regole User-agent: * invece di combinarle.
Bloccare CSS e JavaScript è un altro autogol. I motori di ricerca eseguono il rendering delle pagine, e una pagina con il foglio di stile bloccato viene valutata nella versione senza stile, che spesso sembra rotta e poco adatta ai dispositivi mobili.
Come lo gestisce UtilitySEO
L'audit riporta cosa fa davvero il tuo robots.txt, e non solo se il file esiste, compreso se le direttive entrano in conflitto con i segnali di indicizzazione presenti nelle pagine stesse.
Per approfondire
Un robots.txt corretto è solo un controllo all'interno di un lavoro più ampio. SEO tecnica raccoglie il resto: scansione, indicizzazione, rendering e reindirizzamenti. Ricerca con IA e motori di risposta affronta la questione più recente di quali crawler di IA rispettino il file.
Scansione gratuita di 30 secondi.
Nessuna registrazione. Nessuna carta di credito.
Punteggi Google reali per prestazioni, SEO e accessibilità, più una lista ordinata di cosa correggere per primo, in meno di un minuto.
Prezzi semplici
Tre piani. 14 giorni gratis di Minimum, senza carta.
Minimum
Per un sito web, con il kit SEO di base.
- 1 progetto e 1 postazione
- 3 scansioni del sito al giorno, fino a 500 pagine ciascuna
- 500 parole chiave monitorate
- 3 concorrenti monitorati
- Audit del sito, guide alle correzioni, monitoraggio delle posizioni, Search Console e GA4
- 14 giorni gratis, senza carta
- Aiuto gratuito per l'avvio
Nessuna carta · Nessun contratto · Disdici quando vuoi
Entrepreneur
Per alcuni siti web, con IA e growth blog.
- 3 progetti e 3 postazioni
- 5 scansioni del sito al giorno, fino a 2.000 pagine ciascuna
- 1.000 parole chiave monitorate per progetto
- 5 concorrenti per progetto
- 100 usi di AI al mese: approfondimenti, brief di contenuto, Writer, Ask e clustering
- 20 blog di crescita al mese, scritti per te
- Aiuto gratuito per l'avvio
Nessuna carta · Nessun contratto · Disdici quando vuoi
Enterprise
Tutto, illimitato. La suite SEO completa più economica, e l'unica sotto le £100.
- Progetti e postazioni illimitati (uso corretto)
- 20 scansioni del sito al giorno, fino a 10.000 pagine ciascuna
- 10.000 parole chiave monitorate per progetto
- Concorrenti illimitati (uso corretto)
- Funzioni IA illimitate (uso corretto)
- 100 growth blog al mese su tutti i progetti
- Report per i clienti in white label
- Supporto prioritario e aiuto gratuito per l'onboarding
Nessuna carta · Nessun contratto · Disdici quando vuoi
Disdici quando vuoi · Pagamento sicuro con Stripe
Hai un codice partner, affiliato o referral? Può darti una prova più lunga o un piano superiore.
Variazioni di prezzo: se mai cambiamo il prezzo del tuo piano, te lo comunichiamo prima via email, almeno 2 mesi prima di un rinnovo annuale o 28 giorni prima di un pagamento mensile, e puoi disdire prima che si applichi.
Domande frequenti
Smetti di tirare a indovinare. Inizia a correggere.
Scopri cosa non funziona e cosa correggere per primo, in parole semplici. 14 giorni gratis di Minimum. Un codice partner, affiliato o referral può darti una prova più lunga o un piano superiore. Senza carta di credito.
Inizia la mia prova gratuita