Dal 2010 · Oltre 2 milioni di utilizzi degli strumenti ogni mese
Dal 2010
Aggiungi a Chrome

La Mia Cassetta Degli Attrezzi

Modalità Automatica

Nessuno strumento salvato.

Aggiorna alla Versione Premium
Strumenti correlati
Generatore di Sitemap XMLGeneratore di User-Agent CasualiGeneratore di Frattali L-SystemConserva o elimina linee che contengono una stringaEstrattore di URL
Pagina Iniziale > Strumenti per webmaster
 

Generatore robots.txt

Crea un robots.txt pronto per la produzione per i motori di ricerca e valida le direttive prima di pubblicare. Genera regole globali e per bot specifici, aggiungi sitemap e crawl hint, e individua errori come pattern disallow troppo ampi.

Utilizzo gratuitoSenza registrazioneAggiornato mar 2026
Generatore robots.txtProvalo ora — gratis ▼
▦ Esempi rapidi

Carica un preset completo per generare un file robots.txt pratico per un sito live, testa una policy di scansione più restrittiva per l'e-commerce, o incolla un file esistente e ispezionalo prima della pubblicazione.

Modalità

Scegli il flusso di lavoro

Genera un nuovo file robots.txt da campi strutturati, o valida un file che hai già.
Basi

Definisci il contesto del sito

Utilizzato per trasformare i percorsi delle sitemap in URL assoluti come `https://example.com/sitemap.xml`.
Usa `*` per tutti i crawler, o punta a un bot specifico come `Googlebot`.
Riga di commento opzionale per la parte superiore del file generato. Mantienila operativa e breve.
Regole

Imposta percorsi globali di allow e disallow

Un percorso per riga. Esempio: `/` o `/wp-admin/admin-ajax.php`.
Blocca aree di scarso valore come `/cart/`, `/checkout/`, `/search` o `/admin/` quando appropriato.
Bot

Aggiungi sitemap e sezioni specifiche per bot

Una sitemap per riga. I percorsi relativi sono convertiti rispetto all'URL del sito.
Incolla qui gruppi `User-agent:` grezzi per bot di immagini, bot pubblicitari o regole di staging.
Opzionale. Questa direttiva non è supportata uniformemente da tutti i motori di ricerca.
Opzionale. Di solito un hostname semplice come `example.com`.
Regole opzionali di pulizia dei parametri specifiche per motore, una direttiva per riga.
Validazione

Incolla il file che vuoi controllare

Incolla il file esistente esattamente come appare, inclusi commenti e gruppi di crawler multipli.
L'area dei risultati include il file finale, un riepilogo della scansione e un set di avvisi o note che puoi rivedere prima della distribuzione.

Embed Generatore robots.txt Widget

Generatore robots.txt

Un file robots.txt indica ai crawler quali parti di un sito possono recuperare, quali percorsi devono rimanere fuori dalla coda di scansione e dove si trova la sitemap XML. Per la visibilità SEO e geografica, l'obiettivo non è bloccare tutto ciò che è rischioso per impostazione predefinita. L'obiettivo è proteggere i percorsi di scansione di scarso valore, preservare il crawl budget per le pagine canoniche e mantenere il file allineato con ciò che è effettivamente pubblico sul dominio. Una policy robots.txt utile di solito menziona sezioni concrete come cartelle admin, flussi di checkout, URL di ricerca interna, filtri sfaccettati o blocchi solo per lo staging, piuttosto che vaghe "impostazioni SEO".

Come Usarlo

  • Scegli la modalità genera o valida. Usa `Genera robots.txt` per costruire un nuovo file da input strutturati, oppure passa a `Valida robots.txt esistente` se hai già una bozza o un file live.
  • Inserisci le regole di scansione e i dettagli della sitemap. Aggiungi l'URL pubblico del sito, il tuo `User-agent` principale, un percorso allow o disallow per riga e qualsiasi sezione extra specifica per bot o URL sitemap di cui hai bisogno.
  • Crea il report. Esegui lo strumento per costruire il file finale, rivedere i gruppi di crawler analizzati e ispezionare gli avvisi per pattern rischiosi come asset bloccati o URL sitemap assoluti mancanti.
  • Pubblica solo dopo la revisione. Copia l'output quando le regole riflettono il tuo reale intento di scansione, quindi posiziona il file in `/robots.txt` sull'hostname live e testa l'URL distribuito.

Strategia delle Direttive ed Errori Comuni

Direttiva o Pattern Quando Aiuta Cosa Va Spesso Storto
User-agent: * Crea un set di regole globali per la maggior parte dei bot quando non è richiesta una gestione speciale. Vengono aggiunte righe `Allow` e `Disallow` prima di definire qualsiasi gruppo user-agent, indebolendo la chiarezza dell'analizzatore.
Disallow: /search Utile per bloccare le pagine di ricerca interna del sito che creano combinazioni di URL povere e duplicative. Blocco accidentale di pagine pubbliche di categoria o prodotto perché il pattern del percorso è più ampio del previsto.
Sitemap: https://example.com/sitemap.xml Aiuta i crawler a scoprire URL canonici e nuovi contenuti più velocemente. Utilizzo di un percorso relativo o di un URL sitemap di staging obsoleto in produzione.
Crawl-delay A volte aggiunto per i crawler che documentano il supporto per la limitazione delle richieste. Assumere che Google lo rispetti. Google ignora il `Crawl-delay`, quindi non è un meccanismo universale di controllo della velocità.
Disallow: /assets/js/ Raramente necessario su un normale sito pubblico. Blocco di risorse di rendering che i motori di ricerca utilizzano per comprendere il layout, la funzionalità e la qualità della pagina.

Casi d'Uso Pratici

Su un sito WordPress, una regola comune è impedire `/wp-admin/` consentendo al contempo `/wp-admin/admin-ajax.php`, perché ciò tiene la maggior parte delle schermate admin fuori dai percorsi di scansione senza bloccare un endpoint spesso necessario. Su un sito di e-commerce, il file robots.txt è spesso usato per limitare lo spreco di scansione da pagine del carrello, aree account, flussi di checkout, navigazione sfaccettata o pagine di risultati interne generate da parametri di ordinamento e filtro. Su un sito di staging, un disallow temporaneo per l'intero sito può essere ragionevole, ma dovrebbe essere rimosso prima del lancio e ricontrollato dopo modifiche al DNS o alla distribuzione.

Il validatore è utile anche quando si eredita un file da un altro team. Può rilevare problemi sottili come una riga sitemap non assoluta, una direttiva `Host` malformata o un valore `Crawl-delay` scritto come testo normale invece che come numero. Quei dettagli contano perché un file robots.txt è semplice, ma anche gli errori in produzione sono spesso semplici.

Cosa il Robots.txt NON Fa

Il file robots.txt è un file di gestione della scansione, non un sistema di controllo degli accessi e non un interruttore garantito per la deindicizzazione. Se un URL è bloccato ma collegato da altrove, i motori di ricerca possono comunque mostrare quell'URL nei risultati di ricerca senza scansionarne l'intero contenuto. Documenti sensibili, strumenti di amministrazione e ambienti privati dovrebbero essere protetti con autenticazione, restrizioni di rete o strategie noindex esplicite su pagine scansionabili. Questa distinzione è uno dei malintesi più comuni nelle conversazioni SEO tecniche.

FAQ

Cosa dovrebbe contenere un file robots.txt per un normale sito web pubblico?

Un file di produzione sensato di solito inizia con un gruppo User-agent, blocca solo percorsi di scansione di scarso valore o privati come aree admin, pagine di ricerca interna, flussi del carrello o schermate dell'account, e include un URL sitemap con il protocollo e l'hostname completi. La maggior parte dei siti pubblici non dovrebbe bloccare CSS, JavaScript o le cartelle principali dei contenuti.

Il file robots.txt impedisce a una pagina di essere indicizzata?

No, non da solo. Il file robots.txt indica ai crawler cosa non recuperare, ma un URL bloccato può comunque essere indicizzato in base a link esterni o segnali scoperti in precedenza. Se il tuo vero obiettivo è il controllo dell'indice, hai bisogno di un metodo progettato per tale scopo, come noindex su pagine scansionabili o l'autenticazione per risorse private.

Dovrei aggiungere una riga sitemap al file robots.txt?

Di solito sì. Una direttiva Sitemap: è un forte suggerimento operativo per i crawler e una buona abitudine per siti grandi, multilingue o aggiornati di frequente. Usa un URL assoluto invece di un percorso relativo in modo che il segnale sia univoco.

Perché il crawl-delay è segnalato nel report?

Il Crawl-delay non è supportato uniformemente dai principali motori di ricerca. Alcuni crawler potrebbero riconoscerlo, ma Google no. Lo strumento lo segnala in modo da trattarlo come una direttiva mirata piuttosto che come un'impostazione universale della velocità di scansione.

Cita questo contenuto, pagina o strumento come:

"Generatore robots.txt" su https://MiniWebtool.com/it/generatore-robotstxt/ di MiniWebtool, https://MiniWebtool.com/

dal team di miniwebtool. Aggiornato: 2026-03-09

API per sviluppatori disponibile: Esegui questo strumento dalla tua app, automazione o agente con una richiesta HTTP JSON. Vedi documentazione API

Strumenti per webmaster:

Strumenti popolari e aggiornati:

Convertitore da SRT a TXTConvertitore da VTT a TXTGeneratore di Tag HreflangVedi tutti →
Pagina Iniziale > Strumenti per webmaster > Generatore robots.txt