Generatore robots.txt
Crea un file robots.txt pronto per la produzione per i motori di ricerca, quindi convalida le direttive prima della pubblicazione. Genera regole globali e specifiche per i bot, aggiungi suggerimenti per sitemap e crawl, e correggi errori comuni come gruppi user-agent mancanti, URL sitemap non validi o pattern di disallow troppo ampi.
Il tuo ad blocker ci impedisce di mostrare annunci
MiniWebtool è gratuito grazie agli annunci. Se questo strumento ti è stato utile, sostienici con Premium (senza annunci + più veloce) oppure inserisci MiniWebtool.com nella whitelist e ricarica la pagina.
- Oppure passa a Premium (senza annunci)
- Consenti gli annunci per MiniWebtool.com, poi ricarica
Generatore robots.txt
Un file robots.txt indica ai crawler quali parti di un sito possono recuperare, quali percorsi devono rimanere fuori dalla coda di scansione e dove si trova la sitemap XML. Per la visibilità SEO e geografica, l'obiettivo non è bloccare tutto ciò che è rischioso per impostazione predefinita. L'obiettivo è proteggere i percorsi di scansione di scarso valore, preservare il crawl budget per le pagine canoniche e mantenere il file allineato con ciò che è effettivamente pubblico sul dominio. Una policy robots.txt utile di solito menziona sezioni concrete come cartelle admin, flussi di checkout, URL di ricerca interna, filtri sfaccettati o blocchi solo per lo staging, piuttosto che vaghe "impostazioni SEO".
Come Usarlo
- Scegli la modalità genera o valida. Usa `Genera robots.txt` per costruire un nuovo file da input strutturati, oppure passa a `Valida robots.txt esistente` se hai già una bozza o un file live.
- Inserisci le regole di scansione e i dettagli della sitemap. Aggiungi l'URL pubblico del sito, il tuo `User-agent` principale, un percorso allow o disallow per riga e qualsiasi sezione extra specifica per bot o URL sitemap di cui hai bisogno.
- Crea il report. Esegui lo strumento per costruire il file finale, rivedere i gruppi di crawler analizzati e ispezionare gli avvisi per pattern rischiosi come asset bloccati o URL sitemap assoluti mancanti.
- Pubblica solo dopo la revisione. Copia l'output quando le regole riflettono il tuo reale intento di scansione, quindi posiziona il file in `/robots.txt` sull'hostname live e testa l'URL distribuito.
Strategia delle Direttive ed Errori Comuni
| Direttiva o Pattern | Quando Aiuta | Cosa Va Spesso Storto |
|---|---|---|
User-agent: * |
Crea un set di regole globali per la maggior parte dei bot quando non è richiesta una gestione speciale. | Vengono aggiunte righe `Allow` e `Disallow` prima di definire qualsiasi gruppo user-agent, indebolendo la chiarezza dell'analizzatore. |
Disallow: /search |
Utile per bloccare le pagine di ricerca interna del sito che creano combinazioni di URL povere e duplicative. | Blocco accidentale di pagine pubbliche di categoria o prodotto perché il pattern del percorso è più ampio del previsto. |
Sitemap: https://example.com/sitemap.xml |
Aiuta i crawler a scoprire URL canonici e nuovi contenuti più velocemente. | Utilizzo di un percorso relativo o di un URL sitemap di staging obsoleto in produzione. |
Crawl-delay |
A volte aggiunto per i crawler che documentano il supporto per la limitazione delle richieste. | Assumere che Google lo rispetti. Google ignora il `Crawl-delay`, quindi non è un meccanismo universale di controllo della velocità. |
Disallow: /assets/js/ |
Raramente necessario su un normale sito pubblico. | Blocco di risorse di rendering che i motori di ricerca utilizzano per comprendere il layout, la funzionalità e la qualità della pagina. |
Casi d'Uso Pratici
Su un sito WordPress, una regola comune è impedire `/wp-admin/` consentendo al contempo `/wp-admin/admin-ajax.php`, perché ciò tiene la maggior parte delle schermate admin fuori dai percorsi di scansione senza bloccare un endpoint spesso necessario. Su un sito di e-commerce, il file robots.txt è spesso usato per limitare lo spreco di scansione da pagine del carrello, aree account, flussi di checkout, navigazione sfaccettata o pagine di risultati interne generate da parametri di ordinamento e filtro. Su un sito di staging, un disallow temporaneo per l'intero sito può essere ragionevole, ma dovrebbe essere rimosso prima del lancio e ricontrollato dopo modifiche al DNS o alla distribuzione.
Il validatore è utile anche quando si eredita un file da un altro team. Può rilevare problemi sottili come una riga sitemap non assoluta, una direttiva `Host` malformata o un valore `Crawl-delay` scritto come testo normale invece che come numero. Quei dettagli contano perché un file robots.txt è semplice, ma anche gli errori in produzione sono spesso semplici.
Cosa il Robots.txt NON Fa
Il file robots.txt è un file di gestione della scansione, non un sistema di controllo degli accessi e non un interruttore garantito per la deindicizzazione. Se un URL è bloccato ma collegato da altrove, i motori di ricerca possono comunque mostrare quell'URL nei risultati di ricerca senza scansionarne l'intero contenuto. Documenti sensibili, strumenti di amministrazione e ambienti privati dovrebbero essere protetti con autenticazione, restrizioni di rete o strategie noindex esplicite su pagine scansionabili. Questa distinzione è uno dei malintesi più comuni nelle conversazioni SEO tecniche.
FAQ
Cosa dovrebbe contenere un file robots.txt per un normale sito web pubblico?
Un file di produzione sensato di solito inizia con un gruppo User-agent, blocca solo percorsi di scansione di scarso valore o privati come aree admin, pagine di ricerca interna, flussi del carrello o schermate dell'account, e include un URL sitemap con il protocollo e l'hostname completi. La maggior parte dei siti pubblici non dovrebbe bloccare CSS, JavaScript o le cartelle principali dei contenuti.
Il file robots.txt impedisce a una pagina di essere indicizzata?
No, non da solo. Il file robots.txt indica ai crawler cosa non recuperare, ma un URL bloccato può comunque essere indicizzato in base a link esterni o segnali scoperti in precedenza. Se il tuo vero obiettivo è il controllo dell'indice, hai bisogno di un metodo progettato per tale scopo, come noindex su pagine scansionabili o l'autenticazione per risorse private.
Dovrei aggiungere una riga sitemap al file robots.txt?
Di solito sì. Una direttiva Sitemap: è un forte suggerimento operativo per i crawler e una buona abitudine per siti grandi, multilingue o aggiornati di frequente. Usa un URL assoluto invece di un percorso relativo in modo che il segnale sia univoco.
Perché il crawl-delay è segnalato nel report?
Il Crawl-delay non è supportato uniformemente dai principali motori di ricerca. Alcuni crawler potrebbero riconoscerlo, ma Google no. Lo strumento lo segnala in modo da trattarlo come una direttiva mirata piuttosto che come un'impostazione universale della velocità di scansione.
Cita questo contenuto, pagina o strumento come:
"Generatore robots.txt" su https://MiniWebtool.com/it/generatore-robotstxt/ di MiniWebtool, https://MiniWebtool.com/
dal team di miniwebtool. Aggiornato: 2026-03-09
Altri strumenti correlati:
Strumenti per webmaster:
- Calcolatore CPC
- Calcolatore CPM
- Compressore CSS Online
- Generatore di favicon Nuovo
- Calcolatore di AdSense di Google
- Generatore di Cron Job
- Generatore di Espressione Crontab Nuovo
- Compressore di HTML Online
- Convertitore HTML in Testo In Primo Piano
- Verificatore di Densità delle Parole Chiave Nuovo
- Generatore di tabelle Markdown
- Generatore di Meta Tag
- Rimuovi Virgolette Intelligenti
- Generatore di Slug URL
- Calcolatore del Valore di una Visualizzazione di Pagina
- Calcolatore del Valore di un Visitatore
- Calcolatore di Permessi Unix (chmod)
- Codificatore/Decodificatore di Entità HTML
- Generatore di Lorem Ipsum Nuovo
- Escape/Unescape di stringhe JSON
- Convertitore cURL in JSON Nuovo
- Formattatore SQL Nuovo
- Ottimizzatore SVG Nuovo
- Generatore di Redirect .htaccess Nuovo
- Verificatore Dimensione Scansione Googlebot Nuovo
- Generatore robots.txt Nuovo
- Generatore di Sitemap XML Nuovo
- Verificatore Età Dominio Nuovo
- Verificatore Open Graph Nuovo
- Ricerca WHOIS Nuovo
- Ricerca DNS Nuovo
- Verificatore Velocità Pagina Nuovo
- Verificatore Fiducia Dominio Nuovo
- Controllo Reindirizzamenti Nuovo
- Generatore di Tag Hreflang Nuovo
- Controllo Link Non Funzionanti Nuovo