Semplifica il tuo flusso di lavoro: cerca miniwebtool.
Aggiungi
Strumenti correlati
Generatore di JSON CasualeGeneratore di User-Agent CasualiCalcolatore Commissione ImmobiliareGeneratore di Sitemap XML
Pagina Iniziale > Strumenti per webmaster > Generatore robots.txt
 

Generatore robots.txt

Crea un file robots.txt pronto per la produzione per i motori di ricerca, quindi convalida le direttive prima della pubblicazione. Genera regole globali e specifiche per i bot, aggiungi suggerimenti per sitemap e crawl, e correggi errori comuni come gruppi user-agent mancanti, URL sitemap non validi o pattern di disallow troppo ampi.

Generatore robots.txt
▦ Esempi rapidi

Carica un preset completo per generare un file robots.txt pratico per un sito live, testa una policy di scansione più restrittiva per l'e-commerce, o incolla un file esistente e ispezionalo prima della pubblicazione.

Modalità

Scegli il flusso di lavoro

Genera un nuovo file robots.txt da campi strutturati, o valida un file che hai già.
Basi

Definisci il contesto del sito

Utilizzato per trasformare i percorsi delle sitemap in URL assoluti come `https://example.com/sitemap.xml`.
Usa `*` per tutti i crawler, o punta a un bot specifico come `Googlebot`.
Riga di commento opzionale per la parte superiore del file generato. Mantienila operativa e breve.
Regole

Imposta percorsi globali di allow e disallow

Un percorso per riga. Esempio: `/` o `/wp-admin/admin-ajax.php`.
Blocca aree di scarso valore come `/cart/`, `/checkout/`, `/search` o `/admin/` quando appropriato.
Bot

Aggiungi sitemap e sezioni specifiche per bot

Una sitemap per riga. I percorsi relativi sono convertiti rispetto all'URL del sito.
Incolla qui gruppi `User-agent:` grezzi per bot di immagini, bot pubblicitari o regole di staging.
Opzionale. Questa direttiva non è supportata uniformemente da tutti i motori di ricerca.
Opzionale. Di solito un hostname semplice come `example.com`.
Regole opzionali di pulizia dei parametri specifiche per motore, una direttiva per riga.
Validazione

Incolla il file che vuoi controllare

Incolla il file esistente esattamente come appare, inclusi commenti e gruppi di crawler multipli.
L'area dei risultati include il file finale, un riepilogo della scansione e un set di avvisi o note che puoi rivedere prima della distribuzione.

Embed Generatore robots.txt Widget

Generatore robots.txt

Un file robots.txt indica ai crawler quali parti di un sito possono recuperare, quali percorsi devono rimanere fuori dalla coda di scansione e dove si trova la sitemap XML. Per la visibilità SEO e geografica, l'obiettivo non è bloccare tutto ciò che è rischioso per impostazione predefinita. L'obiettivo è proteggere i percorsi di scansione di scarso valore, preservare il crawl budget per le pagine canoniche e mantenere il file allineato con ciò che è effettivamente pubblico sul dominio. Una policy robots.txt utile di solito menziona sezioni concrete come cartelle admin, flussi di checkout, URL di ricerca interna, filtri sfaccettati o blocchi solo per lo staging, piuttosto che vaghe "impostazioni SEO".

Come Usarlo

  • Scegli la modalità genera o valida. Usa `Genera robots.txt` per costruire un nuovo file da input strutturati, oppure passa a `Valida robots.txt esistente` se hai già una bozza o un file live.
  • Inserisci le regole di scansione e i dettagli della sitemap. Aggiungi l'URL pubblico del sito, il tuo `User-agent` principale, un percorso allow o disallow per riga e qualsiasi sezione extra specifica per bot o URL sitemap di cui hai bisogno.
  • Crea il report. Esegui lo strumento per costruire il file finale, rivedere i gruppi di crawler analizzati e ispezionare gli avvisi per pattern rischiosi come asset bloccati o URL sitemap assoluti mancanti.
  • Pubblica solo dopo la revisione. Copia l'output quando le regole riflettono il tuo reale intento di scansione, quindi posiziona il file in `/robots.txt` sull'hostname live e testa l'URL distribuito.

Strategia delle Direttive ed Errori Comuni

Direttiva o Pattern Quando Aiuta Cosa Va Spesso Storto
User-agent: * Crea un set di regole globali per la maggior parte dei bot quando non è richiesta una gestione speciale. Vengono aggiunte righe `Allow` e `Disallow` prima di definire qualsiasi gruppo user-agent, indebolendo la chiarezza dell'analizzatore.
Disallow: /search Utile per bloccare le pagine di ricerca interna del sito che creano combinazioni di URL povere e duplicative. Blocco accidentale di pagine pubbliche di categoria o prodotto perché il pattern del percorso è più ampio del previsto.
Sitemap: https://example.com/sitemap.xml Aiuta i crawler a scoprire URL canonici e nuovi contenuti più velocemente. Utilizzo di un percorso relativo o di un URL sitemap di staging obsoleto in produzione.
Crawl-delay A volte aggiunto per i crawler che documentano il supporto per la limitazione delle richieste. Assumere che Google lo rispetti. Google ignora il `Crawl-delay`, quindi non è un meccanismo universale di controllo della velocità.
Disallow: /assets/js/ Raramente necessario su un normale sito pubblico. Blocco di risorse di rendering che i motori di ricerca utilizzano per comprendere il layout, la funzionalità e la qualità della pagina.

Casi d'Uso Pratici

Su un sito WordPress, una regola comune è impedire `/wp-admin/` consentendo al contempo `/wp-admin/admin-ajax.php`, perché ciò tiene la maggior parte delle schermate admin fuori dai percorsi di scansione senza bloccare un endpoint spesso necessario. Su un sito di e-commerce, il file robots.txt è spesso usato per limitare lo spreco di scansione da pagine del carrello, aree account, flussi di checkout, navigazione sfaccettata o pagine di risultati interne generate da parametri di ordinamento e filtro. Su un sito di staging, un disallow temporaneo per l'intero sito può essere ragionevole, ma dovrebbe essere rimosso prima del lancio e ricontrollato dopo modifiche al DNS o alla distribuzione.

Il validatore è utile anche quando si eredita un file da un altro team. Può rilevare problemi sottili come una riga sitemap non assoluta, una direttiva `Host` malformata o un valore `Crawl-delay` scritto come testo normale invece che come numero. Quei dettagli contano perché un file robots.txt è semplice, ma anche gli errori in produzione sono spesso semplici.

Cosa il Robots.txt NON Fa

Il file robots.txt è un file di gestione della scansione, non un sistema di controllo degli accessi e non un interruttore garantito per la deindicizzazione. Se un URL è bloccato ma collegato da altrove, i motori di ricerca possono comunque mostrare quell'URL nei risultati di ricerca senza scansionarne l'intero contenuto. Documenti sensibili, strumenti di amministrazione e ambienti privati dovrebbero essere protetti con autenticazione, restrizioni di rete o strategie noindex esplicite su pagine scansionabili. Questa distinzione è uno dei malintesi più comuni nelle conversazioni SEO tecniche.

FAQ

Cosa dovrebbe contenere un file robots.txt per un normale sito web pubblico?

Un file di produzione sensato di solito inizia con un gruppo User-agent, blocca solo percorsi di scansione di scarso valore o privati come aree admin, pagine di ricerca interna, flussi del carrello o schermate dell'account, e include un URL sitemap con il protocollo e l'hostname completi. La maggior parte dei siti pubblici non dovrebbe bloccare CSS, JavaScript o le cartelle principali dei contenuti.

Il file robots.txt impedisce a una pagina di essere indicizzata?

No, non da solo. Il file robots.txt indica ai crawler cosa non recuperare, ma un URL bloccato può comunque essere indicizzato in base a link esterni o segnali scoperti in precedenza. Se il tuo vero obiettivo è il controllo dell'indice, hai bisogno di un metodo progettato per tale scopo, come noindex su pagine scansionabili o l'autenticazione per risorse private.

Dovrei aggiungere una riga sitemap al file robots.txt?

Di solito sì. Una direttiva Sitemap: è un forte suggerimento operativo per i crawler e una buona abitudine per siti grandi, multilingue o aggiornati di frequente. Usa un URL assoluto invece di un percorso relativo in modo che il segnale sia univoco.

Perché il crawl-delay è segnalato nel report?

Il Crawl-delay non è supportato uniformemente dai principali motori di ricerca. Alcuni crawler potrebbero riconoscerlo, ma Google no. Lo strumento lo segnala in modo da trattarlo come una direttiva mirata piuttosto che come un'impostazione universale della velocità di scansione.

Cita questo contenuto, pagina o strumento come:

"Generatore robots.txt" su https://MiniWebtool.com/it/generatore-robotstxt/ di MiniWebtool, https://MiniWebtool.com/

dal team di miniwebtool. Aggiornato: 2026-03-09

API per sviluppatori disponibile: Esegui questo strumento dalla tua app, automazione o agente con una richiesta HTTP JSON. Vedi documentazione API

Strumenti per webmaster:

Strumenti in primo piano:

Calcolatore dei numeri degli angeli📅 Calcolatore di DataCalcolatrice di Compatibilità AmorosaCalcolatore Segno Solare, Lunare e Ascendente 🌞🌙✨Calcolatore di SommeGeneratore di parole casuali in ingleseRimuovi spaziCalcolatore di Compatibilità dei Segni LunariConvertitore da esadecimale a decimaleConvertitore di Piedi e Pollici in CentimetriCalcolatore del numero di percorso di vita⏱️ Calcolatore di OreConvertitore di Tempo in DecimaliEstrattore di Immagini da VideoRicerca ID Utente InstagramGeneratore di Citazioni CasualiFormattatore di TestoConvertitore Numero in FrazioneRicerca ID Utente FacebookCalcolatore EsadecimaleCalcolatore per ridurre frazioniGeneratore di anagrammiGeneratore di Carte da Gioco CasualeQual è il mio numero fortunato?Calcolatore del Giorno dell'Anno - Che giorno dell'anno è oggi?Generatore di CrucipuzzlePalla Magica 8Calcolatore del Numero dell'AnimaSelettore di Film CasualeGeneratore di Obbligo o Verità AleatorioVerificatore di Nome Utente sui Social MediaGeneratore di Orario CasualeCalcolatore di ScalaEstrattore AudioGeneratore di stringhe casualiInverti TestoCalendario del Giorno dell'AnnoCalcolatore del Numero del NomeConvertitore da cm a piedi e polliciConvertitore da decimale a esadecimaleConvertitore di Percentuale in PPMGeneratore di Date CasualiDivisore AudioCalcolatore di conversione da decimale a frazioneUnisci Videoconvertitore da ppm a percentualeCalcolatore del percentile di altezzaGeneratore casuale di animaliCreatore di CruciverbaSegnapunti TennisConvertitore da binario a esadecimaleConvertitore da Decimale a Temporicerca-indirizzo-MACCalcolatore di ArrotondamentoCompressore VideoCalendario di Mercurio RetrogradoCalcolatrice della Deviazione Standard RelativaCalcolatore della Media GeometricaDivisore di ImmaginiCalcolatore del calcio correttoDivisore videoCalcolatore BinarioGeneratore di oggetti casualiGeneratore di Superpotere CasualeLista di Anni BisestiliMiglioratore di ImmaginiCalcolatore di Durata del TempoCalcolatore Ritmo NuotoConvertitore di potenzaOrdina NumeriCalcolatore della Circonferenza di un EllisseCalcolatore di calcestruzzoGeneratore di Colori CasualiGeneratore di Personaggi RPG CasualeCalcolatore del deficit caloricoCalcolatore dell'Aspettativa di VitaCalcolatore di Comparazione di Frazioni🔍 Verificatore di PlagioCalcolatore di diminuzione di percentualeContatore di Sillabegeneratore-di-testo-capovoltoGeneratore di Unisci i PuntiniAggiungi prefisso e suffisso al testoGeneratore di Labirinti🔊 Generatore di ToniAggiungi o Sostituisci Audio nel VideoCalcolatore EBITDACalcolatore da frazione a decimaleConvertitore di AngoliConvertitore FPSGeneratore di CrittogrammaCalcolatore dello Zodiaco dell'Albero CelticoCalendario di luna nuova e luna pienaConvertitore da Esadecimale a BinarioCalcolatore di Guadagni TwitchGeneratore di Modello Cono SviluppatoCalcolatore Dimensioni di Stampa e Risoluzione (DPI/PPI)Ruota VideoValidatore XMLCalcolatore del Segno LunareConvertitore di Frequenza e Lunghezza d'OndaConvertitore di Velocità di Trasferimento DatiStrumento online per rimuovere la punteggiaturaCalcolatrice di NumerologiaCalcolatore dell'ArcotangenteCalcolatore di Filo per Punto CroceCalcolatore Posizione del SoleConfronta due stringheContatore di lineaConvertitore HTML in TestoGeneratore di IMEI CasualeInverti VideoStrumento Cifrario di VigenèreCalcolatore CAGRCalcolatrice del Numero d'EspressioneCalcolatore del Test Chi-QuadratoCalcolatore della Distanza di VoloCalcolatore di ModuloCalcolatore Ore di LavoroCalcolatore delle frazioni equivalentiCalcolatore di Decibel (dB)calcolatore-hba1cContatore di Token AIStatistiche del Canale YouTubeCalcolatore dell'Arcocoseno (Coseno Inverso)Calcolatore di Log in Base 10Convertitore di VelocitàConvertitore in numeri romaniCalcolatore Rapporto ParcheggioRegola Velocità VideoAnalizzatore Avanzato di Compatibilità ZodiacaleCalcolatore della TangenteCalcolatore di Differenza di ListeCalcolatore di Pendenza e GradoConvertitore Misura AnelloConvertitore Taglie di AbbigliamentoGeneratore di Coordinate CasualiGeneratore di Gruppi CasualiCalcolatore del Numero della PersonalitàCalcolatore di alba e tramonto👙 Calcolatore Taglia ReggisenoCalcolatore tempo di raffreddamento birraGeneratore di Compleanni CasualiGeneratore di Frattali L-SystemRandomizzatore di Nomi OnlineCalcolatore del cerchioCalcolatore del Numero MaestroGeneratore di Cifra CasualeGeneratore di Emoji CasualeRimuovi linee vuote da un testoStrumento Cifrario di CesareCalcolatore di anni caniniCalcolatore Notazione Sigma (Sommatoria)Calcolatore Proporzioni RicetteConvertitore Data GiulianaConvertitore di Taglie ScarpeGeneratore di indirizzi MACGeneratore Sasso Carta ForbiciCalcolatore del Segno di VenereCalcolatore della Congettura di CollatzCalcolatore Media, Mediana e ModaCalcolatore Porzioni di SpaghettiConvertitore di Codici Colore (Tutti i Formati)Convertitore di Unità di CucinaGeneratore di Carte di Credito CasualeGeneratore di frequenza sonora casualeGeneratore di Lettera CasualeGeneratore di Tabelloni Torneo CasualiRimuovi audio da videoCalcolatore della deviazione standard - Alta precisioneCalcolatore di Arctan2Calcolatore di MolaritàCalcolatore di radice quadrataCalcolatore di Velocità di CiclismoCalcolatore di VelocitàConta il numero di caratteriConvertitore di dimensioni del fileGeneratore di Quadrato MagicoLooper MP3Primi n Numeri di Pi GrecoRandomizzatore di listaVerificatore di Robustezza della PasswordCalcolatore del CosenoCalcolatore di notazioni scientificheCalcolatore di Permutazione🌡️ Calcolatore Indice di CaloreConvertitore da Codice Gray a BinarioEspansore di Frasi AIGeneratore di numeri della lotteriaRimozione Caratteri InvisibiliCalcolatore del Ritorno di SaturnoCalcolatore dello scarto interquartileCalcolatore Guadagni YouTubeCalcolatore Lunghezza AntennaCalcolatrice di Lunghezza dell'ArcoRicerca Citazioni (Inglese)Generatore di Hash SHA256Generatore di Numero Decimale CasualeCalcolatore Cavalli VaporeCalcolatore del Coefficiente di VariazioneCalcolatore di Riscatto del LeasingCalcolatore Miscela OttaniCalcolatore Miscela Olio 2 TempiCalcolatore Cilindrata MotoreCalcolatore Ingombro Divano PortaCalcolatore di Cataste di LegnaCalcolatore CADR Purificatore AriaCalcolatore Dimensione DeumidificatoreCalcolatore Dimensione Ventilatore da SoffittoCalcolatore Dimensioni TendeCalcolatore Dimensione TappetoCalcolatore Altezza per Appendere QuadriCalcolatore Altezza di Montaggio TVCalcolatore Dimensioni TVCalcolatore Volume e Telo per LaghettoCalcolatore Sale PiscinaCalcolatore Volume PiscinaCalcolatore Dimensione ScaldabagnoCalcolatore di Resina EpossidicaCalcolatore Spaziatura BalaustriCalcolatore di Battiscopa e ModanatureCalcolatore di RivestimentoCalcolatore impregnante per deckCalcolatore Semi per PratoCalcolatore di Zolle ErboseCalcolatore AsfaltoCalcolatore di Iarde CubeCalcolatore Riempimento TuboCalcolatore di Condensatori in Serie e ParalleloCalcolatore di Reattanza InduttivaCalcolatore di Illuminazione della StanzaCalcolatore da Lux a LumenConvertitore da Lumen a WattCalcolatore Dimensione GeneratoreConvertitore da mAh a WhCalcolatore di Potenza TrifaseCalcolatore kVACalcolatore da Ampere a WattCalcolatore da Watt ad AmpereCalcolatore Resistenze in SerieCalcolatore di AttritoCalcolatore del Piano InclinatoCalcolatore del Vantaggio MeccanicoCalcolatore della Velocità del SuonoCalcolatore della Velocità dell'OndaCalcolatore di galleggiabilitàCalcolatore di Velocità TerminaleCalcolatore della Lunghezza d'Onda di de BroglieCalcolatore di Energia del FotoneCalcolatore E=mc²Calcolatore di Dilatazione del TempoCalcolatore della Terza Legge di KepleroCalcolatore della Velocità di FugaCalcolatore della Forza GravitazionaleCalcolatore della Legge di Beer-LambertCalcolatore dell'Equazione di NernstCalcolatore della Pressione OsmoticaCalcolatore di Innalzamento del Punto di EbollizioneCalcolatore di Abbassamento del Punto di CongelamentoCalcolatore di Composizione PercentualeCalcolatore di NormalitàCalcolatore di MolalitàConvertitore da pKa a KaCalcolatore di Henderson-HasselbalchCalcolatore della Resa TeoricaCalcolatore del Reagente LimitanteCalcolatore di Configurazione ElettronicaTavola Periodica InterattivaGeneratore di Piani di Lezione con IAGeneratore di Quiz IAGeneratore di Citazioni (APA/MLA/Chicago)Calcolatore Percentuale di PresenzeAP Score CalculatorCalcolatore Punteggio ACTCalcolatore Punteggio SATConvertitore da Percentuale a CGPAConvertitore da CGPA a PercentualeCorrettore Voti Facile (EZ Grader)Calcolatore del Costo di Crescere un FiglioCalcolatore di Assunzione di Latte per NeonatiCalcolatore Taglia PannoliniGeneratore di Nomi per BambiniPredittore del Colore degli Occhi del BambinoCalcolatore del Percentile BMI per BambiniCalcolatore Altezza Futura del BambinoCalcolatore del Tempo di Raddoppiamento dell'hCGCalcolatore della Data Prevista del Parto FIVETCalcolatore di ImpiantoPredittore Cinese del Sesso del BebèFormattatore di Date ISO 8601Nap CalculatorCalcolatore delle Fasi LunariOrologio MondialeConvertitore da Data a Numeri RomaniConto alla Rovescia per la PensioneCalcolatore di SobrietàCalcolatore di Mezzo CompleannoCalcolatore AnniversarioCalcolatore Numero della SettimanaCalcolatore di Ripartizione delle ManceCalcolatore ROI Email MarketingCalcolatore del Costo Per LeadCalcolatore del Capitale Circolante