Semplifica il tuo flusso di lavoro: cerca miniwebtool.
Aggiungi
Vedi anche
Generatore di Sitemap XMLGeneratore di User-Agent CasualiGeneratore di Codice QRCalcolatore Commissione ImmobiliareEstrattore di URL
Pagina Iniziale > Strumenti per webmaster > Generatore robots.txt
 

Generatore robots.txt

Crea un file robots.txt pronto per la produzione per i motori di ricerca, quindi convalida le direttive prima della pubblicazione. Genera regole globali e specifiche per i bot, aggiungi suggerimenti per sitemap e crawl, e correggi errori comuni come gruppi user-agent mancanti, URL sitemap non validi o pattern di disallow troppo ampi.

Generatore robots.txt
▦ Esempi rapidi

Carica un preset completo per generare un file robots.txt pratico per un sito live, testa una policy di scansione più restrittiva per l'e-commerce, o incolla un file esistente e ispezionalo prima della pubblicazione.

Modalità

Scegli il flusso di lavoro

Genera un nuovo file robots.txt da campi strutturati, o valida un file che hai già.
Basi

Definisci il contesto del sito

Utilizzato per trasformare i percorsi delle sitemap in URL assoluti come `https://example.com/sitemap.xml`.
Usa `*` per tutti i crawler, o punta a un bot specifico come `Googlebot`.
Riga di commento opzionale per la parte superiore del file generato. Mantienila operativa e breve.
Regole

Imposta percorsi globali di allow e disallow

Un percorso per riga. Esempio: `/` o `/wp-admin/admin-ajax.php`.
Blocca aree di scarso valore come `/cart/`, `/checkout/`, `/search` o `/admin/` quando appropriato.
Bot

Aggiungi sitemap e sezioni specifiche per bot

Una sitemap per riga. I percorsi relativi sono convertiti rispetto all'URL del sito.
Incolla qui gruppi `User-agent:` grezzi per bot di immagini, bot pubblicitari o regole di staging.
Opzionale. Questa direttiva non è supportata uniformemente da tutti i motori di ricerca.
Opzionale. Di solito un hostname semplice come `example.com`.
Regole opzionali di pulizia dei parametri specifiche per motore, una direttiva per riga.
Validazione

Incolla il file che vuoi controllare

Incolla il file esistente esattamente come appare, inclusi commenti e gruppi di crawler multipli.
L'area dei risultati include il file finale, un riepilogo della scansione e un set di avvisi o note che puoi rivedere prima della distribuzione.

Embed Generatore robots.txt Widget

Generatore robots.txt

Un file robots.txt indica ai crawler quali parti di un sito possono recuperare, quali percorsi devono rimanere fuori dalla coda di scansione e dove si trova la sitemap XML. Per la visibilità SEO e geografica, l'obiettivo non è bloccare tutto ciò che è rischioso per impostazione predefinita. L'obiettivo è proteggere i percorsi di scansione di scarso valore, preservare il crawl budget per le pagine canoniche e mantenere il file allineato con ciò che è effettivamente pubblico sul dominio. Una policy robots.txt utile di solito menziona sezioni concrete come cartelle admin, flussi di checkout, URL di ricerca interna, filtri sfaccettati o blocchi solo per lo staging, piuttosto che vaghe "impostazioni SEO".

Come Usarlo

  • Scegli la modalità genera o valida. Usa `Genera robots.txt` per costruire un nuovo file da input strutturati, oppure passa a `Valida robots.txt esistente` se hai già una bozza o un file live.
  • Inserisci le regole di scansione e i dettagli della sitemap. Aggiungi l'URL pubblico del sito, il tuo `User-agent` principale, un percorso allow o disallow per riga e qualsiasi sezione extra specifica per bot o URL sitemap di cui hai bisogno.
  • Crea il report. Esegui lo strumento per costruire il file finale, rivedere i gruppi di crawler analizzati e ispezionare gli avvisi per pattern rischiosi come asset bloccati o URL sitemap assoluti mancanti.
  • Pubblica solo dopo la revisione. Copia l'output quando le regole riflettono il tuo reale intento di scansione, quindi posiziona il file in `/robots.txt` sull'hostname live e testa l'URL distribuito.

Strategia delle Direttive ed Errori Comuni

Direttiva o Pattern Quando Aiuta Cosa Va Spesso Storto
User-agent: * Crea un set di regole globali per la maggior parte dei bot quando non è richiesta una gestione speciale. Vengono aggiunte righe `Allow` e `Disallow` prima di definire qualsiasi gruppo user-agent, indebolendo la chiarezza dell'analizzatore.
Disallow: /search Utile per bloccare le pagine di ricerca interna del sito che creano combinazioni di URL povere e duplicative. Blocco accidentale di pagine pubbliche di categoria o prodotto perché il pattern del percorso è più ampio del previsto.
Sitemap: https://example.com/sitemap.xml Aiuta i crawler a scoprire URL canonici e nuovi contenuti più velocemente. Utilizzo di un percorso relativo o di un URL sitemap di staging obsoleto in produzione.
Crawl-delay A volte aggiunto per i crawler che documentano il supporto per la limitazione delle richieste. Assumere che Google lo rispetti. Google ignora il `Crawl-delay`, quindi non è un meccanismo universale di controllo della velocità.
Disallow: /assets/js/ Raramente necessario su un normale sito pubblico. Blocco di risorse di rendering che i motori di ricerca utilizzano per comprendere il layout, la funzionalità e la qualità della pagina.

Casi d'Uso Pratici

Su un sito WordPress, una regola comune è impedire `/wp-admin/` consentendo al contempo `/wp-admin/admin-ajax.php`, perché ciò tiene la maggior parte delle schermate admin fuori dai percorsi di scansione senza bloccare un endpoint spesso necessario. Su un sito di e-commerce, il file robots.txt è spesso usato per limitare lo spreco di scansione da pagine del carrello, aree account, flussi di checkout, navigazione sfaccettata o pagine di risultati interne generate da parametri di ordinamento e filtro. Su un sito di staging, un disallow temporaneo per l'intero sito può essere ragionevole, ma dovrebbe essere rimosso prima del lancio e ricontrollato dopo modifiche al DNS o alla distribuzione.

Il validatore è utile anche quando si eredita un file da un altro team. Può rilevare problemi sottili come una riga sitemap non assoluta, una direttiva `Host` malformata o un valore `Crawl-delay` scritto come testo normale invece che come numero. Quei dettagli contano perché un file robots.txt è semplice, ma anche gli errori in produzione sono spesso semplici.

Cosa il Robots.txt NON Fa

Il file robots.txt è un file di gestione della scansione, non un sistema di controllo degli accessi e non un interruttore garantito per la deindicizzazione. Se un URL è bloccato ma collegato da altrove, i motori di ricerca possono comunque mostrare quell'URL nei risultati di ricerca senza scansionarne l'intero contenuto. Documenti sensibili, strumenti di amministrazione e ambienti privati dovrebbero essere protetti con autenticazione, restrizioni di rete o strategie noindex esplicite su pagine scansionabili. Questa distinzione è uno dei malintesi più comuni nelle conversazioni SEO tecniche.

FAQ

Cosa dovrebbe contenere un file robots.txt per un normale sito web pubblico?

Un file di produzione sensato di solito inizia con un gruppo User-agent, blocca solo percorsi di scansione di scarso valore o privati come aree admin, pagine di ricerca interna, flussi del carrello o schermate dell'account, e include un URL sitemap con il protocollo e l'hostname completi. La maggior parte dei siti pubblici non dovrebbe bloccare CSS, JavaScript o le cartelle principali dei contenuti.

Il file robots.txt impedisce a una pagina di essere indicizzata?

No, non da solo. Il file robots.txt indica ai crawler cosa non recuperare, ma un URL bloccato può comunque essere indicizzato in base a link esterni o segnali scoperti in precedenza. Se il tuo vero obiettivo è il controllo dell'indice, hai bisogno di un metodo progettato per tale scopo, come noindex su pagine scansionabili o l'autenticazione per risorse private.

Dovrei aggiungere una riga sitemap al file robots.txt?

Di solito sì. Una direttiva Sitemap: è un forte suggerimento operativo per i crawler e una buona abitudine per siti grandi, multilingue o aggiornati di frequente. Usa un URL assoluto invece di un percorso relativo in modo che il segnale sia univoco.

Perché il crawl-delay è segnalato nel report?

Il Crawl-delay non è supportato uniformemente dai principali motori di ricerca. Alcuni crawler potrebbero riconoscerlo, ma Google no. Lo strumento lo segnala in modo da trattarlo come una direttiva mirata piuttosto che come un'impostazione universale della velocità di scansione.

Cita questo contenuto, pagina o strumento come:

"Generatore robots.txt" su https://MiniWebtool.com/it/generatore-robotstxt/ di MiniWebtool, https://MiniWebtool.com/

dal team di miniwebtool. Aggiornato: 2026-03-09

API per sviluppatori disponibile: Esegui questo strumento dalla tua app, automazione o agente con una richiesta HTTP JSON. Vedi documentazione API

Strumenti per webmaster:

Strumenti in primo piano:

Calcolatore dei numeri degli angeliCalcolatrice di Compatibilità AmorosaCalcolatore Ascendente, Segno Solare e Lunare 🌞🌙✨Calcolatore di Compatibilità dei Segni Lunari📅 Calcolatore di DataCalcolatore di SommeGeneratore di parole casuali in ingleseRicerca Citazioni (Inglese)Calcolatore Posizione del SoleFormattatore di TestoEstrattore di Immagini da VideoVerificatore di Nome Utente sui Social MediaCalcolatore del numero di percorso di vitaGeneratore di Superpotere CasualeQual è il mio numero fortunato?Convertitore di Piedi e Pollici in CentimetriGeneratore di Citazioni CasualiCalcolatore del percentile di altezzaCalcolatore EsadecimaleGeneratore di Obbligo o Verità AleatorioGeneratore casuale di animaliCalcolatore del Numero dell'AnimaGeneratore di Carte da Gioco CasualeConvertitore da esadecimale a decimaleRicerca ID Utente InstagramPalla Magica 8Calcolatore per ridurre frazioniCalcolatore di ScalaRimuovi spaziCalcolatore del Numero del NomeEstrattore AudioGeneratore di Gruppi CasualiDivisore AudioCalcolatore del Giorno dell'Anno - Che giorno dell'anno è oggi?Convertitore da cm a piedi e polliciRimuovi linee vuote da un testoGeneratore di anagrammiGeneratore di Date CasualiSelettore di Film CasualeInverti TestoGeneratore di CrucipuzzleGeneratore di stringhe casualiRicerca ID Utente FacebookUnisci VideoCalcolatore Binario⏱️ Calcolatore di OreCalcolatore di ArrotondamentoCalcolatore tempo di raffreddamento birraConvertitore Misura AnelloCalcolatore di Guadagni TwitchCalcolatore Formula di EroneCompressore VideoOrdina NumeriCalcolatore del Giorno della SettimanaGeneratore di Personaggi RPG CasualeRicerca Indirizzo MACSegnapunti TennisConvertitore FPSDivisore di ImmaginiGeneratore di Testo CapovoltoRuota VideoConvertitore da Decimale a TempoCalcolatore della Congettura di CollatzCalcolatore della Media GeometricaMiglioratore di ImmaginiCreatore di CruciverbaCalcolatore dell'Aspettativa di VitaGeneratore di oggetti casualiLista di Anni BisestiliCalcolatore del Numero della Personalità👙 Calcolatore Taglia ReggisenoConvertitore in numeri romaniGeneratore di Orario CasualeCalcolatore del Segno LunareCalcolatore Unità Alcoliche StandardGeneratore di Compleanni CasualiCalendario del Giorno dell'AnnoConvertitore da decimale a esadecimaleCalcolatore del calcio correttoCalcolatore del deficit caloricoCalcolatore di VelocitàCalcolatore Dimensioni di Stampa e Risoluzione (DPI/PPI)Generatore di Colori CasualiCalcolatore del Ritorno di SaturnoCalcolatore dell'ArcotangenteValidatore XMLCalcolatore del Segno di VenereCalcolatore di anni caniniCalcolatore di combinazioneCalcolatore PERConvertitore di Frequenza e Lunghezza d'OndaDivisore videoConvertitore da kPa a psiconvertitore da ppm a percentualeGeneratore di Argomenti di Dibattito CasualiGeneratore di CrittogrammaÈ un Numero Primo?Convertitore da Lbs a KgCalcolatore Ritmo NuotoStatistiche del Canale YouTube🔍 Verificatore di PlagioCalcolatrice del Numero d'EspressioneCalcolatore del Tempo di Raddoppiamento dell'hCGCalcolatore dell'Errore PercentualeGeneratore di Piani di Allenamento IAStrumento Cifrario di CesareCalcolatore di Differenza di ListeConvertitore di Velocità di Trasferimento DatiPredittore Cinese del Sesso del BebèStrumento Cifrario di VigenèreCalcolatore del Numero del DestinoCalendario di luna nuova e luna piena🖱️ Contatore di ClicContatore di lineaConvertitore di Percentuale in PPMGeneratore di Accordi CasualiGeneratore di Lettera Casuale🔊 Generatore di ToniUmanizzatore di Testo AICalcolatore di Filo per Punto CroceCalcolatore Dosaggio FarmacoConta il numero di caratteriGeneratore di IMEI CasualeGeneratore di Testo BarratoCalcolatore delle Ore di Studio per la Fluidità LinguisticaCalcolatore di Affitto SostenibileConvertitore da binario a esadecimaleConvertitore da DMS a Gradi DecimaliConvertitore Numero in FrazionePrimi n Numeri di Pi GrecoCalcolatore del Test Chi-QuadratoCalcolatore dell'Arcocoseno (Coseno Inverso)Calcolatore dell'ArcosenoCalcolatore di alba e tramontoCalcolatore Proporzioni RicetteCalcolatore Sottorete IPVerificatore Numero Pari o DispariCalcolatore delle dimensioni dello zainoCalcolatore di Inflazione USConvertitore Data GiulianaConvertitore di VelocitàGeneratore di frequenza sonora casualeGeneratore di Unisci i PuntiniCalcolatore Altezza Futura del BambinoCalcolatore del Numero MaestroCalcolatore del SonnoCalcolatore di calcestruzzoCalcolatore di Stipendio in BagnoCalcolatore EBITDACalcolatrice della Deviazione Standard RelativaConvertitore da mAh a WhGeneratore di Distribuzione GaussianaGeneratore di Nonogrammi (Picross)Simulatore di Porte LogicheAggiungi o Sostituisci Audio nel VideoCalcolatore da frazione a decimaleCalcolatore del Consumo di AcquaCalcolatore di radice quadrataCalcolatore Quanto Tempo FaConfronta due stringheContatore di SillabeConvertitore da Esadecimale a BinarioConvertitore di dimensioni del fileConvertitore di pollici in cmGeneratore di PaletteSelettore di Nome CasualeAggiungi Testo all'ImmagineCalcolatore del Volume di un EllissoideCalcolatore di Carico della TraveCalcolatore di etàCalcolatore di ModuloCalcolatore Porzioni di SpaghettiCalcolatore Prezzo Progetti FreelanceCalcolatrice di NumerologiaConvertitore di Tempo in DecimaliConvertitore da Tazze in GrammiDa JPG a PDFGeneratore di Coordinate CasualiGeneratore di Persona Utente CasualeInterprete dei sogni AIRimuovi audio da videoRisolutore di DisequazioniGeneratore di complimentiGeneratore di frasi per rimorchiareGeneratore di battute da papàGeneratore di barzellette casualiGeneratore di curiosità casualiGeneratore di domande triviaGeneratore di parole per l'impiccatoGeneratore di parole per PictionaryGeneratore di SciaradaGeneratore di domande rompighiaccioGeneratore Io non ho maiGeneratore PreferirestiGeneratore di domande casualiGeneratore di biglietti di ringraziamento con IAGeneratore di discorsi di nozze con IAGeneratore di Comunicati Stampa AIGeneratore di Descrizioni di Prodotto con IAGeneratore di Script Video AIGeneratore di Titoli e Descrizioni YouTube con IAGeneratore di Didascalie Instagram con IAGeneratore di Titolo e Bio LinkedIn con IAGeneratore di Punti per Curriculum IAGeneratore di Lettere di Presentazione con IAGeneratore di testi rap con IAAppiattire PDFSblocca PDF (Rimozione password proprietario)Estrattore da PDF a testoEstrattore di pagine PDFContatore di Parole PDFProteggi PDFAggiungi numeri di pagina al PDFRiordina pagine PDFElimina pagine PDFRuota PDFPDF in JPGComprimi PDFDividere PDFUnire PDFConvertitore da PT a PXConvertitore da PX a REMConvertitore da Tola a GrammiConvertitore di unità di terra indianeConvertitore da mcg a mgGeneratore di testi di canzoni con IAGeneratore di poesie IAGeneratore di storie IATraduttore IARiassuntore di Testo IAConvertitore da mg a mLConvertitore da MPH a KMHConvertitore da nodi a MPHMetri cubi a piedi cubiConvertitore da piedi cubi a iarde cubeConvertitore da piedi quadrati a metri quadratiConvertitore da metri quadrati a piedi quadratiConvertitore Oz in mLConvertitore ML in ozConvertitore da galloni a litriConvertitore da litri a galloniConvertitore da Kg a StoneConvertitore da Stone a KgConvertitore da pollici a millimetriConvertitore da millimetri a polliciConvertitore da miglia a kmConvertitore da km a migliaConvertitore da Fahrenheit a CelsiusConvertitore da Celsius a FahrenheitCalcolatore del volume della tavola da surfCalcolatore della misura dell’impugnatura da tennisCalcolatore della Taglia del CascoCalcolatore della taglia dei guantiConvertitore di taglie per cappelliCalcolatore della taglia dello snowboardCalcolatore delle dimensioni degli sciCalcolatore della taglia della biciTimer per split di speedrunCalcolatore StablefordCalcolatore checkout freccetteCalcolatore dell’economia del bowlingCalcolatore Strike Rate CricketCalcolatore Net Run RateCalcolatore Rapporto K/DCalcolatore Rating EloCalcolatore del Recupero della Frequenza CardiacaCalcolatore del tempo di escursioneCalcolatore del Ritmo di CanottaggioCalcolatore Age-Grading CorsaCalcolatore FTP e zone di potenzaCalcolatore Beep TestCalcolatore punteggio ACFTCalcolatore Wilks & DOTSCalcolatore Offset RuotaRicerca Indice di Carico e Indice di Velocità PneumaticiCalcolatore del Costo per MiglioCalcolatore di Riscatto del LeasingCalcolatore Miscela OttaniCalcolatore Miscela Olio 2 TempiCalcolatore Cilindrata MotoreCalcolatore Ingombro Divano PortaCalcolatore di Cataste di LegnaCalcolatore CADR Purificatore AriaCalcolatore Dimensione DeumidificatoreCalcolatore Dimensione Ventilatore da SoffittoCalcolatore Dimensioni TendeCalcolatore Dimensione TappetoCalcolatore Altezza per Appendere QuadriCalcolatore Altezza di Montaggio TVCalcolatore Dimensioni TVCalcolatore Volume e Telo per LaghettoCalcolatore Sale PiscinaCalcolatore Volume PiscinaCalcolatore Dimensione ScaldabagnoCalcolatore di Resina EpossidicaCalcolatore Spaziatura BalaustriCalcolatore di Battiscopa e ModanatureCalcolatore di RivestimentoCalcolatore impregnante per deckCalcolatore Semi per PratoCalcolatore di Zolle ErboseCalcolatore AsfaltoCalcolatore di Iarde CubeCalcolatore Lunghezza AntennaCalcolatore Riempimento TuboCalcolatore di Condensatori in Serie e ParalleloCalcolatore di Reattanza InduttivaCalcolatore di Illuminazione della StanzaCalcolatore da Lux a LumenConvertitore da Lumen a WattCalcolatore Dimensione GeneratoreCalcolatore di Potenza TrifaseCalcolatore kVACalcolatore da Ampere a WattCalcolatore da Watt ad AmpereCalcolatore Resistenze in SerieCalcolatore di AttritoCalcolatore del Piano InclinatoCalcolatore del Vantaggio MeccanicoCalcolatore della Velocità del SuonoCalcolatore della Velocità dell'OndaCalcolatore di galleggiabilitàCalcolatore di Velocità TerminaleCalcolatore della Lunghezza d'Onda di de BroglieCalcolatore di Energia del FotoneCalcolatore E=mc²Calcolatore di Dilatazione del TempoCalcolatore della Terza Legge di KepleroCalcolatore della Velocità di FugaCalcolatore della Forza GravitazionaleCalcolatore della Legge di Beer-LambertCalcolatore dell'Equazione di NernstCalcolatore della Pressione OsmoticaCalcolatore di Innalzamento del Punto di EbollizioneCalcolatore di Abbassamento del Punto di CongelamentoCalcolatore di Composizione PercentualeCalcolatore di NormalitàCalcolatore di MolalitàConvertitore da pKa a KaCalcolatore di Henderson-HasselbalchCalcolatore della Resa TeoricaCalcolatore del Reagente LimitanteCalcolatore di Configurazione ElettronicaTavola Periodica InterattivaGeneratore di Piani di Lezione con IAGeneratore di Quiz IAGeneratore di Citazioni (APA/MLA/Chicago)Calcolatore Percentuale di PresenzeAP Score CalculatorCalcolatore Punteggio ACTCalcolatore Punteggio SATConvertitore da Percentuale a CGPAConvertitore da CGPA a PercentualeCorrettore Voti Facile (EZ Grader)Calcolatore del Costo di Crescere un FiglioCalcolatore di Assunzione di Latte per NeonatiCalcolatore Taglia PannoliniGeneratore di Nomi per BambiniPredittore del Colore degli Occhi del BambinoCalcolatore del Percentile BMI per BambiniCalcolatore della Data Prevista del Parto FIVETCalcolatore di ImpiantoFormattatore di Date ISO 8601Nap CalculatorCalcolatore delle Fasi LunariOrologio MondialeConvertitore da Data a Numeri RomaniConto alla Rovescia per la PensioneCalcolatore di SobrietàCalcolatore di Mezzo CompleannoCalcolatore AnniversarioCalcolatore Numero della SettimanaCalcolatore di Ripartizione delle ManceCalcolatore ROI Email MarketingCalcolatore del Costo Per LeadCalcolatore del Capitale CircolanteCalcolatore Guadagni YouTube