Semplifica il tuo flusso di lavoro: cerca miniwebtool.
Aggiungi
Pagina Iniziale > Strumenti per webmaster > Generatore robots.txt
 

Generatore robots.txt

Crea un file robots.txt pronto per la produzione per i motori di ricerca, quindi convalida le direttive prima della pubblicazione. Genera regole globali e specifiche per i bot, aggiungi suggerimenti per sitemap e crawl, e correggi errori comuni come gruppi user-agent mancanti, URL sitemap non validi o pattern di disallow troppo ampi.

Generatore robots.txt
▦ Esempi rapidi

Carica un preset completo per generare un file robots.txt pratico per un sito live, testa una policy di scansione più restrittiva per l'e-commerce, o incolla un file esistente e ispezionalo prima della pubblicazione.

Modalità

Scegli il flusso di lavoro

Genera un nuovo file robots.txt da campi strutturati, o valida un file che hai già.
Basi

Definisci il contesto del sito

Utilizzato per trasformare i percorsi delle sitemap in URL assoluti come `https://example.com/sitemap.xml`.
Usa `*` per tutti i crawler, o punta a un bot specifico come `Googlebot`.
Riga di commento opzionale per la parte superiore del file generato. Mantienila operativa e breve.
Regole

Imposta percorsi globali di allow e disallow

Un percorso per riga. Esempio: `/` o `/wp-admin/admin-ajax.php`.
Blocca aree di scarso valore come `/cart/`, `/checkout/`, `/search` o `/admin/` quando appropriato.
Bot

Aggiungi sitemap e sezioni specifiche per bot

Una sitemap per riga. I percorsi relativi sono convertiti rispetto all'URL del sito.
Incolla qui gruppi `User-agent:` grezzi per bot di immagini, bot pubblicitari o regole di staging.
Opzionale. Questa direttiva non è supportata uniformemente da tutti i motori di ricerca.
Opzionale. Di solito un hostname semplice come `example.com`.
Regole opzionali di pulizia dei parametri specifiche per motore, una direttiva per riga.
Validazione

Incolla il file che vuoi controllare

Incolla il file esistente esattamente come appare, inclusi commenti e gruppi di crawler multipli.
L'area dei risultati include il file finale, un riepilogo della scansione e un set di avvisi o note che puoi rivedere prima della distribuzione.

Embed Generatore robots.txt Widget

Generatore robots.txt

Un file robots.txt indica ai crawler quali parti di un sito possono recuperare, quali percorsi devono rimanere fuori dalla coda di scansione e dove si trova la sitemap XML. Per la visibilità SEO e geografica, l'obiettivo non è bloccare tutto ciò che è rischioso per impostazione predefinita. L'obiettivo è proteggere i percorsi di scansione di scarso valore, preservare il crawl budget per le pagine canoniche e mantenere il file allineato con ciò che è effettivamente pubblico sul dominio. Una policy robots.txt utile di solito menziona sezioni concrete come cartelle admin, flussi di checkout, URL di ricerca interna, filtri sfaccettati o blocchi solo per lo staging, piuttosto che vaghe "impostazioni SEO".

Come Usarlo

  • Scegli la modalità genera o valida. Usa `Genera robots.txt` per costruire un nuovo file da input strutturati, oppure passa a `Valida robots.txt esistente` se hai già una bozza o un file live.
  • Inserisci le regole di scansione e i dettagli della sitemap. Aggiungi l'URL pubblico del sito, il tuo `User-agent` principale, un percorso allow o disallow per riga e qualsiasi sezione extra specifica per bot o URL sitemap di cui hai bisogno.
  • Crea il report. Esegui lo strumento per costruire il file finale, rivedere i gruppi di crawler analizzati e ispezionare gli avvisi per pattern rischiosi come asset bloccati o URL sitemap assoluti mancanti.
  • Pubblica solo dopo la revisione. Copia l'output quando le regole riflettono il tuo reale intento di scansione, quindi posiziona il file in `/robots.txt` sull'hostname live e testa l'URL distribuito.

Strategia delle Direttive ed Errori Comuni

Direttiva o Pattern Quando Aiuta Cosa Va Spesso Storto
User-agent: * Crea un set di regole globali per la maggior parte dei bot quando non è richiesta una gestione speciale. Vengono aggiunte righe `Allow` e `Disallow` prima di definire qualsiasi gruppo user-agent, indebolendo la chiarezza dell'analizzatore.
Disallow: /search Utile per bloccare le pagine di ricerca interna del sito che creano combinazioni di URL povere e duplicative. Blocco accidentale di pagine pubbliche di categoria o prodotto perché il pattern del percorso è più ampio del previsto.
Sitemap: https://example.com/sitemap.xml Aiuta i crawler a scoprire URL canonici e nuovi contenuti più velocemente. Utilizzo di un percorso relativo o di un URL sitemap di staging obsoleto in produzione.
Crawl-delay A volte aggiunto per i crawler che documentano il supporto per la limitazione delle richieste. Assumere che Google lo rispetti. Google ignora il `Crawl-delay`, quindi non è un meccanismo universale di controllo della velocità.
Disallow: /assets/js/ Raramente necessario su un normale sito pubblico. Blocco di risorse di rendering che i motori di ricerca utilizzano per comprendere il layout, la funzionalità e la qualità della pagina.

Casi d'Uso Pratici

Su un sito WordPress, una regola comune è impedire `/wp-admin/` consentendo al contempo `/wp-admin/admin-ajax.php`, perché ciò tiene la maggior parte delle schermate admin fuori dai percorsi di scansione senza bloccare un endpoint spesso necessario. Su un sito di e-commerce, il file robots.txt è spesso usato per limitare lo spreco di scansione da pagine del carrello, aree account, flussi di checkout, navigazione sfaccettata o pagine di risultati interne generate da parametri di ordinamento e filtro. Su un sito di staging, un disallow temporaneo per l'intero sito può essere ragionevole, ma dovrebbe essere rimosso prima del lancio e ricontrollato dopo modifiche al DNS o alla distribuzione.

Il validatore è utile anche quando si eredita un file da un altro team. Può rilevare problemi sottili come una riga sitemap non assoluta, una direttiva `Host` malformata o un valore `Crawl-delay` scritto come testo normale invece che come numero. Quei dettagli contano perché un file robots.txt è semplice, ma anche gli errori in produzione sono spesso semplici.

Cosa il Robots.txt NON Fa

Il file robots.txt è un file di gestione della scansione, non un sistema di controllo degli accessi e non un interruttore garantito per la deindicizzazione. Se un URL è bloccato ma collegato da altrove, i motori di ricerca possono comunque mostrare quell'URL nei risultati di ricerca senza scansionarne l'intero contenuto. Documenti sensibili, strumenti di amministrazione e ambienti privati dovrebbero essere protetti con autenticazione, restrizioni di rete o strategie noindex esplicite su pagine scansionabili. Questa distinzione è uno dei malintesi più comuni nelle conversazioni SEO tecniche.

FAQ

Cosa dovrebbe contenere un file robots.txt per un normale sito web pubblico?

Un file di produzione sensato di solito inizia con un gruppo User-agent, blocca solo percorsi di scansione di scarso valore o privati come aree admin, pagine di ricerca interna, flussi del carrello o schermate dell'account, e include un URL sitemap con il protocollo e l'hostname completi. La maggior parte dei siti pubblici non dovrebbe bloccare CSS, JavaScript o le cartelle principali dei contenuti.

Il file robots.txt impedisce a una pagina di essere indicizzata?

No, non da solo. Il file robots.txt indica ai crawler cosa non recuperare, ma un URL bloccato può comunque essere indicizzato in base a link esterni o segnali scoperti in precedenza. Se il tuo vero obiettivo è il controllo dell'indice, hai bisogno di un metodo progettato per tale scopo, come noindex su pagine scansionabili o l'autenticazione per risorse private.

Dovrei aggiungere una riga sitemap al file robots.txt?

Di solito sì. Una direttiva Sitemap: è un forte suggerimento operativo per i crawler e una buona abitudine per siti grandi, multilingue o aggiornati di frequente. Usa un URL assoluto invece di un percorso relativo in modo che il segnale sia univoco.

Perché il crawl-delay è segnalato nel report?

Il Crawl-delay non è supportato uniformemente dai principali motori di ricerca. Alcuni crawler potrebbero riconoscerlo, ma Google no. Lo strumento lo segnala in modo da trattarlo come una direttiva mirata piuttosto che come un'impostazione universale della velocità di scansione.

Cita questo contenuto, pagina o strumento come:

"Generatore robots.txt" su https://MiniWebtool.com/it/generatore-robotstxt/ di MiniWebtool, https://MiniWebtool.com/

dal team di miniwebtool. Aggiornato: 2026-03-09

Altri strumenti correlati:

Verificatore Età DominioNuovo
Generatore di Tag HreflangNuovo
Generatore di Redirect .htaccess
Abbellitore HTMLNuovo
Generatore di Meta Tag
Verificatore Open GraphNuovo
Generatore di Markup SchemaNuovo
Generatore di Sitemap XMLNuovo

Strumenti per webmaster:

Strumenti in primo piano:

Calcolatore dei numeri degli angeli📅 Calcolatore di DataCalcolatrice di Compatibilità AmorosaCalcolatore Segno Solare, Lunare e Ascendente 🌞🌙✨Calcolatore di SommeConvertitore da esadecimale a decimaleConvertitore di Piedi e Pollici in CentimetriCalcolatore di Compatibilità dei Segni LunariEstrattore di Immagini da VideoRimuovi spaziGeneratore di parole casuali in ingleseCalcolatore EsadecimaleCalcolatore del Giorno dell'Anno - Che giorno dell'anno è oggi?Formattatore di TestoQual è il mio numero fortunato?Calcolatore del Numero dell'AnimaCalcolatore BinarioGeneratore di CrucipuzzleGeneratore di Colori CasualiSelettore di Film CasualeRicerca ID Utente InstagramInverti TestoCalcolatore del numero di percorso di vitaConvertitore di Tempo in DecimaliConvertitore da Decimale a Tempoconvertitore da ppm a percentualeGeneratore di Superpotere CasualeCalcolatore del calcio correttoCalcolatore del Numero del NomeGeneratore casuale di animaliConvertitore da cm a piedi e polliciricerca-indirizzo-MACCalcolatore di Durata del TempoGeneratore di Numero Decimale CasualeDivisore di ImmaginiGeneratore di Date CasualiCalcolatore del percentile di altezzaCalcolatrice del Numero d'EspressioneConvertitore di Percentuale in PPMPalla Magica 8Calendario del Giorno dell'AnnoCalcolatore dei VotiCalcolatore di ScalaConvertitore da decimale a esadecimaleValidatore XMLConvertitore da Esadecimale a BinarioCalcolatore del deficit caloricoConvertitore in numeri romaniCalcolatore per ridurre frazioniConvertitore da indirizzo IP a binarioCalcolatore Notazione Sigma (Sommatoria)Generatore di Unisci i PuntiniOrdina NumeriCalcolatore della Media GeometricaRicerca ID Utente FacebookGeneratore di Carte da Gioco CasualeConvertitore da binario a esadecimaleContatore di SillabeCalcolatore di VelocitàGeneratore di stringhe casualiGeneratore di Obbligo o Verità AleatorioGeneratore di anagrammiConvertitore HTML in TestoGeneratore di oggetti casualiVerificatore di Nome Utente sui Social MediaDivisore AudioGeneratore di Citazioni CasualiConvertitore di Frazione in PercentualeConta il numero di caratteriGeneratore di Gruppi CasualiCalcolatore della Circonferenza di un EllisseCalcolatore del Segno LunareCalcolatore del Test Chi-QuadratoCalcolatore di Differenza di ListeCalcolatore di ModuloCalcolatrice di NumerologiaCalcolatore Dimensioni di Stampa e Risoluzione (DPI/PPI)Generatore di Modello Cono SviluppatoCalcolatore Ritmo Nuotogeneratore-di-testo-capovoltoStatistiche del Canale YouTubeCalcolatore del SonnoCalcolatore del Numero della Personalità⏱️ Calcolatore di Ore📅 Calcolatore Differenza tra DateEstrattore AudioCalcolatore di ArrotondamentoCalcolatore Sottorete IPUnisci VideoAnalizzatore Avanzato di Compatibilità ZodiacaleCompressore VideoConvertitore di AngoliGeneratore di LabirintiCalcolatore da frazione a decimaleCalcolatore del Segno di VenereGeneratore di Personaggi RPG CasualeLista di Anni BisestiliSelettore di Nome CasualeCalcolatore della Congettura di CollatzCalcolatore EBITDACalcolatore del Coefficiente di VariazioneCalcolatore di Flusso nelle TubazioniConvertitore Taglie di AbbigliamentoCalcolatore dell'Aspettativa di VitaCalcolatore di Pendenza e GradoContatore di lineaCalcolatrice della Deviazione Standard RelativaGeneratore di Lettera CasualeRimuovi linee vuote da un testoCalcolatore di Log in Base 2Calcolatore di radice quadrataGeneratore di Orario CasualeCalcolatore di anni caniniCalcolatore Media, Mediana e ModaCalcolatore Regola di CramerCalcolatore di Log in Base 10Calendario di luna nuova e luna pienaSimulatore di Porte LogicheCalcola i Giorni tra Due DateCalcolatore del Giorno della SettimanaCalcolatore di calcestruzzoCalcolatore di etàCalcolatore di ProfittoGeneratore di Attività CasualiCalcolatore del Numero del DestinoCalcolatore del Test Esatto di FisherCalcolatore della deviazione standard - Alta precisioneCalcolatore delle frazioni equivalentiCalcolatore dello scarto interquartileCalcolatore dello Zodiaco dell'Albero CelticoConvertitore da Ottale a DecimaleConvertitore FPS👙 Calcolatore Taglia ReggisenoCreatore di CruciverbaGeneratore di Accordi CasualiStrumento Cifrario di CesareCalcolatrice del FattorialeConvertitore di dimensioni del fileConvertitore di pollici in cmSemplificatore di Algebra BooleanaCalcolatore CAGRCalcolatore della Tangente🔊 Generatore di ToniMiglioratore di ImmaginiCalcolatore di CartongessoConvertitore da Lbs a KgConvertitore Numero in FrazioneSegnapunti TennisCalcolatore del Rapporto BUN a CreatininaCalcolatore di Conversione Scala ModelloConvertitore di Frequenza e Lunghezza d'OndaGeneratore di CrittogrammaCalcolatore di notazioni scientifichecalcolatore-hba1cConvertitore da DMS a Gradi DecimaliGeneratore di Compleanni CasualiGeneratore di Tabelloni Torneo CasualiRandomizzatore di listaVerificatore di Squadratura (Regola 3-4-5) 📐Calcolatore BarbecueCalcolatore dell'Arcocoseno (Coseno Inverso)Calcolatore della Media🌐 Convertitore di Fuso OrarioCalcolatrice del Numero di CifreCalcolatore di Decibel (dB)Calcolatore Proporzioni RicetteGeneratore di Carte di Credito CasualeGeneratore di Indirizzi IP CasualiGeneratore di Parole MescolateCalcolatore del Numero MaestroCalcolatore Unità Alcoliche StandardGeneratore di Hash SHA256Primi n Numeri di Pi GrecoRuota VideoCalcolatore del Rapporto di Compressione del MotoreCalcolatore di Coppia di Serraggio BulloniCalcolatore di diminuzione di percentualeCalcolatore Formula di EroneCalcolatore Quanto Manca AlConvertitore da Decimale a OttaleDivisore videoInverti VideoLooper MP3Analizzatore di Indirizzi MACCalcolatore di Calorie BruciateCalcolatrice di Numeri ComplessiGeneratore di Testo Piccolo ⁽ᶜᵒᵖʸ ⁿ ᵖᵃˢᵗᵉ⁾🔍 Verificatore di PlagioCalcolatore dell'Area di un EllisseCalcolatore di FIPConvertitore da binario a ottaleGeneratore di Distribuzione GaussianaSimulatore di Crittografia RSA Passo dopo PassoCalcolatore dell'ArcotangenteCalcolatore di combinazioneCalcolatore di Pacciame, Terreno e GhiaiaCalcolatore di piastrelleCalcolatore di Velocità di CiclismoCalcolatore del cerchioCalcolatore di log naturaleCalcolatore Dosaggio Detersivo BucatoCalcolatore di Miscelazione Tinta per CapelliCalcolatore Costo di StampaConfronto Costi Gas vs ElettricoCalcolatore Mancia con Carta RegaloCalcolatore Quantità Scatole per TraslocoCalcolatore Dimensioni Box di StoccaggioCalcolatore Armadio CapsulaCalcolatore della Lunghezza della CinghiaCalcolatore della Forza del Cilindro IdraulicoCalcolatore Sistema di CarrucoleCalcolatore del Rapporto di Trasmissione MeccanicoCalcolatore di Calore SpecificoCalcolatore di Dilatazione TermicaCalcolatore di Trasferimento del CaloreCalcolatore dell'Equazione di BernoulliCalcolatore del numero di ReynoldsCalcolatore Posizione del SoleCalcolatore Orari delle MareeCalcolatore di Visibilità delle StelleStrumento di Riferimento per NodiGuida alla Valutazione della Temperatura del Sacco a PeloCalcolatore Dimensioni Telo SottotendaCalcolatore del Peso del Cibo per BackpackingCalcolatore del Ritmo di Escursionismo NaismithCalcolatore Lunghezza Filo da RicamoCalcolatore Volume Colata ResinaCalcolatore di Schemi di PerlinePottery Clay Shrinkage CalculatorCalcolatore dimensioni carta per origamiCalcolatore Bordo per TrapunteCalcolatore di Filo per Punto CroceCalcolatore di Schemi a MagliaConvertitore di Misure dei Ferri da MagliaConvertitore di Misure UncinettoCalcolatore di Fieno per CavalliRicerca Misura del Trasportino da Viaggio per AnimaliCalcolatore UVB per Habitat di RettiliCalcolatore Dimensioni Gabbia per UccelliCalcolatore di Watt del Riscaldatore per AcquarioCalcolatore Lettiere per GattiCalcolatore della Portata del Fascio dei FariCalcolatore del Consumo del BattistradaCalcolatore del Peso sul Timone del RimorchioCalcolatore di Distribuzione del Peso del VeicoloDivisore Costi di ViaggioCalcolatore della Distanza di ArrestoCalcolatore Indennizzo per i LavoratoriCalcolatore di Distribuzione dei Beni TestamentariCercatore di Classe di MarchioCalcolatore delle Tasse di Deposito del BrevettoVerificatore di Nexus dell'Imposta sulle VenditeCalcolatore di Riduzione della PenaCalcolatore di PrescrizioneOttimizzatore di Prezzi AirbnbDivisore Affitto tra CoinquiliniCalcolatore Affitto Sezione 8Calcolatore del Metodo BRRRRCalcolatore del Rendimento Cash-on-CashCalcolatore di Rendimento da AffittoCalcolatore Scambio 1031Visualizzatore di Crescita del PatrimonioCalcolatore del Costo del PranzoCalcolatore di Costo Palestra vs Allenamento a CasaCalcolatore del Costo dell’Abitudine al CaffèCalcolatore di Risparmio del Lavoro da RemotoCalcolatore ROI Attività SecondariaTracker dei Costi degli AbbonamentiCalcolatore Prezzi SaaSCalcolatore Prezzo Progetti FreelanceGuida agli Abbinamenti dei Legni da AffumicaturaCalcolatore Tempo di FermentazioneCalcolatore Tempo di MarinaturaFiltro Ricette per Restrizioni AlimentariTrova Sostituti delle SpezieTracker dell'Emivita della CaffeinaSuggeritore di Abbinamento ViniConvertitore di Gradi di ArrampicataCalcolatore del Rapporto del Cambio della BiciclettaCalcolatore della Resistenza dei Nodi da PescaTimer per le Posizioni YogaCalcolatore SWOLF NuotoPredittore del Tempo di GaraCalcolatore di Potenza del Pugno nel BoxeCalcolatore Punti RugbyCalcolatore Run Rate CricketCalcolatore xG (Expected Goals) nel CalcioCalcolatore del Punteggio di Wells (TVP/EP)Calcolatore della Scala del Coma di GlasgowCalcolatore del Punteggio APGARCalcolatore FFMICalcolatore della Corsa di 12 Minuti di CooperCalcolatore del Test del Cammino di un Miglio RockportCalcolatore da Massa Magra a ForzaCalcolatore del Rapporto Carboidrati-InsulinaCalcolatore del Fattore di Sensibilità InsulinicaConvertitore Calendario EbraicoConvertitore Calendario HijriConvertitore di Calendario LunareCalcolatore Età nelle CultureCalcolatore Quanto Tempo FaGeneratore di schemi di dateCalcolatore di Data IntermediaAggiungi Giorni Lavorativi a una DataCalcolatore Giorni LavorativiAnalizzatore di Frequenza delle ParoleAnalizzatore di Varianza di Lunghezza FrasiEditor di Leggibilità Stile HemingwayConvertitore di Pronuncia IPAStrumento Cifrario di VigenèreStrumento Cifrario AtbashCodificatore e Decodificatore ROT13Visualizzatore e Rimuovi Dati EXIFTraduttore Pig LatinGeneratore di BackronimiGeneratore di AcronimiVerificatore di PangrammiVerificatore di LipogrammaTracciatore da Immagine a SVGConvertitore da Immagine ad Arte ASCIIGeneratore di Schema JSONPlayground TypeScriptCompilatore Less in CSSCompilatore SCSS in CSSConvertitore da SVG a React/JSXGeneratore di Stringhe di QueryParser URLValidatore e decodificatore UUIDRiferimento codici di stato HTTPGeneratore di Comandi cURLGeneratore del Triangolo di SierpinskiPlotter di Superficie 3DTracciatore di Equazioni PolariGeneratore di Insieme di JuliaEsploratore dell'Insieme di MandelbrotGeneratore di Frattali L-SystemGeneratore di Triangolazione di DelaunayGeneratore di Diagrammi di VoronoiGeneratore di SpirografoGeneratore di TassellatureCalcolatore di Capacità di Processo Sei SigmaGeneratore di Diagrammi di ParetoCalcolatore NPS (Net Promoter Score)Calcolatore della fidelizzazione per coorteCalcolatore Tasso di AbbandonoCalcolatore del Costo di Acquisizione Cliente (CAC)Calcolatore del Valore del Ciclo di Vita del Cliente (CLV)Calcolatore del Tasso di ConversioneCalcolatore Dimensione Campione Test A/BCalcolatore di Significatività Test A/BCalcolatore dell'Equazione delle LentiCalcolatore di Campo Magnetico di un FiloCalcolatore di Campo ElettricoCalcolatore della Legge di CoulombCalcolatore della Legge di SnellCalcolatore del Momento d'InerziaCalcolatore di Velocità AngolareCalcolatore di forza centripetaCalcolatore del Periodo del PendoloCalcolatore Costante ElasticaCalcolatore Effetto DopplerCalcolatore Indice di SortinoCalcolatore Indice di TreynorCalcolatore Beta di AzioniCalcolatore di Titoli del Tesoro Protetti dall’Inflazione (TIPS)Calcolatore di Ricalcolo MutuoCalcolatore Tasso ForwardCalcolatore della Duration Obbligazionaria (Macaulay e Modificata)Calcolatore di Convessità delle ObbligazioniCalcolatore di Rendita Indicizzata FissaCalcolatore di Rendita VariabileCalcolatore di Mutuo InversoCalcolatore di Pagamento RenditaSimulatore Soroban Abaco GiapponeseMoltiplicazione del Contadino RussoCalcolatore di Trucchi di Matematica VedicaCalcolatore di Moltiplicazione EgiziaRisolutore Matematico con Numeri RomaniAllenatore di Calcolo MentaleQuiz delle TabellineVisualizzatore di Riporto e PrestitoGeneratore di Decomposizioni NumericheRisolutore di Problemi di MoneteCalcolatore del Triangolo Distanza-Velocità-TempoRisolutore Problemi Tasso di LavoroRisolutore Problemi di MiscelaRisolutore Problemi di EtàRisolutore Problemi Incontro TreniCalcolatore di IdratazioneCalcolatore di Passo in CalorieCalcolatore Dosaggio FarmacoCalcolatore Calorie AlcolCalcolatore di Ricomposizione CorporeaGeneratore di Argomenti di Dibattito CasualiGeneratore di Nomi Casuali per Gatti e CaniScaricatore di Miniature YouTubeCalcolatore Guadagni YouTube