Googlebot Crawl Größen Prüfer

Der Googlebot Crawl-Größen-Prüfer misst die unkomprimierte Größe jeder Webseite oder PDF-Datei, um sicherzustellen, dass sie innerhalb der offiziellen Crawling-Grenzwerte des Googlebots liegt. Wenn eine Seite diese Grenzwerte überschreitet, kürzt der Googlebot den verarbeiteten Inhalt, was dazu führen kann, dass wichtige Informationen, strukturierte Daten und Links bei der Indexierung ignoriert werden.

Die Crawl-Größenbeschränkungen des Googlebots verstehen

Google dokumentiert offiziell spezifische Größenschwellenwerte für verschiedene Dateitypen. Wenn der Googlebot diese Grenzwerte erreicht, stoppt er den Download und verarbeitet nur den bereits abgerufenen Inhalt:

• HTML und unterstützte Dateien: Der Googlebot crawlt die ersten 2 MB des unkomprimierten Inhalts. Dies umfasst das HTML-Dokument selbst zusammen mit Inline-CSS und Inline-JavaScript. Externe Ressourcen (Stylesheets, Skripte, Bilder) werden separat abgerufen, jeweils mit eigenen Grenzwerten.
• PDF-Dateien: Der Googlebot crawlt die ersten 64 MB eines PDF-Dokuments. Obwohl dies ein großzügiges Limit ist, sollten sehr große PDF-Berichte oder Kataloge dennoch überprüft werden.

Diese Grenzwerte gelten für die unkomprimierte Inhaltsgröße, nicht für die komprimierte Übertragungsgröße, die Sie möglicherweise in Netzwerk-Tools sehen. Selbst wenn Ihr Server gzip-komprimierte Antworten sendet, misst der Googlebot die volle dekomprimierte Größe.

Warum die Seitengröße für SEO wichtig ist

Kürzung der Indexierung

Wenn Ihre Seite das Größenlimit überschreitet, ist alles jenseits des Schwellenwerts für Google unsichtbar. Dies kann Folgendes verursachen:

• Wichtige Hauptinhalte werden nicht indexiert
• Strukturierte Daten (JSON-LD Schemas) am Ende der Seite werden übersehen
• Interne Links im Footer oder in der unteren Navigation werden nicht entdeckt
• Rich Results und Suchfunktionen erscheinen nicht in den Suchergebnissen

Häufige Ursachen für zu große Seiten

• Übermäßiges Inline-CSS/JavaScript: Große Frameworks oder Komponenten-Bibliotheken, die direkt im HTML eingebettet sind
• Serverseitig gerenderter (SSR) Inhalt: SPAs, die große Datenmengen in das HTML serialisieren
• Lange Produktlistenseiten: E-Commerce-Kategorieseiten mit hunderten von Produkten
• Ausführliche HTML-Kommentare: Build-Tools, die große Kommentarblöcke einfügen
• Eingebettete Daten: Base64-kodierte Bilder oder große JSON-Daten im Quelltext

Wie dieses Tool funktioniert

1. Abruf mit Googlebot UA: Das Tool ruft Ihre URL mit dem offiziellen User-Agent-String des Googlebots ab und fordert unkomprimierten Inhalt an (Accept-Encoding: identity), um die wahre unkomprimierte Größe zu messen.
2. Dateityp erkennen: Es erkennt automatisch, ob die Antwort HTML oder PDF ist, und wendet den entsprechenden Grenzwert an (2 MB oder 64 MB).
3. Messen und Analysieren: Die unkomprimierte Inhaltsgröße wird gemessen und mit dem Grenzwert verglichen. Für HTML wird eine Aufschlüsselung von Inline-CSS, JavaScript und Kommentaren bereitgestellt.
4. Weiterleitungsverfolgung: Alle HTTP-Weiterleitungen (301, 302 usw.) werden erkannt und angezeigt, wobei die vollständige Weiterleitungskette von der ursprünglichen zur finalen URL dargestellt wird.

So reduzieren Sie die Seitengröße

Verschieben Sie Inline-Code in externe Dateien

Die effektivste Optimierung besteht darin, große Inline-Blöcke von <style> und <script> in externe CSS- und JavaScript-Dateien auszulagern. Jede externe Datei erhält ihr eigenes 2 MB Limit und wird vom Browser zwischengespeichert.

Unnötige Inhalte entfernen

• Entfernen Sie HTML-Kommentare aus Produktions-Builds
• Löschen Sie versteckte oder doppelte Inhaltsblöcke
• Minimieren Sie Inline-CSS und Inline-JavaScript
• Entfernen Sie ungenutzte Datenattribute und leere Elemente

Seitenstruktur optimieren

• Verwenden Sie Paginierung für lange Inhaltsseiten anstelle von Infinite Scroll
• Laden Sie Inhaltsbereiche unterhalb des sichtbaren Bereichs (Below-the-Fold) zeitversetzt
• Reduzieren Sie die DOM-Tiefe und die Anzahl der Elemente
• Verschieben Sie große Datenmengen an API-Endpunkte

So prüfen Sie Ihre Seitengröße gegen die Googlebot-Grenzwerte

1. Geben Sie Ihre URL ein: Tippen oder fügen Sie die vollständige URL der Seite, die Sie überprüfen möchten, in das Eingabefeld ein. Das Tool akzeptiert sowohl HTTP- als auch HTTPS-URLs.
2. Klicken Sie auf Crawl-Größe prüfen: Klicken Sie auf die Schaltfläche "Crawl-Größe prüfen". Das Tool ruft die Seite mit dem User-Agent-String des Googlebots ab und misst die unkomprimierte Inhaltsgröße.
3. Überprüfen Sie die Ergebnisse: Sehen Sie sich die visuelle Anzeige an, die Ihre Seitengröße im Verhältnis zum Limit zeigt, die Analyse der Inhaltsaufteilung und spezifische Empfehlungen zur Optimierung, falls erforderlich.

Häufig gestellte Fragen

Was sind die Crawl-Größenbeschränkungen des Googlebots?

Der Googlebot crawlt die ersten 2 MB von HTML und unterstützten Dateitypen (wie CSS und JavaScript). Bei PDF-Dateien crawlt der Googlebot die ersten 64 MB. Alle Inhalte außerhalb dieser Grenzen werden von Google möglicherweise nicht verarbeitet oder indexiert. Diese Grenzwerte beziehen sich auf die unkomprimierte Dateigröße, nicht auf die komprimierte Übertragungsgröße.

Was passiert, wenn meine Seite das Größenlimit des Googlebots überschreitet?

Wenn Ihre Seite das Crawl-Größenlimit überschreitet, verarbeitet der Googlebot nur die Inhalte innerhalb des Limits und ignoriert den Rest. Dies bedeutet, dass wichtige Inhalte, strukturierte Daten oder Links am Ende der Seite möglicherweise nicht indexiert werden. Dies kann zu unvollständiger Indexierung, fehlenden Suchfunktionen (wie Rich Results) und schlechter SEO-Performance führen.

Gilt das 2 MB Limit für komprimierte oder unkomprimierte Inhalte?

Das 2 MB Limit gilt für den unkomprimierten Inhalt. Selbst wenn Ihr Server komprimierte Antworten (gzip oder brotli) sendet, misst der Googlebot die unkomprimierte Größe nach der Dekomprimierung. Dieses Tool fordert unkomprimierte Inhalte an, um Ihnen eine genaue Messung dessen zu geben, was der Googlebot tatsächlich verarbeitet.

Wie kann ich meine Seitengröße reduzieren, um die Googlebot-Grenzwerte einzuhalten?

Um die Seitengröße zu reduzieren: (1) Verschieben Sie Inline-CSS in externe Stylesheets, (2) Verschieben Sie Inline-JavaScript in externe Dateien, (3) Entfernen Sie unnötige HTML-Kommentare, (4) Minimieren Sie die DOM-Tiefe und -Komplexität, (5) Nutzen Sie serverseitiges Rendering selektiv, (6) Laden Sie nicht kritische Inhalte zeitversetzt, (7) Entfernen Sie versteckte oder doppelte Inhalte, (8) Verwenden Sie Paginierung für sehr lange Inhaltsseiten.

Crawlt der Googlebot externe CSS- und JavaScript-Dateien separat?

Ja, der Googlebot ruft jede externe CSS-, JavaScript- und Bildressource einzeln ab. Jede externe Ressource hat ihr eigenes 2 MB Limit. Nur Inline-Styles und Skripte innerhalb des HTML-Dokuments zählen zum 2 MB Limit der Hauptseite. Deshalb ist das Auslagern von großem Inline-Code in externe Dateien eine effektive Optimierungsstrategie.

Zusätzliche Ressourcen

• Google Search Central - Googlebot Übersicht
• Google - Die Größe Ihrer Seiten reduzieren
• Googlebot - Wikipedia