Kurz und knapp: Was ist das Crawl-Budget?
Das Crawl-Budget ist eine bestimmte Anzahl an Seiten, die maximal in einem bestimmten Zeitraum von Google gecrawlt werden. Je populärer eine Seite ist, desto mehr Crawl-Budget wird ihr zugewiesen.
Was ist das Crawl-Budget?
Definiert Google ein bestimmtes Crawl-Budget, legt die Suchmaschine ihre eigenen Grenzwerte fest. So ist die Anzahl maximal zu crawlender Unterseiten von Website zu Website unterschiedlich.
Hierbei ist die Frage, wie hoch die Reputation einer Domain ist. Je höher diese ausfällt, desto größer ist auch das maximale Crawl-Budget. Doch nicht nur die maximale zu crawlende Anzahl der Seiten ist im Crawl-Budget festgelegt. Darüber hinaus bestimmt es auch, wie häufig die Unterseiten einer Domain gecrawlt werden und wie tiefgründig ein einzelnes Crawl durchgeführt wird.
- Kostenloses
SEO Strategiegespräch
In einem kostenlosen SEO Strategiegespräch, decken wir ungenutzte Potenziale auf und erarbeiten eine Strategie, damit Du auf Google erfolgreicher wirst.
- Mehr organische Sichtbarkeit
- Mehr organische Besucher auf Deiner Webseite
- Mehr Anfragen & Verkäufe
Welche Faktoren beeinflussen das Crawl-Budget?
Wie bereits erläutert, ist bei der Größe vom Crawl-Budget unter anderem die Vertrauenswürdigkeit der Domain von entscheidender Bedeutung. Aber es gibt auch noch andere wichtige Faktoren, die hierbei eine Rolle spielen. Dazu zählen:
- Minderwertige Inhalte und Spam-Seiten: Entdeckt Google Seiten mit minderwertigen Inhalten oder hier befindet sich sogar Spam, wird das Crawl-Budget heruntergefahren. In einigen Fällen kann es sogar dazu kommen, dass das Crawling vollständig eingestellt wird.
- Duplicate Content: Um die Indexierung von zu viel DUPLICATE CONTENT zu reduzieren, ergreift Google entsprechende Maßnahmen. Folglich kommt es dazu, dass das Crawling deutlich reduziert wird.
- Hard und Soft Errors: Zeigen Seiten einen Fehler an, bieten sie Nutzern keinen Mehrwert. Aus diesem Grund ist Google darum bemüht, derartige Seiten aus dem Index zu verbannen. Treten zu viele harte oder softe 404-Fehlermeldungen auf, kann das Crawl-Budget reduziert werden.
- Session-IDs und facettierte Navigation: Arbeiten Seiten mit Session-IDs, führen sie oftmals zu doppelten Inhalten (Duplicate Content). Eine facettierte Navigation bietet Nutzern die Möglichkeit, beispielsweise Produkte in weitere Kriterien zu unterteilen. So lassen sich unter anderem Farbe und Größe anpassen. Seitens Google liegt hier wenig Mehrwert vor, sodass das Crawl-Budget reduziert wird.
Welche Bedeutung hat das Crawl-Budget für die Suchmaschinenoptimierung?
Websitebetreibern ist anzuraten, in regelmäßigen Abständen ihre Seiten unter die Lupe zu nehmen. Somit besteht die Möglichkeit, Bots zu steuern und dementsprechend auch das Crawl-Budget anzupassen.
Enthält eine Domain beispielsweise viele Unterseiten mit 404 Fehlern oder minderwertigen Content, ist eine Crawl Optimization durchzuführen. Wurden sämtliche Optimierungen durchgeführt, kann sich anschließend das Ranking verbessern.
- Ich bin einer der führenden SEO Experten Deutschlands
Ich bin bekannt aus großen Medien wie Stern, GoDaddy, Onpulson & dem Frühstücksfernsehen und habe bereits über 100+ namenhafte Kunden auf Google erfolgreich gemacht.
Google Bewertung
Basierend auf 185 Bewertungen
Trustpilot Bewertung
Basierend auf 100 Bewertungen
Fazit: Was ist Crawl-Budget?
Die Suchmaschine Google legt beim Crawl-Budget fest, wie viele Seiten einer Domain maximal gecrawlt werden. Um eine Optimierung in diesem Bereich durchzuführen, sollten Websitebetreiber Inhalte mit Mehrwert anbieten und serverseitige 404 Fehler vermeiden. Dadurch senden sie Suchmaschinen positive Signale, was zu einem besseren Ranking führen kann.