TELEFON +49 (0) 176 204 801 64    EMAIL hallo@timospecht.de
Was ist das Crawl Budget? und sein Einfluss auf dein SEO

crawl budget

was das Crawl budget ist und wie es die Suchmaschinenoptimierung beeinflusst von Timo Specht erklärt

Das Crawl Budget ist eine bestimmte Anzahl an Seiten, die maximal in einem bestimmten Zeitraum von Google gecrawlt werden. Je populärer eine Seite ist, desto mehr Crawl Budget wird ihr zugewiesen.

was ist Crawl budget?

Definiert Google ein bestimmtes Crawl Budget, legt die Suchmaschine ihre eigenen Grenzwerte fest. So ist die Anzahl maximal zu crawlender Unterseiten von Website zu Website unterschiedlich.

Hierbei ist die Frage, wie hoch die Reputation einer Domain ist. Je höher diese ausfällt, desto größer ist auch das maximale Crawl Budget. Doch nicht nur die maximale zu crawlende Anzahl der Seiten ist im Crawl Budget festgelegt. Darüber hinaus bestimmt es auch, wie häufig die Unterseiten einer Domain gecrawlt werden und wie tiefgründig ein einzelner Crawl durchgeführt wird.

welche faktoren beeinflussen das Crawl Budget?

Wie bereits erläutert, ist bei der Größe vom Crawl Budget unter anderem die Vertrauenswürdigkeit der Domain von entscheidender Bedeutung. Aber es gibt auch noch andere wichtige Faktoren, die hierbei eine Rolle spielen. Dazu zählen:

  • Minderwertige Inhalte und Spam-Seiten: Entdeckt Google Seiten mit minderwertigen Inhalten oder hier befindet sich sogar Spam, wird das Crawl Budget heruntergefahren. In einigen Fällen kann es sogar dazu kommen, dass das Crawling vollständig eingestellt wird.
  • Duplicate Content: Um die Indexierung von zu viel Duplicate Content zu reduzieren, ergreift Google entsprechende Maßnahmen. Folglich kommt es dazu, dass das Crawling deutlich reduziert wird.

  • Hard und Soft Errors: Zeigen Seiten einen Fehler an, bieten sie Nutzern keinen Mehrwert. Aus diesem Grund ist Google darum bemüht, derartige Seiten aus dem Index zu verbannen. Treten zu viele harte oder softe 404-Fehlermeldungen auf, kann das Crawl Budget reduziert werden.
  • Session-IDs und facettierte Navigation: Arbeiten Seiten mit Session-IDs, führen sie oftmals zu doppelten Inhalten (Duplicate Content). Eine facettierte Navigation bietet Nutzern die Möglichkeit, beispielsweise Produkte in weitere Kriterien zu unterteilen. So lassen sich unter anderem Farbe und Größe anpassen. Seitens Google liegt hier wenig Mehrwert vor, sodass das Crawl Budget reduziert wird.

welche bedeutung hat das crawl budget auf die suchmaschinenoptimierung?

Websitebetreibern ist anzuraten, in regelmäßigen Abständen ihre Seiten unter die Lupe zu nehmen. Somit besteht die Möglichkeit, Bots zu steuern und dementsprechend auch das Crawl Budget anzupassen. 

Enthält eine Domain beispielsweise viele Unterseiten mit 404 Fehlern oder minderwertigen Content, ist eine Crawl Optimization durchzuführen. Wurden sämtliche Optimierungen durchgeführt, kann sich anschließend das Ranking verbessern.

FAZIT ZUM THEMA Crawl budget

Die Suchmaschine Google legt beim Crawl Budget fest, wie viele Seiten einer Domain maximal gecrawlt werden. Um eine Optimierung in diesem Bereich durchzuführen, sollten Websitebetreiber Inhalte mit Mehrwert anbieten und serverseitige 404 Fehler vermeiden. Dadurch senden sie Suchmaschinen positive Signale, was zu einem besseren Ranking führen kann.