SEO woordenlijst: Crawlbudget

Wat is het kruipbudget?

Als Google een specifiek crawlbudget definieert, stelt de zoekmachine zijn eigen limieten. Het maximum aantal subpagina's dat mag worden gecrawld, varieert van website tot website.

 

De vraag is hier hoe hoog de reputatie van een domein is. Hoe hoger deze is, hoe groter het maximale crawlbudget. Het crawlbudget bepaalt echter niet alleen het maximale aantal pagina's dat wordt gecrawld. Het bepaalt ook hoe vaak de subpagina's van een domein worden gecrawld en hoe diepgaand een individuele crawl wordt uitgevoerd.

 

 

Welke factoren beïnvloeden het kruipbudget?

Zoals al is uitgelegd, is onder andere de betrouwbaarheid van het domein van doorslaggevend belang voor de omvang van het kruipbudget. Maar er zijn ook andere belangrijke factoren die hier een rol spelen. Deze omvatten

 

• Pagina's met inhoud van lage kwaliteit en spam: Als Google pagina's ontdekt met inhoud van lage kwaliteit of zelfs spam, wordt het crawlbudget verlaagd. In sommige gevallen kan het crawlen zelfs helemaal worden gestopt.

 

• Dubbele inhoud: Om indexeren van te veel DUBBELE INHOUD Google neemt passende maatregelen om het indexeren van te veel dubbele inhoud te beperken. Hierdoor wordt het crawlen aanzienlijk verminderd.

 

• Harde en zachte fouten: als pagina's een fout weergeven, bieden ze gebruikers geen meerwaarde. Daarom probeert Google dergelijke pagina's uit de index te weren. Als er te veel harde of zachte 404-foutmeldingen optreden, kan het crawlbudget worden verlaagd.

 

• Sessie-ID's en gefacetteerde navigatie: Als pagina's met sessie-ID's werken, leiden ze vaak tot dubbele inhoud. Gefacetteerde navigatie biedt gebruikers de mogelijkheid om producten te categoriseren op basis van bijvoorbeeld aanvullende criteria. Zo kunnen bijvoorbeeld kleur en grootte worden aangepast. Google ziet hier weinig toegevoegde waarde, dus het crawlbudget wordt verlaagd.

 

Welke betekenis heeft het crawlbudget voor zoekmachineoptimalisatie?

Websitebeheerders wordt aangeraden hun pagina's regelmatig te controleren. Dit maakt het mogelijk om bots te controleren en het crawlbudget dienovereenkomstig aan te passen.

 

Als een domein bijvoorbeeld veel subpagina's bevat met 404-fouten of inhoud van lage kwaliteit, moet er een kruipoptimalisatie worden uitgevoerd. Als alle optimalisaties zijn uitgevoerd, kan de ranking verbeteren.