Crawlbudget verhogen: wat is het en hoe werkt het?

Als je al een tijdje met SEO bezig bent, heb je waarschijnlijk wel eens gehoord van zowel het crawlbudget als het crawlbudgetoptimalisatie. Hoe vaak je website bezocht en gecrawld wordt, en welke pagina er geïndexeerd worden, is deels afhankelijk van je crawlbudget. Want hoe vervelend is het nu dat Google je pagina’s niet bekijkt? Daarom is het belangrijk om van tijd tot tijd je crawlbudget onder de loep te nemen en te optimaliseren.

Wat is het crawlbudget?

Het crawlbudget van Google is het budget dat de zoekmachine gebruikt om een ​​website te crawlen. Het beschrijft hoe vaak of het aantal keren dat Google besluit om de pagina’s op je website te bezoeken. Met andere woorden: het crawlbudget is het aantal urls dat Googlebot kan en wil crawlen.

Google gaat altijd proberen om alle urls te crawlen die je aan de zoekmachine presenteert. Het is aan jou om die zoektocht zo gemakkelijk mogelijk te maken. Want hoe makkelijker je hele website te crawlen is, des te groter de kans dat je pagina’s geïndexeerd worden.

Je kan crawlbudget het best vergelijken met een bezoek aan een museum. Je hebt een kaart met de route en wat je waar kunt vinden, er zijn verschillende kamers met schilderijen, en je hebt een beperkt aantal uur om je bezoek af te ronden. Je kunt er immers niet tot ’s nachts rondlopen. 😉 Hoe besteed je je tijd dan het best zodat je het meest uit je bezoek haalt?

Als Google bezig is met veel irrelevante bestanden en pagina’s, is er mogelijk niet genoeg budget over voor de juiste en meest belangrijke pagina’s. 

Waarom is het crawlbudget belangrijk?

• Je wilt dat Google zoveel mogelijk indexeerbare pagina’s kan vinden en begrijpen;
• Je wilt dat Google dit doet in z’n kort mogelijke tijd;
• Je wilt dat Google nieuwe pagina’s sneller ontdekt:
• Je wilt dat Google oude/huidige pagina’s sneller update;
• Als je crawlbudget verspilt, kan Google je website niet efficiënt crawlen.

Wanneer moet je het crawlbudget optimaliseren?

Het crawlbudget is iets waar kleinere websites zich meestal geen zorgen over hoeven te maken. Hoe meer urls je website heeft, des te meer je rekening moet houden met dat crawlbudget.

Het crawlbudget heeft daarom vooral impact op grote website of webshops met veel categorieën en 1000+ productpagina’s.

Als je merkt dat het lang duurt voordat nieuwe pagina’s of gewijzigde pagina’s geïndexeerd of geüpdate worden, dan is het zinvol om naar je crawlbudget te kijken.

Hoe controleer je dat crawlbudget?

Om je crawlbudget te verhogen, moet je allereerst weten waar het aan gespendeerd worden. Dat doe je door je website op een aantal manier te checken:

• Via de log-bestanden
• Via de search console

En hoewel het handig is om een Log file handmatig te kunnen lezen, zijn er veel tools die dat werk voor je uit handen kunnen nemen. De tool Screaming Frog maakt het bijvoorbeeld mogelijk om zo’n bestand uit te lezen, zodat jij weet welke pagina’s wel en niet veel aandacht van Googlebot krijgen.

In Search Console kun je de crawlstatistieken ook bekijken. Dat doe je via Instellingen > Crawlstatistieken. Als je dat rapport opent zie je alle crawlverzoeken van afgelopen tijd.

Hoe beïnvloed je het crawlbudget?

Er zijn een aantal onderdelen op de website die je kunt opschonen of optimaliseren om Google efficiënter te laten crawlen:

• Ruim je sitemap regelmatig op;
• Zorg dat alle interne links werken;
• Check of alle  belangrijke pagina’s meer interne links krijgen;
• Voorkom redirect chains;
• Zorg dat je server snel is;
• Blokkeer url paden via robots.txt als die niet relevant zijn;
• Voorkom soft 404 errors – die worden in tegenstelling tot de absolute 404 of 410 nog steeds bezocht;
• Elimineer duplicate content;
• Zorg voor een actieve website waar content regelmatig wordt toegevoegd of gewijzigd.