Wat is crawlbudget?
Crawlbudget is het aantal pagina's dat Google's crawler binnen een bepaalde periode van jouw website bezoekt en verwerkt. Google heeft niet oneindig veel tijd om elke website ter wereld continu te doorzoeken, dus verdeelt het zijn aandacht op basis van de grootte, populariteit en technische gezondheid van een site.
Voor wie dit relevant is, en voor wie niet
Voor de meeste kleine tot middelgrote websites, tot een paar honderd pagina's, is crawlbudget nauwelijks een probleem. Google crawlt dat soort sites ruim vaak genoeg om nieuwe of gewijzigde content op tijd op te pikken. Crawlbudget wordt pas een serieus aandachtspunt bij grote sites: webshops met duizenden productpagina's, nieuwssites die dagelijks publiceren, of sites met veel dynamisch gegenereerde URL's (filters, zoekresultaten, gepagineerde lijsten).
Hoe je crawlbudget verspilt
Elke pagina die Google crawlt kost budget, ook pagina's die je eigenlijk niet geïndexeerd wil hebben: dubbele content door URL-parameters, lege filterresultaten, oude staging-pagina's die per ongeluk toegankelijk bleven, of een oneindige hoeveelheid gegenereerde combinaties. Elke minuut die Google besteedt aan het crawlen van waardeloze pagina's, is een minuut die niet gaat naar je pagina's die er wel toe doen.
Hoe je crawlbudget efficiënter benut
Blokkeer onnodige pagina's via robots.txt of een noindex-tag, zorg voor een schone en actuele sitemap.xml die alleen de pagina's bevat die je wil laten indexeren, en los gebroken links en redirect-ketens op: elke omleiding kost extra crawl-tijd. Bij grotere sites helpt het ook om interne links strategisch in te zetten, pagina's die vanuit veel andere pagina's gelinkt worden, worden vaker en sneller opnieuw gecrawld.
SiteLens laat via Search Console zien welke pagina's Google heeft geïndexeerd en met welke status, zodat je snel ziet of er ruis in je crawlbudget zit. Start een gratis proefperiode van 14 dagen.