Wat is robots.txt?

Robots.txt is een simpel tekstbestand in de hoofdmap van je website (voorbeeld.nl/robots.txt) dat zoekmachine-crawlers vertelt welke delen van je site ze wel en niet mogen bezoeken. Het is het eerste bestand dat een crawler zoals Googlebot opvraagt voordat hij verder je site induikt.

Hoe het eruitziet

Een basaal robots.txt-bestand bevat regels zoals User-agent: * (geldt voor alle crawlers), gevolgd door Disallow: /admin/ (blokkeer dit pad) of Allow: / (sta alles toe). Vaak staat er ook een verwijzing naar de XML-sitemap onderaan, zodat crawlers meteen weten waar ze de volledige lijst met pagina's kunnen vinden.

Wat het wel en niet doet

Robots.txt houdt beleefde crawlers tegen, het is geen beveiligingsmaatregel. Een pagina die je via robots.txt blokkeert kan trouwens nog steeds in Google's zoekresultaten verschijnen (zonder omschrijving) als er ergens naar gelinkt wordt, want blokkeren via robots.txt voorkomt crawlen, niet per se indexeren. Wil je een pagina echt uit de zoekresultaten houden, gebruik dan een noindex-tag in plaats van (of naast) robots.txt.

De meestgemaakte fout

Per ongeluk de hele site blokkeren met Disallow: /, vaak overgebleven uit een testomgeving die per abuis mee live is gegaan. Het gevolg: Google stopt met crawlen en je site verdwijnt geleidelijk uit de zoekresultaten, zonder directe foutmelding die je erop wijst. Controleer na elke grote site-launch of migratie altijd of robots.txt nog het juiste toestaat.

SiteLens signaleert een plotselinge daling in organisch verkeer, vaak het eerste zichtbare teken van een per ongeluk geblokkeerde site. Start een gratis proefperiode van 14 dagen.

Verwante termen

Wat is een XML-sitemap? · Wat is indexeren? · Wat is crawlbudget?