robots.txt

Robots.txt is een tekstbestand dat je in de hoofdmap van je website plaatst om zoekmachines te instrueren welke delen van je site ze wel of niet mogen indexeren. Het bestand werkt als een toegangscontrole: elke zoekmachine-bot leest dit bestand voordat hij pagina's gaat crawlen. Voor MKB-bedrijven is robots.txt vooral relevant om crawlbudget efficiënt te sturen, gevoelige pagina's af te schermen en technische SEO-problemen te voorkomen.

How robots.txt works in practice

When a search engine such as Google visits your website, the bot first checks to see if a robots.txt file exists at jouwdomein.nl/robots.txt. In that file are lines with 'User-agent' (which bot), 'Disallow' (do not crawl) and 'Allow' (do crawl). For example, a typical rule is 'User-agent: * / Disallow: /wp-admin/', meaning all bots should skip the WordPress administration pages. The file is publicly readable, so anyone can see which parts you're shielding. That makes it not a security measure, but an efficiency tool. Google Developers publishes the official specification and best practices on their robots.txt documentation.

Why robots.txt came into being and why it still matters today

The Robots Exclusion Protocol originated in 1994 as an informal agreement between Web site owners and search engines to save bandwidth and respect privacy. At the time, servers were slow and crawlers aggressive. Today it is still relevant because Google allocates a limited crawl budget per site. If you have 500 product pages but Google crawls mostly your filter and sort pages, you're wasting that budget. With robots.txt, you direct the bot to what really matters. In addition, you prevent internal search results, test environments or thank-you pages from ending up in the index, reducing your duplicate content risk.

What robots.txt brings to technical SEO

In de praktijk zien we bij MKB-klanten vaak dat een goed ingestelde robots.txt drie directe voordelen biedt. Ten eerste: snellere indexatie van nieuwe content, omdat Google zijn crawlbudget besteedt aan relevante pagina's in plaats van aan paginering of filters. Ten tweede: minder ruis in Search Console, omdat je geen meldingen krijgt over geblokkeerde CSS of irrelevante URL's. Ten derde: betere controle over wat wel en niet vindbaar is, bijvoorbeeld door een staging-omgeving of klantportaal buiten de index te houden. Een doordachte SEO-strategie begint vaak met het opschonen van de robots.txt, zodat crawlers efficiënt je site kunnen verkennen en de juiste pagina's prioriteren.

Now that you know what robots.txt is and how it works, let's look at actual situations in which SMBs deploy this file. The power is not in blocking everything, but in strategically steering search engines to the pages that bring conversion and avoiding pages that only cause noise.

Send crawl budget to commercial pages

Een webshop met 800 producten en 50 filtercombinaties per categorie kan snel duizenden URL's genereren. Google crawlt niet alles in één keer. Door in robots.txt filter-URL's, sorteringen en paginering te blokkeren, dwing je de bot om eerst productpagina's en categorieën te indexeren. In de praktijk merken we dat webshops hierdoor binnen twee weken nieuwe producten sneller in de index krijgen. Een voorbeeld: een tuincentrum in Gelderland blokkeerde alle URL's met '?orderby=' en '?filter_kleur=', waardoor Google zijn budget verschoof naar seizoensproducten. Resultaat: 30% snellere indexatie van nieuwe artikelen tijdens het voorjaarsseizoen. Let op: blokkeer nooit je hoofdcategorieën of belangrijke landingspagina's, want dan verdwijn je uit Google.

Shield internal search results and thank you pages

Veel bedrijven hebben een zoekfunctie op hun site die URL's genereert zoals '/zoeken/?q=tuinstoelen'. Als Google die pagina's indexeert, concurreer je met je eigen productpagina's en lever je een slechte gebruikerservaring. Hetzelfde geldt voor dankpagina's na een formulier of bestelling: die zijn bedoeld voor één bezoeker, niet voor organisch verkeer. Door 'Disallow: /zoeken/' en 'Disallow: /bedankt/' in je robots.txt op te nemen, houd je die pagina's buiten de index. Een B2B-dienstverlener in Nijmegen zag zijn bounce rate dalen met 12% nadat hij interne zoekresultaten blokkeerde, omdat bezoekers niet meer op lege zoekpagina's landden via Google. Vergeet niet om ook je XML-sitemap te controleren: geblokkeerde URL's horen daar niet in.

Staging environments and test pages off index

Ontwikkelaars werken vaak op een subdomain zoals staging.jouwbedrijf.nl of in een map zoals /test/. Als die omgeving geen wachtwoordbeveiliging heeft, kan Google hem indexeren. Dat leidt tot duplicate content en verwarring bij bezoekers die per ongeluk op de testversie landen. Door op je staging-omgeving een aparte robots.txt te plaatsen met 'User-agent: * / Disallow: /', blokkeer je alle bots. Een andere aanpak is om in je live robots.txt de map '/dev/' of '/staging/' te blokkeren. Bij webprojecten van Monkey Vision standaardiseren we dit: elke staging-omgeving krijgt een volledige Disallow, zodat klanten nooit in de problemen komen met dubbele indexatie tijdens de bouwfase.

When robots.txt is the right choice and when it is not

Robots.txt is suitable for pages that you do not want crawled but do not contain sensitive information. The file is publicly readable, so anyone can see which folders you are blocking. Want to really secure a page? Then use password protection or a noindex meta tag in combination with access control. Robots.txt is also not suitable if you want to completely remove a page from the index that is already indexed: then you need a noindex tag or a 410 status code. In practice, you often see companies use robots.txt for privacy-sensitive URLs, but that's a misconception. Google respects the block, but the URL can still appear in the index if external links point to it. In short: robots.txt directs crawlers, but does not guarantee privacy or complete deindexation.