Sitemap en robots.txt: wat ze doen en hoe je ze goed inzet

Sitemap en robots.txt: wat ze doen en hoe je ze goed inzet

Twee bestanden op je website bepalen hoe zoekmachines je site verkennen: de sitemap en robots.txt. Ze klinken technisch, maar hun rol is simpel. De sitemap is de plattegrond van je site: een lijst van alle pagina's die je gevonden wilt hebben. Robots.txt is de huisregel bij de voordeur: het vertelt zoekmachines welke delen van je site ze niet hoeven te bekijken. Op de meeste moderne websites staan beide automatisch goed, maar een verkeerde instelling kan je hele site onvindbaar maken. Reden genoeg om te snappen wat ze doen en het even te controleren.

De sitemap: je plattegrond voor Google

Een sitemap is een bestand, meestal te vinden op jouwdomein.nl/sitemap.xml, met daarin alle pagina's van je site en wanneer ze voor het laatst gewijzigd zijn. Google gebruikt die lijst om niets te missen en om te weten welke pagina's opnieuw bekeken moeten worden. Vooral handig bij nieuwe sites, grote sites en pagina's waar weinig links naartoe wijzen. Zonder sitemap wordt je site heus wel gevonden via links, maar met sitemap gaat het sneller en vollediger. Zie het als het verschil tussen iemand je huis laten ontdekken en iemand een plattegrond in handen drukken.

Zo krijg en controleer je een sitemap

Zelf bouwen hoeft vrijwel nooit:

• WordPress: SEO-plugins als Yoast en Rank Math genereren automatisch een sitemap die zichzelf bijwerkt.
• Websitebouwers: Wix, Squarespace, Webflow en vergelijkbare platforms maken er standaard een aan.
• Controleren: typ jouwdomein.nl/sitemap.xml in je browser. Zie je een lijst met pagina's of deelsitemaps, dan werkt het.
• Aanmelden: dien de sitemap één keer in bij Google Search Console onder het kopje sitemaps. Daarna houdt Google hem zelf in de gaten.

Let er wel op wat erin staat. Een goede sitemap bevat alleen pagina's die je echt in Google wilt: geen bedanktpagina's, testpagina's of oude versies. Hoe schoner de lijst, hoe serieuzer Google hem neemt.

Robots.txt: de huisregels voor crawlers

Het bestand robots.txt staat altijd op jouwdomein.nl/robots.txt en vertelt zoekmachines welke mappen of pagina's ze mogen overslaan. Handig voor delen van je site die geen zoekverkeer nodig hebben, zoals een inlogomgeving of interne zoekresultaten. Twee misverstanden zijn belangrijk om te kennen. Ten eerste: robots.txt is een verzoek om niet te crawlen, geen garantie dat een pagina uit Google blijft. Wil je een pagina echt uit de zoekresultaten houden, gebruik dan een noindex-instelling. Ten tweede: robots.txt is geen beveiliging. Iedereen kan het bestand bekijken, dus zet er nooit iets in dat geheim moet blijven. Voor de meeste mkb-sites is de beste robots.txt dan ook een hele korte, die vrijwel alles toestaat en verwijst naar de sitemap.

De fout die je hele site onzichtbaar maakt

De gevaarlijkste regel in robots.txt is een blokkade van de hele site. Die staat vaak aan tijdens het bouwen van een nieuwe site, en wordt bij de livegang soms vergeten. Het gevolg: Google mag nergens kijken en je verdwijnt langzaam uit de zoekresultaten. Controleer daarom na elke sitevernieuwing je robots.txt. Zie je daar een regel die alles blokkeert, met een uitsluiting op de hoofdmap, dan moet die er direct uit. Ook Search Console waarschuwt hiervoor onder het kopje pagina's.

Vijf minuten controle, jaren rust

De praktijk voor een mkb-site is gelukkig overzichtelijk: controleer dat je sitemap bestaat en is aangemeld bij Search Console, en controleer dat robots.txt niets blokkeert wat vindbaar moet zijn. Daarna heb je er in principe geen omkijken meer naar, tot de volgende sitevernieuwing. Freqnt SEO neemt deze controle mee in de maandelijkse analyse van je site en waarschuwt zodra een van beide bestanden je vindbaarheid in de weg zit. Zo voorkom je dat een onzichtbaar bestand van twee regels al je andere SEO-werk tenietdoet.