Wat is robots.txt

Een robots.txt is een tekstbestand welke het mogelijk maakt om bepaalde delen of pagina's van de website af te schermen voor de crawlers van een zoekmachine. Dit bestand geeft aan hoever de zoekmachine robots door je website mogen gaan en welke pagina's niet opgenomen mogen worden in de zoekresultaten. Je wilt bijvoorbeeld niet dat je inlogpagina naar voren komt in een zoekmachine. Dit kun je dus uitsluiten in een robots.txt.

Daarnaast kan er ook in een robots.txt staan dat bepaalde webspiders de website niet mogen crawlen, zoals bijvoorbeeld Chinese zoekmachines. 

Robots.txt en SEO

Een fout in een robots.txt kan grote gevolgen hebben voor je website. Wanneer je per ongeluk een pagina uitsluit om gecrawld te worden, dan kan dat leiden tot minder websitebezoeken. Daarom wordt bij een SEO-check ook altijd gekeken naar wat er in de robots.txt staat. 

Daarnaast is het ook belangrijk om te weten dat een robots.txt geen pagina's uit zoekmachines verwijderd die al geïndexeerd zijn. Versies van de desbetreffende pagina staan al in de database van de zoekmachine en zullen dus nog getoond worden. Door de pagina op te nemen in de robots.txt voorkom je wel dat een pagina opnieuw geïndexeerd wordt.

Waar vind ik mijn robots.txt?

De robots.txt kan door iedereen bekeken worden. Houd er dus rekening mee wat je erin zet. Je kunt je robots.txt vinden door achter je URL /robots.txt te zetten. Zo vind je onze robots.txt door naar www.dima.nl/robots.txt te gaan.