Je site door de ogen van een webcrawler
Wat is een webcrawler? Een webcrawler is simpel gezegd een software programma van een zoekmachine. Het doel van dit programma is het automatisch bezoeken van een lijst URL’s. Een crawler heeft daarbij verschillende doelen. Het kan bijvoorbeeld via links nieuwe content ontdekken. Of de crawler controleert of eerder geïndexeerde content nog bestaat. Voor zoekmachine optimalisatie is het belangrijk dat de crawler in staat is om alle content op je website te indexeren. Daarnaast wil je dat een crawler vaak genoeg langskomt om nieuwe content op te pikken.