Crawlen
SEO en AI-vindbaarheid
SEO en AI-vindbaarheid
Crawlen is het proces waarbij een zoekmachine je pagina's ophaalt door links te volgen. Zonder crawl geen index, en zonder index geen positie.
Een crawler start bij bekende URL's — uit je sitemap, uit links op je eigen site en uit links elders — en volgt van daaruit door. Hoeveel hij per bezoek ophaalt hangt af van de grootte, snelheid en betrouwbaarheid van je site.
Pagina's die nergens naartoe gelinkt zijn (verweesde pagina's) worden vaak niet of laat gevonden. Interne links zijn daarom niet alleen voor bezoekers.
Hoort hierbij
- IndexerenIndexeren is het opnemen van een gecrawlde pagina in de database van de zoekmachine. Alleen geïndexeerde pagina's kunnen in de resultaten verschijnen.
- robots.txtrobots.txt is een bestand in de hoofdmap van je site dat crawlers vertelt welke delen ze wel en niet mogen ophalen.
- SitemapEen XML-sitemap is een lijst van de URL's die je geïndexeerd wilt hebben, bedoeld voor zoekmachines.
- Technische SEOTechnische SEO is het deel van SEO dat gaat over vindbaarheid en leesbaarheid voor zoekmachines: crawlen, indexeren, snelheid, structuur en foutafhandeling.