Screaming Frog: je site doorlopen zoals Google dat doet

Screaming Frog SEO Spider is een programma dat je website doorloopt zoals Google dat doet. Het bezoekt elke pagina, volgt elke link en geeft je een overzicht van wat er technisch mis is: kapotte links, ontbrekende titels, dubbele content, doorverwijzingen, trage of te grote bestanden. Het draait op je eigen computer (Windows, Mac of Linux) en is in de basis gratis.

In tegenstelling tot cloudtools die periodiek over je site kruipen, start jij zelf een crawl wanneer je wilt. Dat maakt het ideaal voor gerichte controles: vlak voor een lancering, na een migratie, of als je twijfelt of een wijziging in je thema iets heeft stukgemaakt.

Wat Screaming Frog vindt

Hoe een crawl precies werkt

Screaming Frog begint bij de URL die je invult en volgt vervolgens elke link die het tegenkomt, net als een zoekmachine. Het onderscheidt interne links (binnen je domein) en externe links (naar andere sites), en checkt bij elke link de statuscode. Je kunt de spider ook los laten op een lijst URL's in plaats van een hele site, bijvoorbeeld om snel te checken of honderd specifieke pagina's nog bestaan na een migratie.

Standaard respecteert de tool je robots.txt en volgt het geen links die daar zijn uitgesloten, net als Google. Je kunt dat uitzetten als je juist wilt zien wat er achter die blokkade zit, bijvoorbeeld om te controleren of je per ongeluk belangrijke pagina's hebt afgeschermd.

Gratis versus betaald

De betaalde licentie is per gebruiker per jaar. Voor een kleine site van een paar honderd pagina's is gratis vaak genoeg. Voor webshops en grotere sites betaalt de licentie zich snel terug, al was het alleen om crawls te kunnen vergelijken: zie je na een release ineens 40 nieuwe 404's, dan wil je weten of dat door de release komt.

Wanneer je het gebruikt

• Voor en na een migratie. Crawl de oude site, maak een redirectlijst, crawl de nieuwe en controleer dat alles klopt. Zie WordPress-migratie en Shopify-migratie.
• Periodieke check. Eens per kwartaal kapotte links en ontbrekende titels opsporen, ook als er verder niets is veranderd: links naar externe sites verlopen vanzelf.
• Na een nieuwe release of thema. Controleren of er niet ineens noindex-tags of rare canonicals zijn verschenen. Dit gaat vaker mis dan je zou denken, bijvoorbeeld als een staging-instelling per ongeluk mee live gaat.
• Bij concurrentieonderzoek. Structuur en titels van een andere site bekijken (met respect voor hun server: zet de crawlsnelheid laag).
• Voor contentaudits. Een export van alle titels en word counts geeft snel zicht op dunne pagina's die je kunt samenvoegen of verwijderen.
• Bij internationale sites. Hreflang-tags controleren op fouten, bijvoorbeeld een Nederlandse pagina die naar zichzelf verwijst als Engelse variant.

Zo werk je ermee

1. Vul de URL van je site in en klik op Start.
2. Bekijk in de tabbladen Response Codes, Page Titles, Meta Description, Images en Directives de belangrijkste meldingen.
3. Gebruik het tabblad Issues voor een geprioriteerde lijst met uitleg per probleem.
4. Exporteer naar Excel of Google Sheets en verdeel het werk over je team of bureau.
5. Fix eerst wat bezoekers en Google het meest raakt: kapotte links op belangrijke pagina's, verkeerde noindex, doorverwijzingsketens.
6. Draai na de fixes een nieuwe crawl om te checken of de problemen echt zijn opgelost.

Een praktijkvoorbeeld: webshop na een platformwissel

Een webshop stapt over van het ene platform naar het andere. Vóór de livegang crawl je de oude site volledig en bewaar je alle URL's. Na de livegang crawl je de nieuwe site en vergelijk je de lijsten: welke oude URL's geven nu een 404 in plaats van een redirect? Dat voorkomt dat je verkeer en rankings kwijtraakt op productpagina's die al jaren linkwaarde hebben opgebouwd.

Een praktijkvoorbeeld: B2B-site met een nieuw thema

Een B2B-dienstverlener vernieuwt het thema van de site. Na livegang blijkt dat het nieuwe thema automatisch een noindex-tag toevoegt aan pagina's zonder uitgelichte afbeelding. Zonder een crawl was dat waarschijnlijk pas na weken opgevallen, als het verkeer al was weggezakt.

Veelgemaakte fouten

• Alles als even urgent behandelen. Honderd meldingen van "titel iets te lang" zijn minder belangrijk dan vijf kapotte links op je homepage.
• Vergeten dat JavaScript-content niet wordt gezien zonder rendering. Bouwt je site pagina's op met JavaScript, dan ziet de gratis of niet-renderende crawl een lege pagina.
• Een drukke server onbedoeld platleggen. Bij een zwakke hosting kan een snelle crawl de site vertragen voor echte bezoekers.
• Geen voor-crawl maken bij een migratie. Zonder een crawl van de oude site weet je niet welke URL's een redirect nodig hebben.
• De Issues-tab negeren. Deze geeft automatisch prioriteit aan wat je eerst zou moeten oppakken.

Wanneer je het niet gebruikt

Voor een site van vijf pagina's zonder historie is een uitgebreide technische crawl al snel overkill; een snelle handmatige check volstaat. Ook als je site volledig op een gesloten platform draait waar je geen technische instellingen kunt aanpassen (bijvoorbeeld sommige eenvoudige site-bouwers), heb je weinig aan de bevindingen: je kunt de problemen toch niet oplossen.

Hoe het samenwerkt met andere tools

Screaming Frog laat zien wat er op je site staat; Search Console laat zien wat Google ermee doet en hoe je site wordt geïndexeerd. Je combineert ze: Screaming Frog vindt bijvoorbeeld een pagina met een noindex-tag, Search Console bevestigt dat die pagina inderdaad niet is geïndexeerd. Voor structured data kijk je naar de melding in Screaming Frog en test je de daadwerkelijke uitvoer op de pagina, zie structured data. Voor sitesnelheid vul je de technische crawl aan met een losse check via Google PageSpeed Insights, dat dieper ingaat op laadtijd per pagina.

Alternatieven

Sitebulb (visueler, ook desktop), de site-audits in Semrush en Ahrefs (in de cloud, onderdeel van een groter pakket) en de gratis Ahrefs Webmaster Tools voor je eigen site. Sitebulb is vaak makkelijker te lezen voor wie niet dagelijks met technische SEO bezig is; Screaming Frog is flexibeler met custom extraction voor wie precies wil weten waar iets op de pagina staat. Lees ook onze vergelijking van SEO-tools: Semrush, Ahrefs en Mangools.

Logfile-analyse als aanvulling

Screaming Frog heeft ook een losse Log File Analyser die logbestanden van je server inleest en laat zien welke pagina's Googlebot daadwerkelijk bezoekt, en hoe vaak. Dat is waardevoller dan een gewone crawl om te zien of Google je belangrijkste pagina's wel regelmatig langskomt, of juist tijd verspilt aan pagina's die er niet toe doen.

Rapporteren naar je team of opdrachtgever

Een export vol technische termen zegt een opdrachtgever vaak weinig. Vertaal de bevindingen naar impact: niet "214 pagina's missen een meta description" maar "214 pagina's tonen nu een willekeurige tekst in Google in plaats van een pakkende omschrijving, dat kost je klikken". Groepeer per prioriteit (kritiek, belangrijk, nice-to-have) en voeg bij elk punt een concrete actie toe: wie past wat aan, en hoe check je of het is opgelost.

Crawlbudget en grote sites

Bij sites met duizenden pagina's speelt crawlbudget een rol: Google besteedt niet oneindig veel tijd aan het doorlopen van je site. Screaming Frog helpt je zien welke pagina's crawl-tijd verspillen, bijvoorbeeld eindeloze gefilterde URL's in een webshop die allemaal bijna dezelfde content tonen. Door die te blokkeren via robots.txt of canonicals te zetten naar de hoofdversie, houd je meer crawlbudget over voor de pagina's die er echt toe doen.

Veelgestelde vragen over Screaming Frog

Is Screaming Frog gratis?

Ja, tot 500 URL's per crawl met de basisfuncties. Voor grotere sites en extra functies zoals het opslaan van crawls en JavaScript-rendering koop je een jaarlicentie.

Is Screaming Frog moeilijk?

De basis is goed te doen: URL invullen, crawlen, de Issues-tab bekijken. De geavanceerde functies, zoals custom extraction en het combineren van meerdere databronnen, vragen wel wat SEO-kennis.

Werkt Screaming Frog op een Mac?

Ja, er zijn versies voor Windows, macOS en Linux.

Kan Screaming Frog mijn site beschadigen?

Nee, het leest alleen en verandert niets aan je site. Op een zwakke server kan een snelle crawl de site wel tijdelijk vertragen; verlaag dan de crawlsnelheid in de instellingen.

Wat is het verschil met Google Search Console?

Screaming Frog crawlt je site zelf en laat zien wat er technisch staat, nog vóór Google het bekeken heeft. Search Console laat zien hoe Google je site daadwerkelijk indexeert en waarop je gevonden wordt.

Kan ik met Screaming Frog mijn concurrent crawlen?

Technisch wel, maar crawl dan met een lage snelheid om hun server niet te belasten, en gebruik het alleen om structuur en titels te bekijken, niet om content te kopiëren.

Heb ik Screaming Frog nodig als ik al Search Console gebruik?

Search Console laat zien wat Google al weet, maar mist bijvoorbeeld een volledig overzicht van alle interne links of een snelle check direct na een wijziging. Screaming Frog vult dat aan met een directe, op aanvraag uit te voeren crawl.

Werkt Screaming Frog ook voor een site die nog niet live staat?

Ja, zolang de staging-omgeving bereikbaar is voor de crawler (en niet is afgeschermd met een wachtwoord of IP-restrictie) kun je hem ook daarop loslaten.

Verder lezen

Wil je meer weten over vindbaarheid in Google en AI-antwoorden? Lees indexeren, structured data en Google PageSpeed Insights. Samen naar je site kijken? Plan een gratis strategiesessie.