Waarom wordt mijn site niet geïndexeerd?

Wat een ramp: je website wordt niet geïndexeerd. Alleen is het soms moeilijk om te begrijpen of de pagina niet geïndexeerd is, of gewoon totaal niet rankt in de zoekmachines. Is het wel een indexeringsprobleem? Of rankt je content gewoon niet zoals je zou willen? Als je dat onderscheid hebt gemaakt en echt zeker weet dat het een indexeringsprobleem is, staat dat echt in de weg om je website vindbaar te maken. Ik leg je de oorzaken, en oplossingen, graag uit.

Hoe ontdek je of je pagina niet geïndexeerd is?

Search console is de beste tool om te ontdekken welke pagina’s wel en niet geïndexeerd zijn. Er zijn ook andere manieren om te checken of de website geïndexeerd is, maar die zijn vaak niet accurraat. De meest betrouwbare check doe je via de Search Console, via de URL inspection tool om precies te zijn. In de Search console zie je alle soorten indexatieproblemen staan onder het vinkje ‘Niet geïndexeerd’.

1) Gecrawld, momenteel niet geïndexeerd

‘Gecrawld, moment niet geïndexeerd’ geeft aan dat Google langs is geweest, maar je content niet in de zoekresultaten wil. De pagina is succesvol gecrawld door Google, maar op dit moment dus nog niet geïndexeerd.

2) Gevonden, momenteel niet geïndexeerd

Bij ‘Gevonden, maar niet geïndexeerd’  is de pagina ontdekt door Google, maar nog niet gecrawld. Normaal gesproken was Google van plan om de URL te crawlen, maar heeft het nog niet de kans gehad door een fout (denk aan een overbelaste website bijvoorbeeld).

3) Overige redenen

Maar ook de volgende redenen in de Search console benadrukken waarom een pagina niet in de index staat, en geven meteen aan welk specifiek probleem het is (t.o.v. de twee bovenstaande redenen, waar de oorzaak niet heel duidelijk is).

• Dubbele pagina- Google heeft een andere canonieke pagina gekozen dan de gebruiker
• Dubbele pagina zonder door de gebruiker geselecteerde canonieke versie
• Uitgesloten door tag noindex
• Geblokkeerd door robots.txt

In de Search Console vind je onder het tabblad Pagina’s de huidige pagina-indexering.

11 redenen waarom je pagina niet geïndexeerd wordt

Het indexeren van pagina’s een dynamisch proces is en het kan enige tijd duren voordat een nieuwe pagina wordt opgepikt. Als het na een tijdje nog steeds niet lijkt te lukken, is het een goed plan om op onderzoek uit te gaan. Er zijn drie soorten oorzaken voor een pagina-specifiek indexatie probleem: technisch, content, en links. De kans is groot dat het probleem in een van deze drie groepen te vinden is.

1) Technisch oorzaak

Er zijn verschillende technische redenen waarom jouw website mogelijk niet wordt geïndexeerd door zoekmachines.

1. Verkeerde canonical

Gebruik canonical tags op je pagina’s om zoekmachines te laten weten welke versie van een pagina de voorkeursversie is. Zorg ervoor dat de juiste canonical tags zijn ingesteld om dubbele contentproblemen te voorkomen.

2. Een fout verwijderingsverzoek

Als jouw website niet geïndexeerd is vanwege een verwijderingsverzoek, kan het zijn dat je een verzoek hebt ingediend bij een zoekmachine om bepaalde pagina’s of de gehele website uit de zoekresultaten te verwijderen.

3. Per ongeluk op Noindex

Als een pagina een noindex-tag heeft, dan zal Google die pagina niet (of eigenlijk zelden) indexeren. Soms is de noindex-tag de bedoeling, soms gaat het per ongeluk fout. Pas dan de tag weer aan naar index, follow. Zorg ervoor dat de instructies correct zijn ingesteld om ervoor te zorgen dat je pagina’s worden geïndexeerd zoals bedoeld.

4. Slechte websitestructuur

Als je website een onduidelijke of verwarrende website structuur heeft, kan dit het indexeren bemoeilijken. Zorg ervoor dat je website een duidelijke hiërarchie en navigatie heeft, zodat zoekmachines gemakkelijk kunnen begrijpen hoe de pagina’s met elkaar zijn verbonden.

5. Niet crawlbaar door robots.txt

Controleer of jouw website een robots.txt-bestand heeft dat zoekmachines beperkt in het bekijken/crawlen van bepaalde pagina’s of secties van jouw website. Zorg ervoor dat het robots.txt-bestand correct is geconfigureerd en geen essentiële pagina’s blokkeert die geïndexeerd moeten worden.

2) Content oorzaak

De content op  jouw website kan een reden zijn waarom deze niet wordt geïndexeerd. Gaan een van de volgende dingen bij je fout?

1. Spammy praktijken in het verleden

Het is belangrijk om slechte backlinks te identificeren en, indien mogelijk, deze te verwijderen. Als je website in het verleden spamachtige content heeft gepubliceerd, kan dit het vertrouwen van Google in je site hebben geschaad. Het kost tijd om het vertrouwen van Google terug te winnen door hoogwaardige, relevante en spamvrije content te publiceren.

2. Content voegt geen waarde toe

Is de kwaliteit van je pagina wel écht geweldig? Voeg het überhaupt iets toe? Of heb je de tekst van je concurrent gewoon herschreven? Voeg je eigen visie, denkwijze en antwoorden op klantvragen toe aan je pagina. Voeg altijd waarde toe. Laat ChatGPT dus ook niet je gehele tekst schrijven. Je recyclet alleen maar bestaande content en Google wordt met dat hele AI-gebeuren echt kritischer op welke pagina’s het wel/niet in de zoekresultaten wil. Zorg ervoor dat je inhoud van hoge kwaliteit, relevant en nuttig is voor je doelgroep.

3. Beperkt crawlbudget

Zoekmachines hebben een beperkte hoeveelheid tijd en bronnen om een website te crawlen. Als jouw website te groot is met een groot aantal pagina’s, kan dit ervoor zorgen dat zoekmachines niet alle pagina’s kunnen crawlen en indexeren binnen het beschikbare crawl-budget. Dit kan resulteren in sommige pagina’s die niet geïndexeerd worden.

4. Duplicate content

Je pagina’s hebt met dezelfde of vergelijkbare content, kan Google ervoor kiezen om slechts één versie te indexeren om duplicatie te voorkomen. Controleer of er geen dubbele inhoud op je website aanwezig is en maak indien nodig aanpassingen om de uniekheid van je pagina’s te waarborgen.

3) Links

Links zijn een belangrijk om de indexatie van jouw website verbeteren en ervoor zorgen dat zoekmachines jouw pagina’s sneller ontdekken en weergeven in de zoekresultaten.

1. Geen (of weinig) relevante interne links

Zorg je voor relevante interne links? Of ben je als een gek alles naar alles aan het linken? Is er een vorm van samenhang te herkennen? Of heb je alleen maar orphan pages? Pagina’s waar geen enkele link naartoe gaat worden ook wel ‘orphan pages’ genoemd. Het liefst voorkom je dat, want zo lijkt het net alsof die pagina totaal niet belangrijk is. En waarom zou Google er dan iets mee doen? Zorg er in ieder geval voor dat de sitemap up-to-date is.Zorg er ook voor dat je interne linkstructuur goed is opgezet en dat je pagina’s via interne links met elkaar zijn verbonden.

2. Ontbreken van backlinks

Backlinks, oftewel links van andere websites naar jouw site, spelen een belangrijke rol bij het indexeren. Als je weinig of geen backlinks hebt, kan dit de zichtbaarheid van je website beperken. Probeer relevante websites te vinden die naar jouw site willen linken.

Probleem opgelost? Laat Google langs komen

Door de oorzaak van het probleem op te lossen, wordt je pagina nog niet opeens geïndexeerd. Het is goed om te begrijpen dat je Google zo snel mogelijk weer moet laten langskomen. Dat doe je door je pagina manueel te indexeren. Dit doe je door een URL-inspectie uit te voeren op een specifieke url en dan vervolgens op de knop ‘ indexering aanvragen’ te klikken. Soms helpt het om vlak daarvoor op ‘Live URL testen’ te klikken, waarbij je te zien krijgt wat Google van je pagina vindt.

De belangrijkste knoppen voor het manueel indexeren van een pagina in Search Console.

Hoe lang duurt het voordat het geïndexeerd is?

Afhankelijk van hoe goed er naar de pagina wordt gelinkt en hoe goed de content is, des te groter de kans dat het geïndexeerd wordt. En dat kan vrij snel zijn, in een paar seconden soms. Voor het overgrote deel van alle pagina’s zal dat een uur t/m een week duren. Google moet alleen even langkomen om de pagina opnieuw te beoordelen.

Wat moet je doen om als je een pagina heel snel geïndexeerd wil hebben? Waarschijnlijk moet je je verwachtingen aanpassen, want vaak staat wat je wil delen met de wereld al op een willekeurige website. Ook met de komst van AI komen er steeds meer en meer pagina’s bij.

Search Console voorbeeld waarbij een indexeringsprobleem opgelost wordt vanaf midden juni.

Zit er een verschil tussen nieuwe en oude websites?

Als je website relatief nieuw is, kan het enige tijd duren voordat zoekmachines deze ontdekken en indexeren. De hele website wordt dan wat moeilijker geïndexeerd. Het kan enkele dagen tot maanden duren voordat dit proces plaatsvind.

Als een gehele (al oude) website er last van heeft, is er vaak een grotere overkoepelende oorzaak te vinden. Maar gelukkig is er veel vaker sprake van problemen met individuele pagina’s. Dan gaat het om specifieke pagina’s die niet geïndexeerd worden.

Is er geen andere methode om de indexering te checken?

Nee. Naast de Search Console zou je nog handmatig kunnen zoeken, maar dat is geen goede method om de indexatie van je website te controleren. Voer in het zoekvak van een zoekmachine de volgende zoekopdracht in: “site:voorbeeldwebsite.nl” (vervang “voorbeeldwebsite.nl” door de domeinnaam van je eigen website of de url waar je over twijfelt). Dit geeft een lijst van pagina’s weer. Er wordt nog wel eens gezegd dat als je pagina hier dan niet tussen staat, het niet in de index staat. En dat klopt dus niet; het geeft je niet een volledig beeld. Niet gebruiken dus en vertrouw op je Search console.

Potjandorie, het is nog steeds niet geïndexeerd. Hoe kan dat?

Ik ga je maar even uit je droom helpen, maar Google gaat niet alle pagina’s indexeren. Het heeft ook helemaal geen zin om 16.000 keer hetzelfde recept voor appelflappen online te hebben staan of uit te leggen wat een appel is. Wees kritisch op wat je live zet. Google is dat ook. 😉

Het is belangrijk om geduldig te zijn, aangezien het indexeren van websites soms tijd kan kosten. Als je echter langdurige problemen hebt met het indexeren, kan het nuttig zijn om contact op te nemen met een SEO-specialist om je website te laten controleren en te optimaliseren voor betere indexering.

Je moet ook niet verwachten dat Google alle urls op jouw website automatisch gaat indexeren. Een dekking van 100% gebeurt vrij zelden. En dat is niet erg. Er zijn altijd pagina’s die niet geïndexeerd hoeven te worden.