De Google index: Wat is het en hoe werkt het?

Hoe werkt het indexering proces?

Beschouw de Google-index als een gigantische bibliotheek vol boeken, afkomstig over de hele wereld. Laten we nog verder gaan: beschouw het als een bibliotheek vol met duizenden boeken met dezelfde inhoud, met kleine tot grote verschillen, maar allemaal geschreven door verschillende mensen.

Een voorbeeld hiervan: je wilt een boek kopen. Op de boekenplank zie je tien verschillende boeken met dezelfde inhoud. Deze boeken zijn geschreven door verschillende auteurs die het boek ooit allemaal op hun eigen manier hebben geïnterpreteerd. Hoe weet je nu welke je moet kiezen? Gelukkig helpt Google je een beslissing te maken en laat het je weten welke boeken de meest gerenommeerde en meest gelezen zijn uit deze grote bibliotheek. Dit is de manier hoe we ook over websites moeten gaan nadenken in de toekomst.

Geïndexeerd worden door Google is een proces dat gebeurt in drie stappen: ‘crawlen’, indexeren en rangschikken. Dit klinkt wat overweldigend, daarom willen we het stap voor stap uitleggen. Als je al bekend bent met dit proces, scrol dan vooral alvast naar beneden om bij het essentiële deel te komen waar we ingaan op het verbeteren en helpen van Google bij het indexatie proces.

Let goed op het gebruik van moderne contentmanagementsystemen, ook wel CMS genoemd, aangezien deze JavaScript en andere stukjes programmeerwerk kunnen toevoegen aan het indexerings proces. Deze systemen kunnen je, óf enorm helpen met goed geïndexeerd worden, maar ze kunnen het ook moeilijker maken. Hoe dit werkt lees je verderop in het artikel.

Crawlers, spiders en bots

Laten we eens kijken naar de drie stappen van het indexering proces. Je hebt misschien termen als ‘crawlers’, ‘spiders’ en ‘bots’ wel eens ergens horen vallen. Deze termen betekenen hetzelfde en hebben een specifiek nut, een ‘robot’ met een missie of taak. Hun missie is om langs je website te komen en alles in het proces te verzamelen en vast te leggen. Om dit te versimpelen: deze spiders (zoals wij het in ieder geval graag noemen, het is aan jou hoe jij ze wilt noemen) zijn een softwareprogramma. Google vertelt deze spiders om elke website te controleren, de informatie op deze websites door te lezen en uiteindelijk om de pagina te evalueren. De spiders verplaatsen zich via links, dus als je intern naar een andere pagina op je website hebt gelinkt, zal de spider doorgaan en ook langs die pagina gaan. Dit is een manier om Google te vertellen jouw website sneller en efficiënter te crawlen.

Het is daarom eigenlijk altijd belangrijk dat je website goed up-to-date is. Deze spiders nemen alle informatie op je website op en sturen het terug naar Google om de pagina’s te evalueren. Na verloop van tijd wordt de meeste informatie die ze hebben verzameld en geregistreerd, weergegeven in de zoekmachine waar Google denkt dat deze relevant is. Spiders zouden je website niet passeren als je Google jouw website niet helpt om te vinden (of het bewust blokkeert). Informatie van je website eenvoudigweg niet downloaden als spiders niet weten dat je bestaat, dat je überhaupt bestaat en wil bestaan én klaar bent om onderdeel te worden van de grote online bibliotheek.

Het bezoek van de spinnen is niet iets dat gewoon eenmalig gebeurt. Ze komen regelmatig op bezoek als de spinnen eenmaal van je bestaan weten. Puur om er zeker van te zijn dat ze de juiste informatie hebben zodat deze vervolgens teruggekoppeld kan worden naar Google. Hoe betrouwbaarder en consistent je website is, hoe gemakkelijker het voor de spiders is om je te vinden. Hetzelfde geldt voor links op je webpagina: als jouw website is vermeld op pagina’s die al gerenommeerd zijn, hoe sneller je zichtbaar bent voor spiders.

Zo kun jij je website aan Google toevoegen

Zodra de spiders hun missie hebben voltooid, begint Google met het indexeren van jouw website. Natuurlijk zal Google eerst evalueren en bepalen of ze je website moeten indexeren (als in, toevoegen aan de bibliotheek) of niet. Ze zullen je inhoud analyseren om te zien of deze relevant en waardevol is. Ook wordt gecontroleerd of en hoe de pagina’s worden weergegeven, zowel visueel als tekstueel. Iets om in gedachten te houden is dat Google kieskeuriger is geworden bij het beslissen welke inhoud moet worden geïndexeerd. Hun kwaliteitsfilter proces is erg geavanceerd. Het is daarom nog belangrijker geworden om een sterke inhoud te presenteren op je website en deze  altijd up-to-date te houden. Zoals we al eerder zeiden is het belangrijk om er rekening mee houden dat de spiders regelmatig terugkeren en eventuele wijzigingen op je website oppikken. Ze zullen bepalen of ze je nieuwe materiaal in hun Google-index – de grote bibliotheek – willen opslaan. 

Maar hoe krijg je een goede positie in Google?

Dan komen we nu op de derde en laatste stap van het proces. Zodra de spiders je website hebben gecrawld en alle belangrijke informatie hebben verzameld, begint Google met het indexeren van deze informatie. Zodra Google het indexering proces heeft voltooid, is je website beschikbaar en zichtbaar in de zoekmachine. Hoe meer interessante en originele inhoud er op je website staat, hoe groter de kans dat jouw website bovenaan komt te staan. Het vergroten van de bezoekersaantallen naar je website is een doel dat voor veel bedrijven hoog op de agenda staat. En terecht. Hoog scoren in Google is essentieel om bezoekers naar je website te trekken. Tip: Gebruik marketgoo om online verkeer te vergroten. Dit is een ideale tool om je SEO-reis te starten.

Aan de slag met een XML Sitemap

Google verwerkt iets dat een XML-sitemap wordt genoemd. We kunnen al wel raden wat je denkt; hier komt nog een woord dat veel te ingewikkeld klinkt voor mijn niet-marketingtechnische oren. Maak je geen zorgen: ingewikkeld is het zeker niet. Een XML-sitemap is in feite een instructiedocument dat Google informeert over de pagina’s die je wilt laten bekijken en indexeren (eigenlijk wat Google in de bibliotheek zou moeten plaatsen voor later gebruik). Het is een kaart met informatie waarin wordt vermeld waar Google deze pagina’s kan vinden. Je kunt Google zelfs vertellen welke pagina’s je niet ontdekt wilt hebben. Of misschien wil je Google laten weten dat je iets hebt veranderd of een nieuw product aan je pagina hebt toegevoegd. Schrijf op wat je wil en laat Google de rest doen.

Ook vraag je je wellicht af wat XML is. XML is een taalbestand dat wordt gebruikt om gegevens te structureren. Het mooie is, dat dit een taal is die zowel door mensen als door machines kan worden gelezen. Dus niet precies zoals programmeren, maar een soort codering. Zelfs als je niet bekend bent met een coderingstaal, zul je waarschijnlijk nog steeds XML begrijpen.

Zodra Google jouw pagina’s op de website heeft ontdekt zoals je dat aan Google hebt verzocht, begint Google met het crawlen van de website. Houd er rekening mee dat de XML-sitemap niet garandeert dat je website wordt gecrawld door spiders of geïndexeerd. Het is slechts een eerste stap om ervoor te zorgen dat alles in de juiste volgorde gaat. Om te garanderen dat spiders jouw website crawlen (of om het in ieder geval makkelijker te maken), moet je ervoor zorgen dat de website en de XML-sitemap aan Google Search Console zijn toegevoegd. Nadat je de indexering hebt aangevraagd, zal het zeker zijn dat de Google Search Console het crawlen laat gebeuren. Of Google er ook iets mee doet? Dat ligt aan jouw site. Volg onze onderstaande 8 tips om jezelf hier meer zekerheid in te bieden!

Met deze 8 tips help jij Google om je sneller de juiste positie te geven:

Het kan veel tijd kosten om je site in Google te laten indexeren, maar dat hoeft niet! Er zijn verschillende dingen die je kan doen om het indexering proces te versnellen.

Met deze 8 stappen heb jij de fundamenten voor een goede indexering en positiebepaling in eigen handen!

• Content is essentieel. Zorg ervoor dat je nuttige en relevante inhoud voor je bezoekers schrijft. Hiermee bedoelen we goed geschreven teksten en originele inhoud. (relevante inhoud)

• Titels. De titels die worden vermeld op de website moeten ook moeten ook relevant en waardevol zijn. (Relevante titels)

• Koppen die de informatie van de inhoud in één oogopslag aan de lezer weten te communiceren. (Duidelijke kopjes)

• Gebruik tekst in plaats van afbeeldingen om de spiders verder te helpen. Spiders kunnen wel door afbeeldingen komen maar ze kruipen makkelijker op websites waar meer tekst op staat. (Gebruik duidelijke tekst in plaats van afbeeldingen)

• De snelheid van de website. Hoe sneller de snelheid, des te gemakkelijker kan Google indexen. (Zorg voor een snelle website, Google houdt tegenwoordig ook rekening met Core Web Vitals. Hiermee kijken ze uitgebreid naar hoe snel jouw website is.)

• URL’s. Structureer je URL’s goed en zorg ervoor dat deze duidelijk zijn. (URL’s)

• Voeg je website en XML-sitemap toe aan Google Search Console. (Aanmelden zoek console)

• Zorg ervoor dat de pagina’s intern op je website naar elkaar linken. (interne links)

Is je website nog niet geïndexeerd? 

Het is makkelijk om te bepalen of je website, of sommige pagina’s ervan, al dan niet al worden geïndexeerd door Google.

Q: Hoe controleer ik of mijn website geïndexeerd is door Google?

A: Typ de naam van de website + je specifieke URL in de zoekbalk van Google. Het zou er ongeveer zo uit moeten zien: site:one.com/nl/online-marketing/de-google-index. Als je geen resultaten krijgt, dan is de pagina nog niet geïndexeerd door Google.

Wil je weten hoeveel pagina’s Google daadwerkelijk op je website heeft geïndexeerd? Zoek dan jouw website zelf op via Google: De zoekmachine toont direct het aantal pagina’s. Je typt dan bijvoorbeeld in de zoekbalk: site:one.com

7 mogelijke redenen waarom Google je website niet indexeert 

Het kan voorkomen dat je website niet wordt geïndexeerd. We zullen je een aantal redenen uitleggen hoe dit kan gebeuren. Daardoor maken we hopelijk ook duidelijker op welke manier Google je website sneller zal indexeren. Ja, nu zijn we echt aanbeland bij het technische aspect, dus blijf doorlezen.

• Robots

We weten het, dit woord klinkt erg technisch en ingewikkeld. Robots.txt is een tekstbestand dat je webmaster of hostingbedrijf heeft gemaakt om de spiders te instrueren op welke manier ze een website moeten crawlen. Het laat de spiders ook weten of er een pagina is die de webhost niet wilt verwerken. Soms veroorzaken deze robots.txt-bestanden problemen waardoor Google de website niet optimaal kan indexeren. Om het probleem op te lossen, is het aan jou om de crawl ‘blokken’ in het robots.txt-bestand te verwijderen, waardoor de spiders rustig maar uitbundig kunnen ronddwalen op je website.  Hoe doe je dit? Ga naar je domein, bijvoorbeeld one.com/robots.txt en verwijder deze twee codes:

Deze codes vertellen de spiders in feite dat ze niet op je pagina’s mogen crawlen. En dat willen we natuurlijk niet. Verwijder het en de spiders zullen je pagina’s goed doorgronden.

Als je eenmaal doorhebt hoe je deze codes via robot.txt kunt veranderen aan de achterkant van je website, zijn er een hoop dingen mogelijk. Zo kun je zelf beslissen welke spiders of ‘user-agents’ je wil toelaten om je website te crawlen. Dit kan je doen door ze allemaal de code ‘User-agents: *’ toe te staan in combinatie met ‘Allow: /’ of door specifieke bots zoals Googles Googlebot te gebruiken door de code te gebruiken ‘ User-agent: Googlebot “samen met” Allow: / “.  Tip: tijdens het bewerken van je robots.txt-bestand is het een goed idee om de spiders het directe pad naar de sitemap te geven.

• Noindex

Er is een andere reden waarom spiders zich geen weg door je website kunnen banen. Je vertelt Google om de pagina niet te indexeren als je <meta name = “robots” content = “noindex”> in de code van je website hebt staan. Het noindex-gedeelte hier is het sleutelwoord daarvan. We willen natuurlijk dat je website uiteraard gewoon gecrawld kan worden, dus het is handig om deze te verwijderen. Je kunt dit vinden door naar je website te gaan, met de rechtermuisknop ergens op de pagina te klikken en op “Paginabron weergeven” te klikken. Zoek dan in die tekst – eventueel via de zoekknop <ctrl + F> naar het sleutelwoord ‘noindex’. Het zou er ongeveer zo uit kunnen zien.  


PS. Dit werkt natuurlijk ook andersom. Als je wilt dat Google wegblijft van een bepaalde pagina op je website, typ dan dezelfde informatie in als hierboven (noindex) en spiders zullen buiten de deur blijven.  Je vraagt hier aan Google om jouw content niet te indexeren.

• De pagina die je in Google wilt, ontbreekt in je site map

Deze is relatief eenvoudig. Zoals hierboven vermeld, vertelt je XML-sitemap Google welke pagina’s (degene die essentieel zijn voor jou) die door Google geïndexeerd moeten worden. Zorg ervoor dat al de pagina’s van de website zijn opgenomen in de sitemap, zelfs de pagina’s waarvan je denkt dat ze niet essentieel zijn. Hiermee maak je het leven van Google gemakkelijker tijdens het indexering proces. Een snelle manier om te controleren of een pagina in je sitemap staat, is door je website.com/sitemap.xml in je browser te typen. Vervolgens kun je zoeken of de url van de pagina die je wilt controleren deel uitmaakt van het sitemap.xml-bestand dat Google leest.

• Een gebrek aan interne links

Aangezien de spiders je pagina’s op je website doorzoeken door links te volgen, moet je interne links toevoegen. Dit maakt het voor Google gemakkelijker om de pagina’s die gelinkt zijn te indexeren. Je creëert een soort landkaart, waarmee je instrueert waar de spinnen in feite naar toe moeten. Sterker nog, als je zelf niet naar jouw pagina’s linkt, waarom zou Google dat wel moeten doen? Je geeft met interne links dus aan dat er waarde is aan het bezoeken van deze pagina’s.

• Lage kwaliteit website en inhoud

We weten dat we dit een paar keer hebben genoemd, maar het kan geen kwaad om het nog een keer te noemen. Inhoud is belangrijk. Zorg ervoor dat de inhoud en materiaal op je website inspirerend zijn voor gebruikers, aangezien Google geen pagina’s met inhoud van lage kwaliteit indexeert. Ook het gebruik van niet originele informatie (gekopieerd van anderen) kan hier een impact op hebben.

• Lage kwaliteit pagina’s

Spiders hebben een bepaald tijdsbestek per dag om je pagina’s te doorzoeken, je kan dit zien als een soort van ‘budget’. Er is daarom een kans dat ze geen tijd hebben om elke pagina op je website te crawlen. Dit is iets om over na te denken voordat je een pagina publiceert. Denk daarom goed na over de waarde van het posten van een pagina met lage kwaliteit. Het kan zijn dat spiders dit crawlen, terwijl er eigenlijk veel relevantere inhoud is op andere pagina’s. Concentreer je op hoogwaardige inhoud en laat de spinnen crawlen wat essentieel is.

• Links van andere websites

Backlinks zijn net zo belangrijk voor je website als interne links. Vooral voor spiders. Die kunnen je website bijvoorbeeld vinden via zo’n backlink. Zie het als volgt: als iemand naar je website linkt, is dat een indicatie dat je website waardevol genoeg is om de spiders de website te laten controleren.

Nice, je bent nu goed op de hoogte!

Ik hoop dat je een goed idee hebt van hoe Google-indexering werkt en de stappen die komen kijken bij dit proces. We hopen dat je iets hebt gehad aan de oplossingen die we hebben gesuggereerd in het kader van het indexeren van je website door Google. We sluiten het artikel af met nog een klein stukje informatie waarvan we het belangrijk vinden dat je het op je netvlies houdt.

Onthoud dat Google-indexering niet gelijk is aan ‘ranking’. Indexering is slechts een manier om aan de race van het wereld wijde web deel te nemen. En geloof ons, hier begint het plezier. Het is een logische stap om, nadat je je website hebt geïndexeerd, de bezoekersaantallen te willen vergroten. Misschien wil je zelfs wel die race wil winnen. Dit kun je doen door je website te optimaliseren. Lees hier meer over alle verschillende manieren waarop je je online marketing kunt verbeteren.

Weet wel dat een plaatsing bovenaan de zoekmachine van Google zal niet van de ene op de andere dag gebeuren. Je moet je SEO op orde hebben om het aantal bezoeken aan je website organisch te verhogen. Er zijn verschillende dingen die je kunt doen om je positie in zoekmachines te verbeteren. Om het nog maar voor een laatste keer te herhalen: kwaliteit is key. Je inhoud van de website moet echt relevant zijn voor mensen.