Betere SEO resultaten door maandelijkse website crawl

Of je nou een eenmanszaak bent of te maken hebt met een heel team dat dagelijks werkt in een CMS, vroeg of laat ontstaan er foutjes. In eerste instantie vallen deze misschien niet op maar na verloop van tijd stapelen deze zich op en loop je risico op dalende organische zoekresultaten. Dit aspect van online marketing valt onder technische SEO en het is een complex vakgebied. Het vergt namelijk niet alleen kennis van de werking van zoekmachines, het effect van de implementatie kan lang op zich laten wachten. Voorkomen is beter dan genezen en dat geldt zeker voor SEO! Het is dan ook aan te raden om continu een SEO focus te hebben en te zorgen dat jouw site technisch in orde is. In deze blog proberen we je veel voorkomende SEO problemen in gewone mensentaal uit te leggen.

Veelvoorkomende website problemen

Om alle SEO gerelateerde website problemen in één blog te beschrijven, dan zijn we wel even bezig. Daarom beperken we ons tot de veel voorkomende problemen.

Ontbrekende of duplicate meta data

Deze zien we veel voorbij komen bij websites en vanuit SEO perspectief zijn dit toch wel quick wins. Alhoewel meta titles en meta descriptions geen ranking factoren zijn, helpt het een zoekmachine wel degelijk te begrijpen wat de inhoud van een pagina is. Daarnaast kunnen geoptimaliseerde meta titles en descriptions voor een hogere CTR zorgen in de zoekresultaten.

Om een zoekmachine de juiste signalen te geven, zodat de correcte pagina wordt getoond bij een relevante zoekopdracht, is het cruciaal dat meta data uniek is.  Het loont dus wel degelijk om elke pagina van je site te voorzien van de unieke meta data die voldoet aan de juiste specificaties. Een meta title bestaat idealiter uit 50-60 karakters. Een meta description moet uit maximaal 155 karakters bestaan. Als beide langer zijn, kan Google zelf invulling geven waardoor je de controle kwijt bent.

Indexability (robots, sitemap, meta tags, canonical, hreflang)

Een zoekmachine crawlt je website en daardoor worden pagina’s geïndexeerd. Websites kunnen al gauw uit duizenden pagina’s bestaan, helemaal als je een meertalige site hebt, dus is het zaak dat je instructies geeft over welke pagina’s wel en niet moeten worden gecrawld. Er zijn meerdere manieren om dit te doen en deze beschrijven we hieronder.

Robots.txt

Hierin geef je met regels letterlijk aan welke pagina’s een zoekmachine wel en niet mag crawlen. Het is hierin ook mogelijk om met wildcards te werken, waardoor je met één commando meerdere pagina’s kan uitsluiten of toestaan.

Vanuit een CMS als Magento of WordPress/ WooCommerce kun je kiezen voor een standaard robots.txt bestand waarmee zoekmachines toegang hebben tot alle pagina’s.

Een zoekmachine kan binnen een tijdsbestek maar zoveel pagina’s crawlen, dit heet crawlbudget, en daarom wil je dus zorgen dat jouw belangrijkste pagina’s altijd worden gecrawld.

Sitemap

Dit is een xml bestand met alle pagina’s die je geïndexeerd wilt hebben. Deze mag dus niet bestaan uit irrelevante pagina’s  en pagina’s met foutmeldingen. Zodra je een sitemap hebt, upload je deze in Google Search Console. Ook dit is weer een extra signaal dat je afgeeft aan Google waardoor alleen relevante pagina’s zichtbaar zijn in de zoekresultaten. Heb je een meertalige site? Genereer dan een sitemap per taal en upload deze allemaal in Google Search Console.

Meta Tags

Voor de meeste website eigenaren zijn meta tags als noindex, nofollow en follow wel bekend. Voor de duidelijkheid hieronder de belangrijkste combinaties:

  • ‘noindex, nofollow’: als deze tag is geplaatst dan wordt deze pagina niet geïndexeerd en volgt Google geen links vanaf deze pagina. Dit is dus een vrij heftige instructie die meegeeft aan zoekmachines!
  • ‘noindex, follow’: hiermee wordt een pagina niet geïndexeerd maar kan een zoekmachine wel links volgen vanaf deze pagina. Een bedankpagina wil je bijvoorbeeld niet laten indexeren, maar deze pagina kan wel interessante links bevatten.
  • nofollow: deze plaats je op links waarvan je niet wilt dat Google deze volgt. Linkwaarde zal dus ook niet meegegeven worden. Deze nofollow tag plaats je doorgaans op links als deze verwijzen naar duplicate pagina’s. Denk bijvoorbeeld aan filter links.

Als je echt niet wilt dat een pagina zichtbaar is in Google dan is het niet raadzaam om een noindex te gebruiken in combinatie met een disallow in robots.txt. Je zegt namelijk dat een pagina niet gecrawld mag worden en daardoor loop je het risico dat de noindex tag niet wordt gezien! Met als resultaat dat de pagina alsnog geïndexeerd wordt.

Response codes als 301 en 404 zijn bij de meesten wel bekend. Toch wordt het belang van response codes ons inziens vaak onderschat. Wanneer je een pagina offline haalt en niet netjes redirect dan is het niet alleen verwarrend voor een zoekmachine, je laat ook een slechte indruk achter bij je websitebezoeker. Ons advies is dan ook om pagina’s die offline gaan direct te redirecten naar een nieuwe pagina. Dat kan een soortgelijk product zijn, of desnoods de bovenliggende (sub)categorie. Redirect naar de homepage raden we af, dit wordt namelijk als een soft 404 gezien.

Bij het verwijderen van een pagina moet je niet alleen denken aan de pagina zelf, maar ook aan interne links die verwijzen naar deze pagina. Natuurlijk, als je een redirect instelt dan is de interne link ook meteen opgelost. Bedenk echter dat een interne link paginawaarde doorgeeft en redirects dragen hier niet aan bij. Het is veel werk om dit bij te houden, en heel eerlijk ook niet het leukste werk om te doen, maar de interne linkstructuur van een site moet 100% in orde zijn. Niet alleen voor zoekmachines, maar ook voor website bezoekers die interne links gebruiken om te navigeren.

Canonical

Canonical tags zijn met name belangrijk om duplicate content problemen te voorkomen. Als je bijvoorbeeld een product hebt dat in meerdere categorieën voorkomt dan bestaan er meerdere url’s voor hetzelfde product. Je wilt niet dat al deze url’s worden geïndexeerd, een canonical bepaalt in dit geval welke van deze url’s leidend is. Wanneer duplicate pagina’s geïndexeerd worden, gaat dit weer ten koste van het crawl budget. Met als gevolg dat belangrijke pagina’s zichtbaarheid gaan verliezen. Een pagina moet altijd een canonical hebben, ook al is er geen sprake van een duplicate content. In dit geval is er sprake van een ‘self-referencing’ canonical. Hiermee creëer je nog meer duidelijkheid voor een zoekmachine, want je zegt dat er maar één variant van de url is die geïndexeerd moet worden.

Hreflang

Hreflang tags zijn alleen van belang als je een meertalige site hebt en pagina’s dus bestaan in meerdere talen. Bij de implementatie van hreflang tags is consistentie het belangrijkste; de links moeten altijd netjes naar elkaar verwijzen. Een Nederlandse pagina die een hreflang tag heeft naar de Duitse pagina, moet op exact dezelfde manier verwezen worden vanaf de Duitse pagina. Hierbij is het ook belangrijk dat altijd de canonical link wordt gebruikt als hreflang tag. Als dit niet correct is geïmplementeerd dan is het wederom verwarrend voor een zoekmachine en kan de juiste taal en/of pagina niet getoond worden in de zoekresultaten.

Bovenstaande technische SEO aspecten zijn slechts enkele, veel voorkomende problemen. Om er zeker van te zijn dat jouw site technische in orde is, is het verstandig om maandelijks de gehele site te crawlen met tool als Screaming Frog. Uiteraard zijn er signalen vanuit bijvoorbeeld Search Console als er problemen zijn. Heb je hulp nodig met technische SEO werkzaamheden? Of heb je vragen naar aanleiding van deze blog? Neem dan contact op met RoQQit.