Een online nieuwsarchief beter vindbaar maken in Google

Je hebt honderden oude nieuwsberichten op je site. Keurig chronologisch gesorteerd en opgehakt in groepjes van tien. Toch worden de oude berichten slecht gevonden. Hoe komt dat? Een vaak voorkomend SEO-probleem. De waarschijnlijke oorzaak: het pagineren van nieuwsoverzichten is slecht voor Google. Gelukkig zijn er goede alternatieven.

Noot: in deze blogpost heb ik het over archieven van nieuwsberichten om het wat minder abstract te maken. Maar dit verhaal gaat net zo goed op voor archieven van tv-uitzendingen, van boekbesprekingen, van geregistreerde forumdeelnemers, noem maar op.

Hoe nieuwsarchieven meestal ontsloten zijn: paginering

Je ziet ze vooral vaak op weblogs: nieuwsarchieven die al het oude nieuws keurig pagineren. Op elke pagina vind je een lijstje van tien nieuwskoppen, ieder met een link naar een aparte pagina met het volledige bericht. Met een bladerfunctie onderaan de pagina spring je van pagina 1 naar pagina 2, naar pagina 3, enzovoorts.

Deze manier van navigeren lijkt veel op de manier waarop Google zoekresultaten presenteert:

Of soms wordt de bladerfunctie simpelweg ingekort tot bijvoorbeeld:

Het bladeren door overzichten die over meerdere pagina’s zijn uitgesmeerd kom je kortom overal tegen op het web. Maar is een wijdverbreide methode ook automatisch een goede methode? Vaak wel, maar niet als het gaat om paginering.

Pagineren is een slechte ervaring voor bezoekers

Om de vergelijking met Google-zoekresultaten even verder door te trekken: als je zelf een zoekterm intikt in Google en je een lijst van gevonden pagina’s krijgt, hoeveel treffers bekijk je dan? De eerste 3, de eerste 10, de eerste 30? Als je een doorsnee gebruiker bent: waarschijnlijk hooguit de eerste 10, en vaak nog minder dan dat.

Uit onderzoek blijkt dat internetgebruikers steeds ongeduldiger worden en al lang niet meer de moeite nemen om na de eerste 10 treffers door te klikken naar het vervolg. Internet is een snel medium, internetgebruikers zijn ongeduldig en hebben een groeiende afkeer van lange overzichten. Een navigatiebalk met de mogelijkheid om naar de volgende pagina met 10 treffers te gaan, en weer een pagina met nog meer treffers, en weer een pagina: het is vaker een afhaakmoment dan een aanmoediging om door te gaan.

Pagineren is ook slecht voor Google

Al vaker heb ik het geschreven: een slechte ervaring voor menselijke bezoekers gaat opvallend vaak samen met een slechte ervaring voor zoekmachines. Zo ook hier. Internetgebruikers haken op zeker moment af, maar Google doet dat ook. Natuurlijk is Google prima in staat om al je tientallen overzichtspagina’s door te fietsen en vandaaruit de volledige berichten te vinden. Maar Google doet dat niet. Op veel sites zie je hetzelfde patroon: vanuit de homepage volgt Google een linkje of drie en de rest laat hij zitten – die zit te ver weggestopt.

Je kunt eenvoudig zelf de proef op de som nemen. Installeer bijvoorbeeld de Firefox-plugin SearchStatus. Als je na installatie gaat surfen, dan zie je rechts onderaan elke webpagina die je bezoekt de pagerank, een getal van 0 tot 10 waarmee Google de reputatie van die pagina classificeert (het groene balkje, niet het blauwe).

Duik nu eens diep in een willekeurig nieuwsarchief, bijvoorbeeld dat van Marketingfacts of Emerce. Bijna overal zie je hetzelfde beeld: nieuwsberichten met een pagerank van 0. Dat betekent dat Google zo’n pagina óf nog helemaal niet heeft ontdekt, óf wel heeft ontdekt maar er geen waarde aan hecht. Wat kun je daaraan doen?

Een XML-sitemap is niet voldoende

De standaardoplossing voor problemen met vindbaarheid in Google is om een XML-sitemap te maken met een volledige inhoudsopgave van je hele site. Zo’n sitemap is niet bedoeld voor menselijke bezoekers, maar alleen om zoeksystemen op de hoogte te houden van wijzigingen op je site.

Aan de hand van de XML-sitemap ziet Google voortaan precies welke pagina’s op je site nog ontbreken in zijn index. Veel contentmanagementsystemen genereren standaard XML-sitemaps, of hebben daar speciale plugins voor. Een kind kan de was doen.

Probleem opgelost? Niet helemaal. Natuurlijk wordt een website nooit slechter van een extra XML-sitemap. Maar een XML-sitemap heeft wel een belangrijke SEO-beperking: hij verbetert wel de vindbaarheid van dieperliggende pagina’s, maar niet de reputatie oftewel de pagerank. Webpagina’s krijgen pas reputatie als ze goede en duurzame links van andere pagina’s krijgen – vanaf de eigen website of vanaf andere sites.

Die duurzaamheid is een probleem bij chronologische paginering. Een recent nieuwsbericht is eerst vindbaar via overzichtspagina 1 (met nieuwsberichten 1 t/m 10), een paar dagen/weken later via overzichtspagina 2 (met nieuwsberichten 11 t/m 20), daarna overzichtspagina 3, enzovoorts. Naarmate het archief groeit, schuift dat bericht verder door en is het steeds een andere overzichtspagina (4, dan 5, dan 6, dan …) die ernaar linkt. De kans is groot dat dat bericht altijd op pagerank 0 blijft steken. Google houdt van duurzaam gestructureerde websites en niet van links die eerst op de ene en dan op de andere overzichtspagina staan.

Hoe het beter kan: een platte linkstructuur

Om oude nieuwsberichten wat pagerank te bezorgen, moeten we dus zorgen voor links vanaf vaste pagina’s, niet vanaf wisselende pagina’s. De simpelste oplossing: maak één lange overzichtspagina met links naar álle oude nieuwsberichten, ook al zijn het er meer dan duizend. In feite laat je dus gewoon de paginering weg. Hou je nog maar één enkele vaste pagina over.

Deze radicale oplossing lost in ieder geval het probleem op van de slechte Google-vindbaarheid. Als de homepage van je website rechtstreeks linkt naar deze overzichtspagina, dan zijn alle oude nieuwsberichten precies twee muiskliks verwijderd van de homepage. Zelfs zonder een XML-sitemap zal Google al je oude berichten vinden.

Wel blijft er nog een ander probleem: een overzichtspagina met honderden of zelfs meer dan duizend links is een slechte ervaring voor je bezoekers (plus een zware belasting voor je cms, dat hiervoor uitgebreide selecties moet uitvoeren). Maar ook daar valt prima iets aan te doen. Allereerst een redactionele ingreep: maak tussenkopjes, bijvoorbeeld om de maanden aan te geven. Dan kunnen bezoekers gerichter in een bepaalde periode zoeken. Bijvoorbeeld alleen de laatste drie maanden. Of alleen het voorjaar van 2005.

Zelfs met tussenkopjes blijft die overzichtspagina nog heel lang. Een tweede ingreep is meer technisch van aard: maak al die tussenkopjes in- en uitvouwbaar. Een voorbeeld is dit nieuwsoverzicht op Klimaatnieuws.nl:

Als je een specifieke maand zoekt, hoef je alleen maar die maand uit te vouwen (onderstaand plaatje is niet klikbaar, ga daarvoor naar Klimaatnieuws.nl):

En als je in een langere periode zoekt, kun je álle maanden uit het hele overzicht in één keer uitvouwen. Op internet zijn veel scripts te vinden voor dit soort uitvouwsystemen, zoek daarvoor op ‘folding menu’. Ze zijn zo gemaakt dat zoekmachines feitelijk alleen maar uitgevouwen maanden zien en dus ook alle nieuwsberichten probleemloos zullen vinden.

Hoe het nóg beter kan: inhoudelijk linken

Niet alle hyperlinks zijn gelijk voor Google. Een link naar een andere pagina met soortgelijke inhoud telt zwaarder dan een link naar een pagina over een heel ander onderwerp. Hoe meer relevante links, hoe beter je reputatie in Google.

Hoe groter je nieuwsarchief, hoe meer raakvlakken er ontstaan tussen al die nieuwsberichten. Daarom: zorg ervoor dat die naar elkaar linken. Niet alleen voor Google, maar ook voor bezoekers is dat prettig. Als die bezoekers vanuit een externe site rechtstreeks op een nieuwsbericht op jouw site uitkomen, dan maak je het ze makkelijk door ze direct te verwijzen naar soortgelijke berichten. Hoeven ze niet je hele nieuwsarchief door te spitten.

Doelgericht hyperlinks aanbrengen tussen nieuwsberichten is wel heel arbeidsintensief. Eigenlijk zou je dit al moeten doen tijdens het schrijven van een nieuwsbericht, niet pas achteraf. Gelukkig zijn er foefjes om een bestaand archief achteraf te verrijken met inhoudelijke links. Bij veel nieuwsberichten zie je bijvoorbeeld onderaan een rijtje gerelateerde berichten. Zoiets als:

In veel contentmanagementsystemen kunnen deze gerelateerde links automatisch worden gegenereerd. Bij WordPress heb ik goede ervaringen met de plugin YARPP (Yet Another Related Posts Plugin). Deze plugin beoordeelt op basis van titelwoorden, categorieën, trefwoorden en andere kenmerken in hoeverre twee nieuwsberichten met elkaar verwant zijn.

Er is een nadeel aan dit soort plugins: ze zijn slecht voor de performance van je site. In principe moet voor elk nieuwsbericht een ingewikkelde zoekselectie op de rest van het archief worden uitgevoerd. Dat hakt erin, uit eigen metingen op deze site bleek de gemiddelde laadtijd per nieuwspagina met 45% toe te nemen.

Ik raad daarom aan om zo’n plugin alleen toe te passen in combinatie met caching. Dat houdt in dat die ingewikkelde zoekselectie niet elke keer opnieuw wordt uitgevoerd, maar alleen op gezette tijden, bijvoorbeeld eens per uur, eens per dag of nog minder vaak. Hoe je caching moet toepassen? Dat hangt af van je contentmanagementsysteem. Vaak heeft zo’n systeem kant-en-klare caching-modules.

En nog een kleine tip, maar met grote gevolgen. Bij een plugin als YARPP kun je kiezen of de gerelateerde berichten onderaan een nieuwsbericht altijd ouder zijn, of ook van recenter datum kunnen zijn. Met andere woorden: mag een nieuwsbericht ook verwijzen naar andere berichten die later zijn gepubliceerd?

Mijn advies: kies altijd het laatste, want dan wordt de pagerank van Google gelijkmatiger over je nieuwsarchief uitgesmeerd. Kies je voor alleen linken naar oudere berichten, dan krijgen de alleroudste berichten uit je archief relatief de meeste pagerank, terwijl je je bezoekers misschien juist liever wat meer actuele nieuwsberichten zou laten lezen.

Dus: mocht de performance er niet onder lijden, dan heb je met het toevoegen van gerelateerde berichten een snelle manier om een nieuwsarchief inhoudelijk te verrijken. Daar worden zowel Google als bezoekers blij van.

Nog even recapituleren

Er zijn talloze manieren om een grote verzameling oude nieuwsberichten beter toegankelijk te maken voor bezoekers én beter vindbaar voor Google, maar paginering is zo ongeveer de allerslechtste.

Mijn twee favoriete methoden om het beter te doen heb ik hierboven beschreven:

• een simpel totaaloverzicht (waar je eventueel een in-/uitvouwmogelijkheid aan kunt toevoegen),
• inhoudelijke links aanbrengen (al of niet geautomatiseerd) tussen verwante berichten.

Natuurlijk zijn er nog meer manieren te bedenken voor een betere structuur. Gebruik je zelf een andere methode, dan ben je welkom om dat hieronder te melden!