Hoe nieuwsarchieven meestal ontsloten zijn: paginering

Je ziet ze vooral vaak op weblogs: nieuwsarchieven die al het oude nieuws keurig pagineren. Op elke pagina vind je een lijstje van tien nieuwskoppen, ieder met een link naar een aparte pagina met het volledige bericht. Met een bladerfunctie onderaan de pagina spring je van pagina 1 naar pagina 2, naar pagina 3, enzovoorts.

Deze manier van navigeren lijkt veel op de manier waarop Google zoekresultaten presenteert:

Of soms wordt de bladerfunctie simpelweg ingekort tot bijvoorbeeld:

Het bladeren door overzichten die over meerdere pagina’s zijn uitgesmeerd kom je kortom overal tegen op het web. Maar is een wijdverbreide methode ook automatisch een goede methode? Vaak wel, maar niet als het gaat om paginering.

Pagineren is een slechte ervaring voor bezoekers

Om de vergelijking met Google-zoekresultaten even verder door te trekken: als je zelf een zoekterm intikt in Google en je een lijst van gevonden pagina’s krijgt, hoeveel treffers bekijk je dan? De eerste 3, de eerste 10, de eerste 30? Als je een doorsnee gebruiker bent: waarschijnlijk hooguit de eerste 10, en vaak nog minder dan dat.

Uit onderzoek blijkt dat internetgebruikers steeds ongeduldiger worden en al lang niet meer de moeite nemen om na de eerste 10 treffers door te klikken naar het vervolg. Internet is een snel medium, internetgebruikers zijn ongeduldig en hebben een groeiende afkeer van lange overzichten. Een navigatiebalk met de mogelijkheid om naar de volgende pagina met 10 treffers te gaan, en weer een pagina met nog meer treffers, en weer een pagina: het is vaker een afhaakmoment dan een aanmoediging om door te gaan.

Pagineren is ook slecht voor Google

Al vaker heb ik het geschreven: een slechte ervaring voor menselijke bezoekers gaat opvallend vaak samen met een slechte ervaring voor zoekmachines. Zo ook hier. Internetgebruikers haken op zeker moment af, maar Google doet dat ook. Natuurlijk is Google prima in staat om al je tientallen overzichtspagina’s door te fietsen en vandaaruit de volledige berichten te vinden. Maar Google doet dat niet. Op veel sites zie je hetzelfde patroon: vanuit de homepage volgt Google een linkje of drie en de rest laat hij zitten – die zit te ver weggestopt.

Je kunt eenvoudig zelf de proef op de som nemen. Installeer bijvoorbeeld de Firefox-plugin SearchStatus. Als je na installatie gaat surfen, dan zie je rechts onderaan elke webpagina die je bezoekt de pagerank, een getal van 0 tot 10 waarmee Google de reputatie van die pagina classificeert (het groene balkje, niet het blauwe).

Duik nu eens diep in een willekeurig nieuwsarchief, bijvoorbeeld dat van Marketingfacts of Emerce. Bijna overal zie je hetzelfde beeld: nieuwsberichten met een pagerank van 0. Dat betekent dat Google zo’n pagina óf nog helemaal niet heeft ontdekt, óf wel heeft ontdekt maar er geen waarde aan hecht. Wat kun je daaraan doen?

Een XML-sitemap is niet voldoende

De standaardoplossing voor problemen met vindbaarheid in Google is om een XML-sitemap te maken met een volledige inhoudsopgave van je hele site. Zo’n sitemap is niet bedoeld voor menselijke bezoekers, maar alleen om zoeksystemen op de hoogte te houden van wijzigingen op je site.

Aan de hand van de XML-sitemap ziet Google voortaan precies welke pagina’s op je site nog ontbreken in zijn index. Veel contentmanagementsystemen genereren standaard XML-sitemaps, of hebben daar speciale plugins voor. Een kind kan de was doen.

Probleem opgelost? Niet helemaal. Natuurlijk wordt een website nooit slechter van een extra XML-sitemap. Maar een XML-sitemap heeft wel een belangrijke SEO-beperking: hij verbetert wel de vindbaarheid van dieperliggende pagina’s, maar niet de reputatie oftewel de pagerank. Webpagina’s krijgen pas reputatie als ze goede en duurzame links van andere pagina’s krijgen – vanaf de eigen website of vanaf andere sites.

Die duurzaamheid is een probleem bij chronologische paginering. Een recent nieuwsbericht is eerst vindbaar via overzichtspagina 1 (met nieuwsberichten 1 t/m 10), een paar dagen/weken later via overzichtspagina 2 (met nieuwsberichten 11 t/m 20), daarna overzichtspagina 3, enzovoorts. Naarmate het archief groeit, schuift dat bericht verder door en is het steeds een andere overzichtspagina (4, dan 5, dan 6, dan …) die ernaar linkt. De kans is groot dat dat bericht altijd op pagerank 0 blijft steken. Google houdt van duurzaam gestructureerde websites en niet van links die eerst op de ene en dan op de andere overzichtspagina staan.

Hoe het beter kan: een platte linkstructuur

Om oude nieuwsberichten wat pagerank te bezorgen, moeten we dus zorgen voor links vanaf vaste pagina’s, niet vanaf wisselende pagina’s. De simpelste oplossing: maak één lange overzichtspagina met links naar álle oude nieuwsberichten, ook al zijn het er meer dan duizend. In feite laat je dus gewoon de paginering weg. Hou je nog maar één enkele vaste pagina over.

Deze radicale oplossing lost in ieder geval het probleem op van de slechte Google-vindbaarheid. Als de homepage van je website rechtstreeks linkt naar deze overzichtspagina, dan zijn alle oude nieuwsberichten precies twee muiskliks verwijderd van de homepage. Zelfs zonder een XML-sitemap zal Google al je oude berichten vinden.

Wel blijft er nog een ander probleem: een overzichtspagina met honderden of zelfs meer dan duizend links is een slechte ervaring voor je bezoekers (plus een zware belasting voor je cms, dat hiervoor uitgebreide selecties moet uitvoeren). Maar ook daar valt prima iets aan te doen. Allereerst een redactionele ingreep: maak tussenkopjes, bijvoorbeeld om de maanden aan te geven. Dan kunnen bezoekers gerichter in een bepaalde periode zoeken. Bijvoorbeeld alleen de laatste drie maanden. Of alleen het voorjaar van 2005.

Zelfs met tussenkopjes blijft die overzichtspagina nog heel lang. Een tweede ingreep is meer technisch van aard: maak al die tussenkopjes in- en uitvouwbaar. Een voorbeeld is dit nieuwsoverzicht op Klimaatnieuws.nl:

Als je een specifieke maand zoekt, hoef je alleen maar die maand uit te vouwen (onderstaand plaatje is niet klikbaar, ga daarvoor naar Klimaatnieuws.nl):

En als je in een langere periode zoekt, kun je álle maanden uit het hele overzicht in één keer uitvouwen. Op internet zijn veel scripts te vinden voor dit soort uitvouwsystemen, zoek daarvoor op ‘folding menu’. Ze zijn zo gemaakt dat zoekmachines feitelijk alleen maar uitgevouwen maanden zien en dus ook alle nieuwsberichten probleemloos zullen vinden.

Hoe het nóg beter kan: inhoudelijk linken

Niet alle hyperlinks zijn gelijk voor Google. Een link naar een andere pagina met soortgelijke inhoud telt zwaarder dan een link naar een pagina over een heel ander onderwerp. Hoe meer relevante links, hoe beter je reputatie in Google.

Hoe groter je nieuwsarchief, hoe meer raakvlakken er ontstaan tussen al die nieuwsberichten. Daarom: zorg ervoor dat die naar elkaar linken. Niet alleen voor Google, maar ook voor bezoekers is dat prettig. Als die bezoekers vanuit een externe site rechtstreeks op een nieuwsbericht op jouw site uitkomen, dan maak je het ze makkelijk door ze direct te verwijzen naar soortgelijke berichten. Hoeven ze niet je hele nieuwsarchief door te spitten.

Doelgericht hyperlinks aanbrengen tussen nieuwsberichten is wel heel arbeidsintensief. Eigenlijk zou je dit al moeten doen tijdens het schrijven van een nieuwsbericht, niet pas achteraf. Gelukkig zijn er foefjes om een bestaand archief achteraf te verrijken met inhoudelijke links. Bij veel nieuwsberichten zie je bijvoorbeeld onderaan een rijtje gerelateerde berichten. Zoiets als:

In veel contentmanagementsystemen kunnen deze gerelateerde links automatisch worden gegenereerd. Bij WordPress heb ik goede ervaringen met de plugin YARPP (Yet Another Related Posts Plugin). Deze plugin beoordeelt op basis van titelwoorden, categorieën, trefwoorden en andere kenmerken in hoeverre twee nieuwsberichten met elkaar verwant zijn.

Er is een nadeel aan dit soort plugins: ze zijn slecht voor de performance van je site. In principe moet voor elk nieuwsbericht een ingewikkelde zoekselectie op de rest van het archief worden uitgevoerd. Dat hakt erin, uit eigen metingen op deze site bleek de gemiddelde laadtijd per nieuwspagina met 45% toe te nemen.

Ik raad daarom aan om zo’n plugin alleen toe te passen in combinatie met caching. Dat houdt in dat die ingewikkelde zoekselectie niet elke keer opnieuw wordt uitgevoerd, maar alleen op gezette tijden, bijvoorbeeld eens per uur, eens per dag of nog minder vaak. Hoe je caching moet toepassen? Dat hangt af van je contentmanagementsysteem. Vaak heeft zo’n systeem kant-en-klare caching-modules.

En nog een kleine tip, maar met grote gevolgen. Bij een plugin als YARPP kun je kiezen of de gerelateerde berichten onderaan een nieuwsbericht altijd ouder zijn, of ook van recenter datum kunnen zijn. Met andere woorden: mag een nieuwsbericht ook verwijzen naar andere berichten die later zijn gepubliceerd?

Mijn advies: kies altijd het laatste, want dan wordt de pagerank van Google gelijkmatiger over je nieuwsarchief uitgesmeerd. Kies je voor alleen linken naar oudere berichten, dan krijgen de alleroudste berichten uit je archief relatief de meeste pagerank, terwijl je je bezoekers misschien juist liever wat meer actuele nieuwsberichten zou laten lezen.

Dus: mocht de performance er niet onder lijden, dan heb je met het toevoegen van gerelateerde berichten een snelle manier om een nieuwsarchief inhoudelijk te verrijken. Daar worden zowel Google als bezoekers blij van.

Nog even recapituleren

Er zijn talloze manieren om een grote verzameling oude nieuwsberichten beter toegankelijk te maken voor bezoekers én beter vindbaar voor Google, maar paginering is zo ongeveer de allerslechtste.

Mijn twee favoriete methoden om het beter te doen heb ik hierboven beschreven:

• een simpel totaaloverzicht (waar je eventueel een in-/uitvouwmogelijkheid aan kunt toevoegen),
• inhoudelijke links aanbrengen (al of niet geautomatiseerd) tussen verwante berichten.

Natuurlijk zijn er nog meer manieren te bedenken voor een betere structuur. Gebruik je zelf een andere methode, dan ben je welkom om dat hieronder te melden!

Lagere pagerank

Het was ergens in november 2009 toen ik in Google Analytics merkte dat mijn wandelsite Tweevoeter plotseling een dipje liet zien in bezoekcijfers. Niet veel, hooguit zo’n 10 procent, maar wel duidelijk aanwezig. Van de ene op de andere dag 1 op de 10 bezoekers kwijt – en ze kwamen niet terug, niet na een paar dagen, niet na een week, ook niet na een maand.

Wat was hier aan de hand? Door eindeloos te segmenteren in Google Analytics bleek dat de terugloop vooral zat in het bezoek aan de voorpagina en het bezoek via Google. En de oorzaak daarvan was snel gevonden: de Google-pagerank van de voorpagina bleek gedaald van 5 naar 4. Een hele schok. Mijn site had al zeven jaar lang een pagerank van 5 gehad. Waarom opeens die daling?

Twee avonden lang liep ik alle bekende SEO-vuistregels na: zijn er geen belangrijke inkomende links weggevallen, kloppen de metatags, is de HTML wel valide, noem maar op. Zonder succes, het afgelopen halfjaar was er niets fundamenteels veranderd. Had ik soms een belangrijke nieuwe ontwikkeling gemist? Ook een extra rondje langs de bekendste SEO-blogs leverde geen nieuwe inzichten op.

Uitgaande links

Dan maar eens in de vakliteratuur duiken en een recent SEO-boek aanschaffen: SEO Warrior. Een gedegen boek, maar ook dit werk leek in eerste instantie weinig nieuws te bieden. Maar een terloopse opmerking ergens halverwege het boek gaf toch een aanknopingspunt: Google zou minpunten toekennen als een website veel uitgaande links heeft die niet (meer) werken, zo werd gesteld. Hé, dat is interessant, toch maar eens checken.

Tijd om een simpel maar krachtig programmaatje op Tweevoeter los te laten: Xenu’s Link Sleuth. Deze linkchecker loopt alle pagina’s van je site langs en controleert de uitgaande links. Het resultaat loog er niet om: Tweevoeter bevat zo’n 5200 pagina’s informatie met meer dan 6000 links naar andere websites. En daarvan bleken er maar liefst 1100 niet te werken.

Broken links repareren

Meer dan duizend ‘broken links’! Oef, werk aan de winkel. Het repareren van al deze verouderde links kostte bijna een maand. Elke avond een uurtje aan de slag: links verbeteren, links afvoeren en soms hele alinea’s herschrijven als essentiële links niet meer werkten.

Na deze operatie volgde het grote wachten. Waren de verouderde links inderdaad de oorzaak van de gedaalde pagerank? En zo ja, hoe lang zou het duren voordat Google mijn site zou rehabiliteren? Dat laatste bleek anderhalve maand te zijn. Toen liet Google Analytics van de ene op de andere dag weer een sprongetje zien, maar dan de goede kant op. En inderdaad, de pagerank was weer terug op 5. Het kan haast niet anders of die tijdelijke daling had te maken met die meer dan duizend kapotte links. Ik had mijn lesje geleerd.

Kortom

Dus… staat je website vol met uitgaande links? Vertrouw niet op je bezoekers dat ze zo netjes zijn om verouderde links aan je door te geven. Mijn ervaring is dat ze daarvoor simpelweg niet de moeite nemen.

Je zult dus zelf van tijd tot tijd je hele site moeten doorlopen, al of niet met behulp van een geautomatiseerde tool als Xenu. Geen bijster interessante klus, maar de meerwaarde is groot: niet alleen bezoekers waarderen je content meer als je die up-to-date houdt, maar ook Google doet dat.

Daarbij is het verraderlijke van Google dat je niet meteen gestraft wordt voor verouderde links. Het lijkt er dus op dat dat pas gebeurt als voor Google ‘de maat vol is’: van de ene op de andere dag krijg je een lagere pagerank en dus minder bezoekers.

En de gevolgen daarvan zijn nog weken tot maanden zichtbaar. Heb je eenmaal alle links weer gerepareerd, dan duurt het blijkbaar nog een tijd voordat het almachtige Google zijn sanctie weer ongedaan maakt. Ook voor het up-to-date houden van hyperlinks geldt dus het aloude devies: voorkomen is beter dan genezen.

De tool geeft ook van Yahoo en MSN soortgelijke gegevens. En wat blijkt als we verschillende sites uitproberen: niet Google, maar MSN geeft de meest betrouwbare cijfers.

» www.webconfs.com/domain-stats.php