Sociale netwerken als Facebook, LinkedIn en Twitter zijn ook als bron van informatie en nieuws niet meer weg te denken. Als je zoekt in Google vind je tegenwoordig gegarandeerd resultaten uit deze sociale netwerken bij de eerste set zoekresultaten en voor journalisten, marketing/PR- en ook informatieprofessionals zijn tweets en berichten of updates een belangrijk onderdeel geworden van hun werk. Des te vervelender is het dat het zoeken naar deze content nog steeds lastig is. Twitter beschikt zelf over een zoekfunctie waarmee je maar een klein deel van de verzonden tweets kunt doorzoeken. Goed, ze sleutelen wel flink aan die zoekfunctie en ze hebben het mogelijk gemaakt dat iedere gebruiker zijn of haar eigen archief kan downloaden maar het blijft onbetrouwbaar om tweets van meer dan een week oud te zoeken via de site. Twitter wil niet de miljoenen euro’s investeren die nodig zijn om de miljarden bestaande tweets – en de miljoenen tweets die er dagelijks bij komen – te indexeren en beschikbaar te maken.

Wat Twitter wel gedaan heeft is dat ze het volledige archief verkocht hebben aan enkele bedrijven en instellingen, inclusief toegang tot de Twitter API en daarmee ook alle actuele tweets. Aan de Library of Congres bijvoorbeeld maar ook aan databedrijven DataSift, Gnip en Topsy. Topsy is van die bedrijven een bekende want die hebben al jaren een zoekmachine waarmee je tweets kon doorzoeken.  In 2010 en 2011 heb ik dat nog eens uitgebreid uitgeprobeerd maar was toen niet onder de indruk van de volledigheid, ook al kon je wel (veel) verder terugzoeken dan met de zoekfunctie van Twitter.

Maar Topsy heeft wel al die miljoenen geïnvesteerd en maakte enkele dagen geleden bekend dat ze nu alle 425 miljard tweets sinds het begin van Twitter in 2006 geïndexeerd en doorzoekbaar hebben via hun site. Nieuwe tweets worden realtime toegevoegd aan de index en dat zorgt er  – samen met de Google+ updates – voor dat Topsy in één keer de enige zoekmachine is geworden waar je alle openbare tweets kunt terugzoeken.

Zoeken
Topsy biedt een eenvoudige zoekinterface op de voorpagina waarmee je, net als bij Google, meteen kunt gaan zoeken naar tweets. Standaard doorzoek je alle gegevens in de index – inclusief Google+ berichten – maar je ziet kopjes boven de zoekbalk staan die als tabs dienen om specifiek en alleen te zoeken naar links, tweets, photos, videos en influencers. Die eerste vier spreken voor zich denk ik maar influencers verdient wel wat toelichting. Topsy gebruikt een bepaalde rekensom om vast te stellen welke twitteraars invloed hebben op anderen mbt een bepaald onderwerp. Bijvoorbeeld omdat ze er vaak berichten over plaatsen en (veel) volgers en retweets hebben die ook gerelateerd zijn aan dat onderwerp.

Het geavanceerde zoekscherm is redelijk goed verstopt op de site maar je kunt in de eenvoudige variant ook gebruik maken van zoekoperatoren om wat slimmer en rechtstreeks te zoeken.

Als voorbeeld heb ik echter alles doorzocht op de enkelvoudige term Vakblog. Ik wist zeker dat ik daar wel iets van zou kunnen terugvinden :)

Er komt dan wel meteen wat meer informatie op je af. In de linkerkolom zie je mogelijkheden om de zoekresultaten in het hoofdgedeelte nog nader te verfijnen op datum, categorie content en taal. Helemaal bovenaan zie je dat die zoekresultaten standaard op relevantie gesorteerd zijn maar je kunt daar kiezen om ze opnieuw te sorteren met de recentste of oudste resultaten eerst.

Het hoofdgedeelte met de zoekresultaten heeft nog zijn eigen balkje erboven met de Topsy Sentiment Score en een verwijzing naar Topsy Analytics, waarover zometeen meer. In de zoekresultaten vind je natuurlijk de tweets en links terug waarbij hier per tweet en link ook aangegeven wordt hoeveel mentions en retweets er daarvan waren. Als je er op doorklikt krijg je een overzicht van alle tweets en (invloedrijke) twitteraars die jouw tweet geretweet hebben en – in bovenstaand voorbeeld – verwezen naar die specifieke blogpost. De gevonden tweets zijn niet statisch want je kunt alle tweets gewoon retweeten, favoriet maken of alsnog een reply sturen.

En het goede nieuws is dat Topsy snel en volledig lijkt te zijn. Ik kon mijn eigen eerste tweets uit 2007 zonder problemen terugvinden en zag ik weer hoe enthousiast ik ooit was over Google Wave. Het maakt niet uit welke zoekterm je intikt, je gaat grote hoeveelheden informatie terugvinden in Topsy. Ik geloofde er eigenlijk al niet meer in maar het lijkt er op dat je nu toch echt kunt googelen op tweets. Alle tweets. Gratis beschikbaar.

Topsy Analytics
Nu gaat alleen de zon maar voor niks op en dat betekent dat ook Topsy inkomsten krijgt door diensten aan te bieden waarbij het gigantische archief aan tweets geanalyseerd wordt. Hoewel je met de zoekmachine zonder problemen alle tweets kunt terugvinden kun je ze niet opslaan of exporteren om ze elders nader te analyseren. Met name voor marketing- en PR doeleinden kan het zeer interessant zijn om dit juist wel te doen en dat geldt eigenlijk niet minder voor (data)journalisten en informatieprofessionals.

Voor de uitgebreide Analytics dienst moet – vanzelfsprekend – betaald worden maar er is een eenvoudige Topsy Analytics beschikbaar die gratis is. Hierbij kun je tot maximaal drie zoektermen in een grafiek uitgezet zien hoeveel tweets er geplaatst zijn in de laatste maand. Je kunt ook, zoals je hierboven zag, direct vanuit de zoekresultaten doorklikken naar de analysegrafiek van je zoekterm.

Exporteren van tweets of zelfs de grafiekgegevens lijkt niet tot de opties te behoren en voor zover ik het kan zien is dat ook niet mogelijk indien je betaalt voor Topsy Pro. Niet dat ik dat van plan was want er staan geen bedragen bij en dan weet je dat het duur is.

Tweets zoeken zoals het hoort
Hoewel ik het erg leuk had gevonden als je wat meer analysemogelijkheden had gehad (bijvoorbeeld tweets over Syrië per land) en het zeker fijn was geweest als je gevonden tweets ook had kunnen exporteren voor een eigen rapportage is het al fantastisch dat je eindelijk een goed werkende en volledige zoekmachine hebt voor tweets. Het heeft 7 jaren geduurd maar nu kan iedereen één van de grootste informatiebronnen op internet gratis raadplegen.

Mooi toch?

Update 16 december 2015: Apple kocht Topsy in 2013 en sloot na twee jaar in december 2015 de site zonder enige waarschuwing. Topsy is dus niet meer.

#