Continu archiveren van tweets met Twitter Archiver

Misschien wil je alle tweets bijhouden over het WK 2014? Over een congres of bijeenkomst waar je naar toe gaat? Of wil je alle tweets verzamelen over bepaalde actuele gebeurtenissen? Dan is het wel jammer dat Twitter zelf niet de mogelijkheid geeft om alle gevonden tweets (aan de hand van een zoekactie op een zoekwoord of hashtag) te exporteren naar een PDF of Excelbestand.

Ik gebruik zelf een Google Spreadsheet (met scripts) om wekelijks een verslag te maken van alle #blogpraat tweets maar die bevat nogal veel opties en is misschien eigenlijk een beetje te complex daardoor voor zo af en toe bijhouden (en bewaren) van tweets. Digital Inspiration knutselde echter een vereenvoudigde versie van een Google Spreadsheet in elkaar en biedt dat aan onder de naam Twitter Archiver.

Twitter Archiver

Het idee achter Twitter Archiver is ook eenvoudig. Dankzij de scripts van Google kan een Google Spreadsheet zoekacties uitvoeren bij Twitter – via jouw account – en de gevonden resultaten meteen opslaan in de spreadsheet. Elke paar minuten wordt die zoekactie herhaald en op die manier bouw je dus een archief op van gevonden tweets. Het grote verschil met het door mij gebruikte TAGS is dat Twitter Archiver niet bedoeld is om (maximaal) enkele duizenden tweets uit het verleden te verzamelen maar dat het script bijhoudt welke tweets geplaatst worden vanaf het moment dat je het aanzet.

Twitter Archiver haalt maximaal 100 oude tweets op voordat die gaat bijhouden welke nieuwe tweets er komen dus het is niet geschikt om achteraf nog alle tweets te gaan verzamelen over een bepaald onderwerp. Daar is TAGS wel goed in.

Hoe stel je Twitter Archiver in?

twitter archiver

  1. Allereerst maak je een kopie van Twitter Archiver naar je eigen Google Drive account door hier te klikken. Je kunt daar eventueel een eigen naam aan geven zodat je het bestand later makkelijker herkent;
  2. Vervolgens klik je onderaan op het (enige) tabblad om de naam te veranderen die daar staat. Wat je daar invult is namelijk de zoekactie die zometeen uitgevoerd wordt op Twitter. Je kunt daar alles invullen wat je ook in de zoekmachine van Twitter kunt gebruiken – inclusief boleaanse operatoren – maar in bovenstaand voorbeeld zie je dat ik (weer) #blogpraat gebruik;
  3. Twitter Archiver moet kunnen zoeken op Twitter en dat betekent dat je op je eigen account een app moet aanmaken die de rechten krijgt van Twitter om dat te kunnen doen. Deze app kun je aanmaken op apps.twitter.com. Daar log je in met je Twitter inloggevens om vervolgens een eenvoudig invulscherm te krijgen voor het aanmaken van een app. Geef het een naam naar keuze, vul een omschrijving en (je eigen) website in en zorg ervoor dat bij de callback URL https://spreadsheets.google.com/macros/ komt te staan. Vink aan dat je akkoord bent met de voorwaarden en klik op ‘Create your Twitter Application’ om de app aan te maken;
  4. Wat je nodig hebt van je zojuist aangemaakte app zijn de API Key en API Secret codes waarmee Twitter Archiver de zoekacties kan uitvoeren op Twitter. In het scherm van je nieuwe app vind je bovenaan een tabblad API Keys en dat is de plek waar je de beide codes aantreft;
  5. Ga nu terug naar Twitter Archiver in je eigen Google Drive en klik in het menu Tools op Script Editor. Je krijgt een kort stukje script te zien waarin de API Key en API Secret codes ingevuld moeten worden. Kopieer en plak die dus uit stap 4 en let op dat de aanhalingstekens moeten blijven staan;
  6. Ga naar het menu Run en kies voor Initialize. Allereerst word je gevraagd om toestemming te geven dat het script mag draaien op je Google Drive en, nadat je deze gegeven hebt, mag je ook toestemming geven dat Twitter Archiver je Twitter account gebruikt om de tweets te zoeken/verzamelen. Hierbij geef je alleen leesrechten dus je hoeft je geen zorgen te maken dat Twitter Archiver rare dingen gaat tweeten op je account;
  7. En klaar! Twitter Archiver haalt nu de laatste 100 tweets binnen die voldoen aan je zoekactie en vult dit elke paar minuten aan met (eventuele) nieuwe tweets. Wil je dit automatische zoeken en aanvullen stoppen, dan ga je terug naar de Script Editor en kies je in het menu Run voor Stop. Het wordt ook gedemonstreerd in de video van de maker zelf bovenaan deze blogpost.

Twitter Archiver laat ook wat andere gegevens zien over de tweets dan TAGS. Zo zie je in de afbeelding hierboven dat van elke twitteraar wordt getoond hoeveel volgers hij/zij heeft en hoeveel accounts die zelf volgt. Ook wordt per tweet aangegeven hoe vaak ze geretweet zijn of favoriet zijn gemaakt.

Aangezien het een Google Spreadsheet is kun je er vervolgens alles mee doen wat je ook met een reguliere spreadsheet kan. Zelf download ik de spreadsheet als Excel bestand zodat ik er nog wat bewerkingen op kan loslaten (zoals het verwijderen van sommige kolommen en de tweets van spammers) maar je kunt het ook als een PDF-bestand bewaren voor je eigen archief. Leuk om later nog eens terug te lezen ;)

#

Meerdere MP3’s samenvoegen tot één bestand met File Joiner

file joinerSoms kun je uren besteden aan iets voordat je ineens bedenkt dat er toch echt wel een eenvoudigere oplossing moet zijn. Dat had ik vanmiddag toen ik bezig was met het hernoemen van mp3 bestanden zodat ik ze daarna kon uploaden naar Google Play Music. Dat zijn audioboeken die bestaan uit soms tientallen losse tracks die je logischerwijs in de goede volgorde moet afluisteren. Omdat één verhaal regelmatig over meerdere cd’s verdeeld is krijg je bij het rippen niet automatisch de goede bestandsnamen mee en gaat het fout bij het afspelen.

De oplossing hiervoor was altijd het hernoemen van alle losse mp3’s in een eigen mapje zodat ze door mijn mp3 speler in de correcte volgorde werden afgespeeld. Google Play Music kent echter geen mapjes en ik wilde mijn bibliotheek daar niet ‘vervuilen’ met vele tientallen losse mp3’s die per se alleen maar gezamenlijk – in 1 specifieke volgorde – afgespeeld moeten worden. Ik zat nog even te prutsen met afspeellijsten waarbij je die volgorde wel kunt aangeven maar zag dat daarvoor nog steeds al die mp3’s los geupload moesten worden. En dat vond ik dus geen optie.

Ik bedacht me dat er toch vast wel een gratis programma moest zijn om mp3 bestanden samen te voegen tot één groot mp3 bestand en ja hoor, die had ik al snel gevonden via een blog van een lotgenoot. In een reactie op dat bericht echter meldde iemand dat die gebruik maakte van een piepklein gratis programma om precies hetzelfde te doen: mediabestanden, waaronder mp3’s, samenvoegen tot één groot bestand. Zonder dat je daarvoor weer een ander vereist (Windows) hulpprogramma geïnstalleerd hoeft te hebben.

File Joiner

Dat bleek dus File Joiner te zijn. Een klein programmaatje van nog geen 100Kb dat je zelfs zonder installeren – je hoeft het gedownloade bestand alleen maar te unzippen – van een USB stick kunt draaien. Het is bedoeld om opgesplitste bestanden – met bestandsextensies 001, 002 enz – weer samen te voegen tot het oorspronkelijke bestand maar het werkt ook vlekkeloos om mp3’s aan elkaar te plakken.

file joiner
Samenvoegen is een kwestie van de losse bestanden toevoegen aan de bestandenlijst, eventueel in de goede volgorde zetten met de pijlen aan de rechterkant, een naam bedenken voor het totaalbestand en op Join klikken. Twee seconden later heb je één totaalbestand dat je op je mp3 speler kunt zetten of, zoals in mijn geval, kunt uploaden naar Google Play Access. Doe je dat laatste, hou er dan rekening mee dat muziekbestanden bij Google Play Music maximaal 300MB groot mogen zijn. Daar kwam ik ook pas achter nadat 1 cd met alle 40 tracks zo’n 500 MB groot bleek te zijn. In dat geval zul je ofwel de tracks in wat lagere kwaliteit moeten rippen om de bestandsgrootte kleiner te krijgen (wat prima kan voor audioboeken) of toch twee grotere mp3’s moeten maken in plaats van eentje.

Volgende klus is één mp3 maken van The War Of The Worlds want die staat wel als compleet album op Google Play Music All Access (en Spotify) maar ik vergeet telkens de shuffle functie uit te zetten ;-)

Oh ja, File Joiner is freeware, 100% vrij te gebruiken en is beschikbaar onder een Creative Commons Naamsvermelding-Geen Afgeleide Werken licentie. Wat ik gewoon fantastisch vind.

#

Archiveren van tweets in een Google Spreadsheet met TAGS [update]

TAGS 5
Vorig jaar schreef ik een blogpost om tweets te archiveren (en te analyseren) met behulp van TAGS (Twitter Archiving Google Spreadsheet). Die heb ik gebruikt om verslagen te maken van de twitterchat #blogpraat maar na een tijdje werd het meer een backup tool omdat we Tweetreports gebruikten om het verslag te maken.

Een site waar je – zelfs tegen betaling – ook eenvoudig en snel goede verslagen kunt genereren van een twitterchat blijkt echter nog steeds een zeldzaamheid te blijven. De site van Tweetreports werkt al een maand niet en dus wilde ik terugvallen op TAGS. Maar ja, die werkte niet meer nadat in maart van dit jaar wijzigingen zijn doorgevoerd bij Twitter. Om de nieuwe API 1.1 te gebruiken moet er nu altijd geauthenticeerd worden via het OAuth protocol. Dat ‘applicatie X vraagt toestemming om gebruik te maken van je Twitter account’ scherm dat je ongetwijfeld wel eens tegengekomen bent.

Gelukkig wordt TAGS actief bijgewerkt door zijn maker en was er een nieuwe versie beschikbaar: TAGS 5.

Hoe gebruik je TAGS nu?

Ik ben met een nieuw archief begonnen en heb dus niet geprobeerd om mijn oude TAGS werkend te krijgen. Er staat wel iets hierover op de site van de maker maar voor mij was dat geen vereiste.

  • De recentste versie van TAGS kun je kopieren naar je eigen Google Drive door hier te klikken. Geef het een naam naar keuze als de standaard naam je niet bevalt. TAGS neemt je door de instructies heen dus je hoeft eigenlijk alleen maar het stappenplan in de spreadsheet zelf te volgen;
  • De eerste keer moet je op Enable custom menu klikken om het script te authenticeren, gevolgd door een twee keer klikken om twee nieuwe menu opties erbij te krijgen, TAGS en TAGS Advanced. Je ziet ze in bovenstaande schermafdruk ook staan;
  • Ga onder de menu optie TAGS naar Twitter API authentication om daar het proces te starten een “applicatie” aan te maken bij Twitter die toegang mag krijgen tot jouw Twitter account;
  • Een nieuwe app kun je aanmaken op dev.twitter.com. Daar log je in met je Twitter inloggevens om vervolgens een eenvoudig invulscherm te krijgen voor het aanmaken van een app. Geef het een naam naar keuze, vul een omschrijving en (willekeurige) website in en zorg ervoor dat bij de callback URL https://spreadsheets.google.com/macros/ komt te staan. Klik op ‘Submit’ om de app aan te maken;
  • In het vervolgscherm kun je je app verder configureren maar het enige wat we nodig hebben zijn de Consumer Key en de Consumer Secret Key voor het koppelen van TAGS aan de zojuist gemaakte app. Vul die vervolgens ook in als TAGS er naar vraagt;
  • Als derde stap vul je de zoekterm in waarop gezocht moet worden (#blogpraat in mijn geval);
  • Klik in het menu TAGS op Run Now! om de zoekactie uit te voeren. De gevonden tweets worden automatisch geïmporteerd in het tabblad Archive.

TAGS advanced

Bij de Advanced settings kun je een specifieke periode opgeven waarin gezocht moet worden. Default doorzoekt het script zover mogelijk terug (iets meer dan een week). Bij Continuous/paged kun je tussen die twee kiezen om ofwel alle tweets in 1 Archive tabblad te krijgen danwel dat TAGS voor elke keer een nieuw tabblad met gevonden tweets aanmaakt. Aangezien een twitterchat wekelijks is werkt paged voor mij beter.

Bij Follower count filter kun je spammers al een (beetje) filteren door aan te geven dat een twitteraar minimaal een instelbaar aantal volgers moet hebben. Ik gebruik dat zelf niet omdat ik niet per ongeluk een beginnende twitteraar wil filteren en het is relatief weinig moeite om achteraf spamtweets handmatig te verwijderen.

Number of tweets is het maximaal aantal tweets dat opgehaald wordt. Standaard staat dat op 1500 en met zo’n 500 tot 700 tweets per week is dat prima. Je kunt tot 18.000 gaan maar de toelichting waarschuwt dat je dan wel eens problemen kunt gaan krijgen omdat het script dan een time out kan krijgen. Ik heb dat zelf niet geprobeerd.

In het Archive tabblad staan nu alle tweets. Dit is een reguliere spreadsheet dus hier kun je ook in bewerken. Ik exporteer zelf altijd het tabblad naar een Excel document toe en bewerk het daar door spamtweets te verwijderen en een aantal (onnodige) kolommen te verwijderen.

Bij Summary krijg je mooie statistieken te zien over de tweets in je Archive. Top tweeters, aantallen tweets, retweets, getweete links en nog veel meer. In het tabblad Dashboard krijg vervolgens je enkele van die statistieken ook nog als grafieken te zien samen met een lijstje van de meest geretweete tweets de afgelopen 24 uur.

Als je alle tweets alleen archiveert in TAGS dan kun je met File -> Publish to the web je twitterarchief ook publiceren als webpagina. Dat archief kun je vervolgens ook nog automatisch laten bijwerken met nieuwe tweets door met TAGS -> Update archive every hour het script elk uur naar nieuwe tweets te laten zoeken.

#

  • © 2006- 2021 Vakblog – werken met informatie
    Aangedreven door WordPress en duizenden liters koffie // Theme: Tatami van Elmastudio
Top