Beeldherkenning van foto’s met Wolfram Image Identify

Hoe slim computers ook (kunnen) zijn, het simpelweg herkennen van wat er op foto’s, plaatjes en tekeningen afgebeeld staat blijft een grote uitdaging. Mensen herkennen voorwerpen, personen of omgevingen in schier oneindige variaties – hoeveel miljoenen verschillende kattenfoto’s zijn er niet? – terwijl een computer afhankelijk is van een afgebakende set aan criteria die zo’n voorwerp, persoon of omgeving definiëren. Criteria die bijna per definitie niet af te bakenen zijn omdat je voor elke regel ook meteen meerdere uitzonderingen kunt vinden.

Dat wil niet zeggen dat computer helemaal niet overweg kunnen met foto’s. De technieken om een computer te ‘leren’ om foto’s te begrijpen worden steeds geavanceerder, zoals te zien is in een TED Talk van Fei-Fei Li uit maart 2015.

De afgelopen jaren zijn computers sowieso (iets) beter geworden in beeldherkenning en heeft dat al geleid tot enkele interessante nieuwe mogelijkheden in zoektechnieken. Zo kun je met TinEye en Google Afbeeldingen zoeken op internet waar een bepaalde foto of afbeelding voorkomt en kun je ook je eigen fotoverzameling bij Google (een beetje) slim doorzoeken met de zoekmachine. Heb je foto’s in Flickr staan? Dan worden al je foto’s automatisch voorzien van tags en maakt de computer een inschatting van wat er op de foto’s afgebeeld staat. Datzelfde doet Microsoft’s cloudopslagdienst OneDrive inmiddels ook.

Dat stelt (nog) niet heel veel voor want die systemen kunnen alleen datgene herkennen waar weinig variatie in bestaat en min of meer vaste patronen bevat. Ze kunnen met enige mate van betrouwbaarheid herkennen of een foto binnen of buiten genomen is, of er een persoon op staat, of er een muur op staat, lucht of water. Dat soort algemene en generieke dingen. En zelfs dat werkt absoluut niet feilloos.

Wolfram Image Identify

Het bedrijf Wolfram houdt zich bezig met kunstmatige intelligentie en het toepassen daarvan in een computertaal waarmee antwoorden op allerlei vragen berekend en gevonden kunnen worden. De zoektool (Wolfram noemt het liever een computational knowledge engine) Wolfram Alpha is daar een resultaat van. Voor diegenen die wis-, schei- of natuurkunde op school hebben gehad laat Wolfram Alpha zich uitleggen als de zoektool waarin je je die lastige vragen van vroeger kunt tikken en die je een volledige berekening met antwoord teruggeeft. Ik wou dat ik die tijdens mijn middelbare schooltijd tot mijn beschikking had gehad.

Afgelopen week introduceerde Wolfram een nieuwe toevoeging aan de Wolfram Language: ImageIdentify waarmee geprobeerd wordt het afgebeelde op foto’s te herkennen. En lanceerde het bedrijf een website waar je zelf foto’s kunt laten herkennen omdat we nou eenmaal niet allemaal programmeurs zijn die met een computertaal aan de slag kunnen en willen.

wolfram image identify

Op de Image Identify site (of Wolfram Language Image Identification Project om volledig te zijn) kun je foto’s slepen naar het vierkante vak op de voorpagina of uploaden door te klikken in dat vierkant. Wolfram geeft aan dat het een systeem is dat leert van alle input maar dat het inmiddels redelijk goed is geworden in het herkennen van voorwerpen en omgevingen. Image Identify vraagt om feedback van de gebruiker na elke geïdentificeerde foto en daarmee zou het systeem ook steeds beter en beter moeten gaan worden.

Dat moet getest worden

Er is maar één manier om te kijken of Image Identify ook werkt en dat is zelf foto’s gaan uploaden om te zien wat Wolfram er van maakt.

wolfram image identify booksEen foto van een stapeltje boeken gaat helaas meteen verkeerd. Dat kan komen omdat ze slordig gestapeld zijn en je er vanuit een ander perspectief naar kijkt maar wat mij betreft wel meteen een goed voorbeeld dat je nog steeds niet te veel moet verwachten van dit soort systemen.

wolfram image identify kindleMet een Kindle gaat het een stuk beter. Een ereader zou een betere en nauwkeurige omschrijving zijn maar het is zonder twijfel ook een device natuurlijk.

wolfram image identify kobo touchAndere ereaders dan een Kindle worden echter niet herkend. De Kobo Touch – de afbeelding wordt op 97 plekken op het internet gebruikt volgens TinEye  – wordt aangezien voor een afstandsbediening.

wolfram image identify ipadEen iPad dan? Daar maakt Image Identify een machine van terwijl device op zijn minst toch logisch zou zijn. Die suggestie geef ik zelf daarom mee in de hoop dat het systeem er van leert ;)

wolfram image identify roosTijd om het Wolfram iets gemakkelijker te maken. Een rode roos zou toch wel herkend moeten worden? En ja hoor, het meldt zelfs iets nauwkeuriger dat er een rosebud op staat. Een rozeknop.

wolfram image identify stoelStoelen blijken ook een sterk punt te zijn want Image Identify geeft zelfs het correcte type stoel aan.

wolfram image identify katMet al die miljoenen kattenfoto’s op het internet zou het je niet moeten verbazen dat Image Identify veel kennis heeft van katten. Zo veel zelfs dat het ook in gaat op het soort kat en je meteen de Wikipedia gegevens van de kattensoort toont.

Dat portretfoto’s persons zijn, dat weet Image Identify ook. Ongeacht of het onbekende mensen zijn of het om bekende mensen gaat. Heb je een goede foto te pakken van een Heel Bekend Persoon, dan wordt zelfs herkend dat het een ‘Notable Person’ is en benoemt Image Identify wie op de foto staat.

wolfram image identify scarlett johansson
Het systeem herkent volgens mij meer foto’s niet dan wel van bekende personen en het zijn vooral bekende Amerikaanse celebrities waar Image Identify mee uit de voeten kan. Tenzij je natuurlijk de Nederlandse tweelingbroer van Patrick Swayze als minister-president hebt.

wolfram image identify mark rutte
Al met al kun je gerust concluderen dat de beeldherkenning door computers nog steeds verre van perfect verloopt. Het is echter ook duidelijk dat er steeds grotere stappen gezet worden. In de niet al te verre toekomst zullen dit soort systemen veel accurater worden en wordt het de normaalste zaak van de wereld om beeldmateriaal te ontsluiten op de inhoud ervan.

En dan te bedenken dat ik dit ooit pure science-fiction vond!

#

Raymond Snijders

Sinds 1995 houdt Raymond zich bezig met de combinatie van ICT, bibliotheken en onderwijs vanuit het perspectief van (vooral) de bibliotheek en informatievoorziening. Thans is hij werkzaam bij de Hogeschool Windesheim als senior informatiebemiddelaar en houdt hij zich bezig met de digitale bibliotheek, contentlicenties, ebooks en auteursrecht. Over deze onderwerpen en de impact die ze (kunnen) hebben op het onderwijs en bibliotheken blogt hij sinds 2006 op zijn Vakblog. In 2013 won hij de Victorine van Schaickprijs voor zijn blog.

Comments (8) Write a comment

  1. Beste Raymond,

    lees je artikel, zie dat het uit 2015 komt, doe je nog actief iets met beeld herkenning?

    groeten,

    Erik Speckmann

    Reply

Leave a Reply

Required fields are marked *.


This site uses Akismet to reduce spam. Learn how your comment data is processed.

  • © 2006- 2019 Vakblog – werken met informatie
    Aangedreven door WordPress en duizenden liters koffie // Theme: Tatami van Elmastudio
Top