Kan een computer afbeeldingen van negentiende-eeuwse treinongelukken vinden?
13 juni 2017 Thomas Smits Digitale geesteswetenschappen

Researcher-in-residence Thomas Smits is op zoek naar afbeeldingen van treinongelukken: ontploffende ketels, ontsporingen en botsingen. Met KB-collega's onderzoekt hij of, en zo ja, hoe een computerprogramma dit werk kan overnemen. Kan een computer onderscheid maken tussen illustraties en foto's om zo meer licht te werpen op een belangrijke overgangsfase in de visualisatie van het nieuws?

Tijdens het schrijven van een proefschrift kun je behoorlijk genoeg krijgen van je onderwerp. Je zo lang en geconcentreerd met iets bezig houden wordt op een gegeven moment vermoeiend en soms zelfs een beetje saai. Daarom ben ik erg blij dat ik sinds kort voor een tijdelijk onderzoeksproject van zes maanden bij de Koninklijke Bibliotheek in Den Haag werk. Toen ik op mijn eerste werkdag in de trein zat, moest ik denken aan de eerste keer dat ik afbeeldingen van een treinongeluk zag in een negentiende-eeuws geïllustreerd nieuwstijdschrift. Nadat ik me tijdens mijn bachelor vooral had bezig gehouden met de Holocaust en ‘genocidestudies’, besloot ik in het laatste jaar van mijn master dat ik nog één vak moest kiezen dat hier zo min mogelijk mee te maken had. De titel van de cursus ‘Tijdschriften in de negentiende eeuw’ klonk meer dan ver genoeg verwijderd van mijn interesse in de Tweede Wereldoorlog – die je ook een kleine obsessie zou kunnen.

Een olifant op de rails

Misschien komt het omdat ik al mijn hele leven een grote fan ben van treinen, maar ik denk dat onderstaande afbeelding uit de Hollandsche Illustratie mijn leven heeft veranderd. Tijdens het vak over negentiende-eeuwse tijdschriften besloot ik onderzoek te doen naar de visuele representatie van treinongelukken in geïllustreerde nieuwstijdschriften, wat uiteindelijk leidde tot een artikel voor TS> Tijdschrift voor Tijdschriftstudies. Hiervoor zat ik uren in de bibliotheek door oude nummers te bladeren, op zoek naar ontploffende ketels, botsingen en ontsporingen. Ook voor mijn promotieonderzoek, dat zich richt op de transnationale handel in illustraties van het nieuws in de negentiende eeuw, zat ik regelmatig dagen in het archief door dit soort tijdschriften te bladeren.

‘A horde of elephants attacking a train’, De Hollandsche Illustratie, no. 12 (1867) (eigen collectie)
‘A horde of elephants attacking a train’

De Hollandsche Illustratie, no. 12 (1867) (eigen collectie)

‘Scene of the fatal accident at Staplehurst, on the South-Eastern Railway’, Illustrated London News (17 June 1865). Wikimedia
‘Scene of the fatal accident at Staplehurst, on the South-Eastern Railway’

Illustrated London News (17 June 1865). Wikimedia

Fascinerend en frustrerend

Dit soort onderzoek is fascinerend en frustrerend tegelijkertijd. Terwijl ik constant werd afgeleid door afbeeldingen van negentiende-eeuwse uitvindingen, steden, schepen, oorlogen en ontdekkingsreizen, verdwenen de kleine stukjes papier waarmee ik interessante afbeeldingen en artikelen gemarkeerd had tussen de andere pagina’s. Ik begon me af te vragen of dit onderzoek niet makkelijker gemaakt kon worden. Was het, nu bronnen steeds vaker digitaal beschikbaar zijn, niet mogelijk om een computerprogramma bepaalde afbeeldingen te laten vinden? Mijn huidig Researcher-in-residenceproject bij de KB probeert met behulp van computer vision een antwoord op deze vraag te vinden.

Afbeeldingen van het nieuws: illustraties en foto’s

De afbeeldingen van treinongelukken zijn een onderdeel van de visualisatie van het nieuws door geïllustreerde nieuwstijdschriften in de negentiende eeuw. Tot nu toe hebben historici die zich bezighouden met de geschiedenis van de media vaak aangenomen dat de uitvinding van de fotografie gezien moet worden als het startpunt van het objectief in beeld brengen van het nieuws. Dit wordt omschreven als een techno-centrisch perspectief, omdat de technische ontwikkeling van de fotografie de drijvende kracht van deze geschiedenis is. Verschillende andere historici betogen dat rond 1900 zowel illustraties als foto’s werden gezien als objectieve visuele representatie van het nieuws. Omdat ze hiervoor vooral case studies gebruiken, zijn ze echter tot nu toe niet in staat geweest om deze periode adequaat te beschrijven.

Mijn onderzoek bij de KB past twee computer vision technieken toe waarmee de afbeeldingen uit gedigitaliseerde Nederlandse kranten uit de periode 1860-1922 worden ingedeeld in foto’s en illustraties. Hierdoor hopen mijn KB-collega's en ik licht te werpen op deze belangrijke overgangsperiode in de geschiedenis van de visuele cultuur van het nieuws.

Eerste fase: gravures en halftonen

In de eerste fase van mijn project passen Willem Jan Faber, een onderzoekprogrammeur van de KB, en ik een techniek toe die voortkomt uit een project van de Amerikaanse onderzoekers Paul Fyfe en Qian Ge. Fyfe was geïnteresseerd in hoe computer vision kon worden gebruikt om Victoriaanse Engelse geïllustreerde nieuwstijdschriften te analyseren. Ge schreef een computercode die in staat is twee zogenaamde ‘low-level’ eigenschappen van afbeeldingen te analyseren: de pixelratio, het aantal pixels van een lage intensiteit op een afbeelding gedeeld door het totale aantal pixels, en het entropieniveau: de hoeveelheid informatie op een afbeelding. Door deze twee eigenschappen tegen elkaar weg te zetten, waren Fyfe en Ge in staat om afbeeldingen te verdelen in twee groepen: gravures en halftonen.

Gravures, gebruikt voor het reproduceren van illustraties, werden gekenmerkt door een lage pixelratio en een laag entropieniveau, terwijl halftonen, gebruikt voor de reproductie van foto’s, een hoge pixelratio en een hoog entropieniveau lieten zien. Op onderstaande afbeeldingen, een foto en een illustratie van Vladimir Lenin, is te zien hoe deze afbeeldingen er op pixelniveau allebei anders uitzien. Het zijn deze systematische verschillen die de code van Ge gebruikt om de afbeeldingen in te delen.

‘Lenin’, Nieuwe Apeldoornsche courant (23-01-1921).
Geïllustreerd portret van Lenin

‘Lenin’, Nieuwe Apeldoornsche courant (23-01-1921)

Foto portret van Lenin gereproduceerd met de halftoontechniek. ‘Lenin’, Nieuwe Apeldoornsche courant (23-01-1921)
Fotoportret van Lenin gereproduceerd met de halftoontechniek

‘Lenin’, Nieuwe Apeldoornsche courant (23-01-1921)

Detail van het portret van Lenin dat het pixelpatroon van een illustratie laat zien
Detail van het portret van Lenin dat het pixelpatroon van een illustratie laat zien
Detail van een foto van Lenin dat het pixelpatroon van een halftoon laat zien.
Detail van een foto van Lenin dat het pixelpatroon van een halftoon laat zien.

Tweede fase: herkennen van categorieën

In de tweede fase van het project onderzoeken we hoe een combinatie van twee open-source computer vision programma’s (OpenCV/Caffe) gebruikt kunnen worden om de herkenning van gravures en halftonen te verbeteren. Ook kijken we of we deze programma’s kunnen gebruiken om halftonen en gravures in verschillende categorieën in te delen. We verwachten dat illustraties van het nieuws, karikaturen, schaakproblemen en weersvoorspellingen allemaal als gravures geclassificeerd zullen worden door de code van Ge. Met behulp van de algoritmes van OpenCV en Caffe zijn we misschien in staat om deze groep gravures verder uit te splitsen.

Deze verschillende categorieën zouden gebruikt kunnen worden om allerlei mediahistorische vragen te beantwoorden. Vanaf wanneer publiceerden Nederlandse kranten bijvoorbeeld politieke karikaturen op grote schaal? Of hoe werden kaarten gebruikt bij verslaggeving over oorlogen?

Hoe kijkt een algoritme naar een treinongeluk?

Computer vision programma’s zijn tegenwoordig in staat om gezichten en allerlei objecten, zoals auto’s of bananen, in foto’s te herkennen. Ik twijfel er echter aan of deze programma’s me ook kunnen helpen bij het vinden van afbeeldingen van treinongelukken in negentiende-eeuwse geïllustreerde nieuwstijdschriften.

De algoritmes van OpenCV en Caffe zijn vooral ontwikkeld om foto’s en bewegend beeld met een hoge definitie en veel contrast te analyseren. Dit zorgt ervoor dat ze vaak ‘verkeerd’ kijken naar de afbeeldingen van een veel lagere kwaliteit in negentiende-eeuwse kranten en tijdschriften. Terwijl wij, met onze ogen, in staat zijn de overeenkomsten tussen een treinongeluk op een korrelige illustratie en een digitale foto te zien, kijken algoritmes op een andere manier en zien ze dus ook iets totaal anders. Toch hoop ik dat mijn project een stap in de goede richting is.

Reacties

Reageer op deze blog

Plain text

  • Geen HTML toegestaan.
  • Adressen van webpagina's en e-mailadressen worden automatisch naar links omgezet.
  • Regels en paragrafen worden automatisch gesplitst.
Bij het indienen van dit fomulier gaat u akkoord met het privacybeleid van Mollom.