Av Wibke Weber

90 skudd på 10 sekunder. Flere enn 1100 skudd i alt. Det var resultatet av skyteepisoden i Las Vegas i oktober 2017. ‘Hvordan klarte han å skyte så raskt?’ spurte New York Times og analyserte skuddtakten. Den tilsvarte omtrent skuddtakten til et helautomatisk våpen med 98 skudd på 7 sekunder. Til sammenligning ble 24 skudd avfyrt på 9 sekunder under masseskytingen i Orlando i 2016.

I en grafisk framstilling har New York Times visualisert antall skudd per sekund i skyteepisodene sammen med skudd avfyrt fra et helautomatisk våpen. Hver prikk tilsvarer ett skudd. Grafikken er ikke spektakulær, men ikke desto mindre vant den Malofiej-prisen i 2018 i kategorien Nyhetsvarsel. Du kan se grafikken her.

Det slående med denne grafikken er ikke hva du ser, men hva du hører: den raske skuddsekvensen og det store antallet skudd. Hvert skudd representerer den dumpe lyden av vold – det føles som å stå i en skur av kuler.

Å høre er forskjellig fra å se

Det har hittil vært få tilfeller av journalistisk datavisualisering for lytting. Som begrepet sier, dreier dette seg om å visualisere data. Det er normalt bare visualisering som kan gjøre data tilgjengelig, men i tilfellet med New York Times-grafikken er enda et nivå av data transformasjon (omdanning) lagt til den visuelle representasjonen: omdanning til lyd, eller lydbearbeiding.

Lydbearbeiding betyr: data gjøres tilgjengelig og konkret ved å omforme dataene eller aspekter ved dataene til lyd. Det innebærer at den underliggende informasjonen blir presentert på en ny måte. Fordi å høre er forskjellig fra å se.

Vi lytter til en melodi og blir berørt av den. Vi hører støy og snur oss for å se hva det er. Vi hører et signal og blir på vakt. Vi hører en stemme og blir beroliget. Visualiserte data i form av stolpediagram og grafer virker ofte nøkterne og objektive, mens lydbearbeidede data vekker følelser.

Multimodal (sammensatt) datavisualisering som bruker lydbearbeiding følger en tredelt logikk:

1. En numerisk logikk basert på matematiske kalkulasjoner, ofte i form av tabeller og kildekoder

2. Bildets logikk, som innebærer å overføre data til en visuell tilnærmingsmåte. Bildets logikk tilfører datasettet et nytt, subjektivt meningsnivå,  siden det å visualisere data alltid innebærer tolkning og subjektive valg.

3. Lydbearbeiding: å gjøre data hørbart. Dette tredje nivået, som også innebærer en tolkning, kan enten videreføre den visuelle logikken eller legge ytterligere et nivå av mening til visualiseringen. Det siste er tilfelle med New York Times-grafikken, der skuddene umiddelbart skaper bilder av masseskyting i brukerens sinn. Lydløs, animert grafikk har ikke samme effekten. Hvorfor? Fordi det å høre alltid vekker følelser.

Øret oppfatter ting på en mer differensiert og sensitiv måte enn øyet. Hvis vi kunne se like godt som vi kunne høre ville vi være i stand til å se en 10 watts lyspære på 1000 km avstand. Vi kan høre over et omfang på 10 oktaver, men øyet oppfatter ikke mer enn en ‘oktav’ av lys.

‘Oktaver’ er et stikkord for et annet eksempel på lydbasert datavisualisering. Datavisualiseringen til den tyske avisen Berliner Morgenpost går over flere oktaver. (Du finner visualiseringen her)  

Data-teamet overførte den betydelige nedgangen til det tyske sosialdemokratiske partiet (SPD) til musikk, basert på 3838 spørreundersøkelser fra januar 1998 til februar 2018. Den dype tonen som avslutter lydklippet høres dramatisk ut og gir en følelse av at det er slutt for partiet – noe som leder oss til neste punkt: lydbearbeidingens estetiske virkemidler.

Punkt og linjer, rytme og klang

Estetiske virkemidler i datavisualisering, og deres innvirkning på hvordan vi oppfatter en grafisk framstilling, er aspekter som utforskes av forskningsprosjektet INDVIL (se lenke under). De estetiske elementenes visuelle muligheter er nærmest uendelige: punkt, linjer og flater kan bli utformet og variert m.h.t størrelse, mønster, retning, form, farge og posisjon. Med stadig bedre teknologi har disse grunnleggende enhetene blitt utvidet med flere variabler, som for eksempel bevegelse, fart, retning, flimmer, rytme, og synkronisering. For eksempel vil en animert grafisk framstilling virke mer imponerende enn en statisk, og derved formidle et annet budskap. Data kan også bli synliggjort i form av visuelle metaforer.

Vi vet fra film-musikk og lyddesign at det også finnes mange virkemidler innen lyd. Datalyden fra de to journalistiske visualiseringene, og derved også budskapet, blir skapt av forskjellige parametre: volum, tonehøyde, varighet, klang, tempo, rytme, akkorder, og musikalsk stil. Interessante forskningsspørsmål kan da være: Hvordan endrer budskapet i en visualisering seg når dataene presenteres i Vivaldi – stil? Bør lyden av skuddene som avfyres av en skytter høres realistisk ut eller bør lydbearbeidingen være mer symbolsk? Hvor pålitelig er egentlig lydbearbeiding? Hvilke metoder er brukt for å endre data til lyd? Hvilket program eller hvilken algoritme er de lydbearbeidede dataene bygd på? Hva er forholdet mellom denne type data og journalismens norm om objektivitet? Tilfører lytteversjonen et nytt og overraskende perspektiv til dataene?

Dette er spørsmål som bør besvares, særlig når ny teknologi som utvidet og virtuell virkelighet eller kunstig intelligens kommer inn i nyhetsredaksjonene. Kunstig intelligens og virtuell virkelighet tillater oss å dykke direkte ned i data, å samvirke nærmest kroppslig med stolpe- og kakediagram eller å zoome inn på tidslinjer og kart. Det dreier seg ikke lenger bare om å se informasjon, det handler om å føle den.

New York Times (5 oktober 2017): Nine Rounds a Second: How the Las Vegas Gunman Outfitted a Rifle to Fire Faster. https://www.nytimes.com/interactive/2017/10/02/us/vegas-guns.html

Berliner Morgenpost (3 mars 2018): Der Sound zum tiefen Fall der SPD
https://interaktiv.morgenpost.de/spd-absturz-sound/ (The sound of the substantial fall of the SPD). De som er interessert i å remikse den politiske lyden kan laste ned rådataene, inkludert notearket.

 INDVIL-prosjektet: Innovative Data Visualization and Visual-Numeric Literacy. https://indvil.org