ESS – European Social Survey er blant de største europeiske intervjuundersøkelsene, og blir gjennomført annethvert år. Totalt har 38 land deltatt i datainnsamlingen. Undersøkelsen gir sammenlignbare forskningsdata om europeeres holdninger, levekår, identitet og politisk interesse.

ESS er en europeisk forskningsinfrastruktur, en såkalt ERIC, og NSD – Norsk senter for forskningsdata er arkiv for ESS sine datasamlinger.

Over 6000 vitenskapelige publikasjoner internasjonalt baserer seg på data fra ESS, og databasen har nesten 200 000 brukere. Intervjuundersøkelsen har vunnet flere priser, og det er alltid en begivenhet når nye data slippes.

Finne et godt alternativ til personlige intervjuer

Sammenlignbarheten til ESS-data baserer seg i stor grad på mest mulig synkront feltarbeid på tvers av deltakerlandene. Kvaliteten bygger blant annet på profesjonelt gjennomførte intervjuer med strenge krav til prosedyrer og dokumentasjon. (Les mer i faktaboksen).

Hvordan sikrer vi forskningen kontinuitet og sammenliknbare data midt i en global pandemi? I dette blogginnlegget vil jeg fortelle litt om dilemmaene ESS har støtt på, og hvordan ESS-teamene har jobbet for å løse dem.

Opprinnelig var planen å starte innsamling av data til denne runden (ESS 10) høsten 2020. Pandemien gjorde at det var usikkert hvorvidt folk kunne eller ville la seg intervjue. Ville det komme noen ny(e) bølge(r) av viruset utover høsten, vinteren og i 2021?

Nye bølger kom, og Slovenia – det eneste landet som dristet seg til å starte feltarbeidet høsten 2020 – ble på grunn av økende smitte pålagt fra landets myndigheter å avslutte arbeidet.

Det ble klart at denne gangen måtte det gjøres tilpasninger for å kunne gjennomføre datainnsamlingen.

Ulike tilpasninger for ulike land

ESS-landene er svært ulike: Mens blant annet nordiske land har høy grad av digitalisering, erfaring med web-basert datainnsamling og kan trekke utvalgene fra befolkningsregistre, er situasjonen ofte annerledes for land i Sør- og Sørøst-Europa.

Siden i høst har teamet bak infrastrukturen jobbet med å kunne tilby nettbaserte spørreskjema og papirspørreskjema som alternativ for deltakerlandene, og videointervju som supplement til personlig intervju.

Hvilken løsning hvert enkelt land går inn for, baserer seg på mange forhold utover pandemisituasjonen – som befolkningens digitale tilgang og ferdigheter, og landets erfaring med andre datainnsamlingsmetoder enn personlige intervjuer.

Mange nasjonale team er også avhengige av samarbeid med et datainnsamlingsbyrå, med tilgang på erfarne intervjuere og kjennskap til ulike datainnsamlingsmetoder (multimodal datainnsamling).

I mai i år måtte hvert land avgjøre om de trodde den tradisjonelle tilnærmingen med personlige intervju ville være gjennomførbar i hele landet, og for alle aldersgrupper (15 og oppover) – eller om en i stedet ville bruke web- eller papirbaserte spørreskjema som respondenten fyller inn selv, uten intervjuer til stede.

Alt feltarbeid må være avsluttet innen utgangen av januar 2022.

Det ser i dag ut som om 7 av de 32 landene som deltar i årets datainnsamling vil velge den i ESS-sammenheng nye metoden der respondentene selv fyller inn spørreskjemaet (på nett eller på papir) – men det kan bli flere.

Testing og tilpasning

I tillegg til forsinkelsene har pandemien dermed gitt ESS mye merarbeid i alle faser. Alt fra planlegging, oversettelse, testing av spørreskjemaet i ulike land og kvalitetssikring av ulike gjennomføringsmåter i deltakerlandene måtte tilpasses.

Ulike innsamlingsmetoder fører til ulike svarmønstre fra respondentene, og kan også føre til forskjeller i hvor mange og hvem som svarer på undersøkelsen.

For å redusere slike effekter er spørreskjemaene blitt tilpasset de ulike innsamlingsmetodene, og flere tester har blitt gjennomført for å undersøke bl.a. respondentenes evne og vilje til å besvare det omfattende ESS-spørreskjemaet som nett- eller papirskjema i ulike land.

Videre er det lagt ned mye arbeid i å utvikle prosedyrer for å rekruttere flest mulig til å delta i undersøkelsen. Man har også testet ulik metodikk for koding av data samlet inn med ulike metoder. Justeringer i surveydesignet har så blitt gjort på bakgrunn av testingen.

Omfattende dokumentasjon i alle ledd har lagt til rette for så god sammenliknbarhet av data på tvers av land som mulig.

Muligheten til å sammenlikne data

Men vil data som kommer ut av denne rundens flermodale datainnsamlingsprosess ha like høy kvalitet som data fra foregående runder, og vil de være sammenliknbare på tvers av tid og land?

Avgjørelsene som blir tatt nå, vil kunne bidra til å skape brudd i ESS’ tidsserier. For en tverrnasjonal studie er spørsmålet om vi skal velge sammenlignbarhet over tid på bekostning av sammenlignbarhet mellom land?

I runde 10 har ESS valgt å gå ned i spagat – ved å kjøre personintervjuer og selvutfylling av respondentene parallelt. Men innenfor ett land kan man bare anvende en av innsamlingsmetodene.

I neste runde, planlagt for våren 2022, er ett mulig veivalg at ESS velger å gå over til websurvey – støttet av papirskjema i enkelte land. Dette ville i så fall bety et brudd i ESS’ tidsserier.

Det vil uansett allerede for ESS10-data bli mer krevende for brukerne å analysere data som er samlet inn med ulike metoder.

ESS kommer til å publisere data fra de to ulike innsamlingsmetodene separat, og gi veiledning i hvordan brukerne kan kople dataene.

Koronadata

Data som kan brukes til å belyse befolkningens erfaringer og holdninger i forbindelse med Koronapandemien er etterspurte.

For en studie som ESS – der veien fra ferdig utarbeidete spørreskjemaer til data er innhentet og publisert er lang – var spørsmålet hvorvidt man skulle samle inn slike tidsspesifikke data overhodet.

ESS har valgt å gjøre dette, men Covid-modulene håndteres utenom hovedspørreskjemaet. Landene som deltar kan inkludere disse som «landspesifikke spørsmål».

Disse spørsmålene har blitt utarbeidet av europeiske forskergrupper.

Når blir nye data klare?

Data fra ESS runde 10 vil trolig blir tilgjengeliggjort først høsten 2022. Dette inkluderer data fra alle land og innsamlingsmetoder. Mens forskerne venter på nye kvalitetsdata, viser vi til våre eksisterende ESS-data.

Erfaringen fra pandemien og hvordan surveymiljøene har valgt å håndtere disse, vil bli avgjørende for datas sammenliknbarhet og anvendelse.

Fra dataarkivets side kan vi melde at forberedelsene til datainnsamling i Covid 19-modus har vært utfordrende, arbeidskrevende og lærerike.

Sammen med de andre partnerne i ESS-infrastrukturen står vi nå bedre rustet til å ta de store avgjørelsene om ESS’ framtid.