Bias er et begrep som stadig mer også brukes på norsk fordi vi ikke har et enkeltstående, dekkende begrep for det. Når det gjelder vitenskapelige studier brukes begrepet som regel om skjevheter i utvalg eller data, bevisst eller ubevisst forutinntatthet eller partiskhet i fremstilling av resultater.
Tradisjonelt sett har man tenkt at det i narrative oversikter lett kan oppstå bias fordi forfatterne står friere til å velge studier som passer til forskningsspørsmålet enn forfattere av systematiske studier kan. Det er likevel ikke så enkelt. Greenhalgh, Thorne og Maltevik (2018) hevder at det er på tide å oppheve det falske hierarkiet hvor systematiske oversikter har fortrinn fremfor narrative oversikter. Dette kurset går ikke nærmere inn på problematikken, men nøyer seg med å si at det i både systematiske og i narrative oversikter kan oppstå bias, og forfattere bør være særlig obs på det i både søk og utvelgelse av kilder.
Noen vanlige fallgruver:
- mangel på tid kan føre til at man ikke har mulighet til å planlegge søket godt nok, ikke har mulighet til å lese mange nok studier og ikke har mulighet til å lære databasenes funksjonalitet godt nok.
- publiseringspress kan føre til at forfatteren må jobbe med flere studier samtidig eller blir presset til å sende inn artikler før de er tilstrekkelig kritisk vurdert. Det kan være vanskelig for fagfellene å plukke opp alt.
- manglende tilgang til aktuelle databaser, eller ikke tilstrekkelig kunnskap om databasenes innhold kan føre til såkalt «sampling bias», altså at utvalget blir skjevt.
- mange forskere jobber mye alene. Det øker sjansen for at bias ikke blir oppdaget før det er gått mye tid. Da kan det være vanskeligere å rette opp.
Noen typer «bias»: vær på vakt!
- Publikasjon: Når det som er publisert ikke virker representativt for all fullført forskning kaller vi det «Publication bias» med et samlebegrep. Det kan lede til at vi tar beslutninger på feil grunnlag. Det finnes flere typer «publication bias»:
- Utfall (Outcome) bias, hvor bare studier som viser signifikante utfall inkluderes
- Språklig bias, hvor for eksempel bare studier på engelsk inkluderes
- Tilgangsbias, hvor bare studier som er (lett) tilgjengelig for forskeren inkluderes
- Kostnadsbias, hvor bare gratis eller lavkostnadsressurser inkluderes
- «Kjent felt» bias, hvor bare studier fra ens eget felt inkluderes (Jewell, Fowler og Foster, 2017, s. 86)
- Utvalg: «Sampling bias» er når utvalget av studier som inkluderes i litteraturstudien er enten bevisst eller ubevisst forskjøvet. Det kan skje dersom inklusjons-/eksklusjonskriteriene ikke er godt nok definert eller dersom teamet for utvalg har oppfattet disse kriteriene ulikt, eller dersom det finnes duplikater blant utvalgte studier (Mi, 2017, s. 129). Ved bruk av snøballmetoden, altså siteringssøk, står man også i fare for å få et skjevt utvalg fordi artikler ofte siterer studier som har liknende resultater. Vær også obs når søkemotorene eller databasene relevanssorterer resultater. «Sampling bias» må ikke forveksles med «selection bias» i selve studiene, altså utvalg av respondenter eller deltakere. Når vi snakker om utvalg her, så mener vi utvalg av studier som skal inkluderes i litteraturstudien.
- Bekreftelse: «Confirmation bias» er når forskeren bevisst eller ubevisst inkluderer studier som forfekter det synet eller de resultatene forskeren allerede foretrekker. Det letes altså etter, eller velges ut, studier som bekrefter hypotesen.
Grå litteratur
Grå litteratur består av mange ulike dokumenttyper, som for eksempel avhandlinger, rapporter, kliniske retningslinjer, presentasjoner, konferanseutgivelser osv. Felles for dem er at de utgis av institusjoner eller organisasjoner som ikke har publisering som hovedoppgave. Det kan for eksempel være universiteter og høgskoler, industri, kommuner, sykehus, interesseorganisasjoner og liknende, men altså ikke tradisjonelle forlag.
Ikke alle typer publikasjonsbias kan unngås, men ved å inkludere grå litteratur, kan risikoen minskes noe. Grå litteratur kan være noe vanskeligere å få oversikt over, men kan gi nyttige for et mer balansert bilde. Google Scholar inkluderer en del grå litteratur (men vi kan ikke vite hvilke kilder de inkluderer). Mange universiteter og konferanser har egne, åpne arkiver som du kan søke i, eller du kan prøve NORA (Norwegian Open Archive) som høster data fra norske vitenarkiver. Andre tjenester du kan prøve:
- Bielefeld Academic Search Engine (BASE)
- Open Grey (for europeisk grå litteratur)
- OAIster (utgis av OCLC)
Cherry-picking
Cherry-picking betyr i denne sammenhengen å finne bevis som passer med konklusjoner man allerede har dratt. I stedet for å stille et forskningsspørsmål for så å gå ut med et åpent sinn og se hva svaret er, har man hypoteser man ønsker å bekrefte og velger studier som passer med hypotesen. Samtidig undertrykker eller overser man bevisst studier som er i konflikt med hypotesen, eller som ikke trekker tydelige konklusjoner. Det vanligste eksemplet er «confirmation bias», altså at man ønsker bekreftelse på en hypotese og enten leter (bevisst eller ubevisst) etter studier som støtter synet eller tolker studier i den retning man ønsker.
Dette er svært vanlig og et stort problem for både vitenskap og offentlig debatt. Noe av dette kan unngås ved at det er flere (et team) som gjennomgår studiene hver for seg med de samme inklusjons-/eksklusjonskriteriene. De tar notater og sammenlikner utvalg og argumenterer for utvalg. Dersom det oppstår uenigheter i utvalgstemaet, må de forhandle seg i mellom eller hente inn en uavhengig part til mekling.
Fullstendighet (sensitivity) vs. presisjon (specificity)
I et systematisk søk må man ofte vekte behovet for fullstendighet (få med alt) mot behovet for god presisjon. Med andre ord, når man forsøker å få med alt må det vektes mot behovet for å beholde relevans og presisjon.
Recall (sensitivity) is defined as the number of relevant reports identified divided by the total number of relevant reports in existence. Precision (specificity) is defined as the number of relevant reports identified divided by the total number of reports identified (Duke University, 2018).
Video om utfordringer med bias og formidling av forskning:
Litteratur:
Duke University (2018) Systematic reviews: the process: Searching. Tilgjengelig fra: https://guides.mclibrary.duke.edu/sysreview/searching (Hentet: 28.11.18).
Greenhalgh, T., Thorne, S. og Malterud, K. (2018) Time to challenge the spurious hierarchy of systematic over narrative reviews? (s. e12931). Oxford. doi: 10.1111/eci.12931.
Jewell, S. T., Fowler, S. og Foster, M. J. (2017) Identifying the studies, part 2: beyond database searching, i Foster, M. J. og Jewell, S. T. (red.) Assembling the pieces of a systematic review: a guide for librarians. Lanham, Maryland: Rowman & Littlefield, s. 85-98.
Mi, M. (2017) Evaluating: study selection and critical appraisal, i Foster, M. J. og Jewell, S. T. (red.) Assembling the pieces of a systematic review: a guide for librarians. Lanham, Maryland: Rowman & Littlefield, s. 125-146.
Systematiske litteratursøk 