Det er flere kritiske faktorer for at utvelgelsen skal kunne gjennomføres på en god måte:
- Det bør være minst to personer som går igjennom artiklene. Det minimerer sjansen for at personlige oppfatninger gjør utvalget skjevt («biased»).
- Inklusjons- og eksklusjonskriteriene må være så godt definerte at det er tydelig for dem som går igjennom artikler hva som skal forkastes og hva som skal bli med for videre utvelgelse.
- Kritisk tenkning og god metodekunnskap er avgjørende for at vi skal kunne stole på resultatene.
En vanlig fremgangsmåte kan være:
- Fjerne duplikater fra trefflister
- Sile ut studier som, ut fra tittel og abstract, er åpenbart irrelevante
- Minst to personer gjør en innledende runde med å gå igjennom titler og abstract. En bibliotekar kan gå igjennom et utvalg av forkastede studier for å sjekke at prosessen fungerer og at studier som forkastes virkelig ikke er relevante*
- De to personene/ gruppen som gjennomgår trefflister finner fulltekster av artikler, organiserer og lagrer dem for videre bearbeiding**
- En liten pilottest gjøres av de to personene eller gruppen som velger ut. Det hentes ut 10-15 artikler og gruppen går igjennom dem for å teste om inklusjons- og eksklusjonskriteriene er tydelig nok beskrevet til at gruppen i hovedsak er enige i artikkelutvelgelsen. Dersom det er lav enighet mellom personene må kriteriene for utvelgelse gjennomgås på nytt.
- Selve utvelgelsesprosessen begynner. Det er viktig at minst en av utvelgerne har god kjennskap til fagområdet, men ettersom slik kunnskap kan føre med seg forhåndsbestemte ideer er det også viktig at en som ikke har slik kunnskap også er med i gruppen, f.eks. en metodeekspert.
- Hver person i gruppen dokumenterer det som ekskluderes med grunner for eksklusjon. Dette kan brukes til sammenlikning der gruppens medlemmer ikke er enige i forkastede studier.
- Det lages flytkart over inkluderte studier, eks. PRISMA.
* Et viktig prinsipp i utvelgelsen er at gruppen som foretar utvelgelse ser etter grunner til å forkaste studier, de ser ikke etter grunner til å beholde studier.
** Det er kjent at det som regel bare er studier som kan vise til statistisk signifikante resultater blir publisert. Det kan derfor være aktuelt for gruppen som foretar utvelgelse å inkludere upublisert materiale. For eksempel kan gruppen ta kontakt med konferansedeltakere som har presentert, men ikke publisert for å få tak i upublisert materiale, inkludert rådata.
Verktøy som kan være nyttige:
Rayyan: Gratis screening-verktøy. Rayyan kan fjerne duplikater, hjelpe til med sortering av dokumenter på enten type, metode eller emneord, og de ulike medlemmene av teamet for utvelgelse kan gå inn på hver artikkel og avgi sin «stemme» for inklusjon eller eksklusjon.
RevMan: gratis verktøy som særlig brukes i arbeidet med Cochrane reviews. Desktopvarianten, RevMan 5 kan også brukes til andre reviews, men den blir ikke lenger oppdatert.
I samme kategori av verktøy, men med betalingsløsninger, finner vi blant annet Covidence (som også hjelper deg å vurdere risikoen for bias) og EPPI-reviewer.
EndNote/ Zotero/Mendeley (mfl.):
Alle referansehåndteringsverktøy kan hjelpe deg å hente inn metadata fra databasene. Du kan laste ned hele sett med referanser fra databasene, og verktøyet kan hjelpe deg med f.eks. duplikatkontroll, sortering og gruppering, samt Cite while you write-funksjoner som du kan bruke når du skriver.
Sjekklister:
Det finnes sjekklister for mange forskjellige typer artikler som du kan bruke når du skal vurdere kvaliteten på artikler du har funnet. Se mer på CASP og FHI.
Tips:
- Se igjennom lagrede søk i databaser, egne mapper i databasene, epostvarslinger osv. Hent alle dokumentene over i et delt EndNote-bibliotek
- Lag egne mapper for studier som skal velges ut, lag mappe for forkastede studier. Når det er enighet om forkastede studier, slett dem fra biblioteket slik at gruppen sitter igjen med et EndNote-bibliotek for inkluderte studier
Systematiske litteratursøk 