Så sätter du upp urvalskriterier för en jämförelse

Utgå från syftet med jämförelsen

Urvalet ska styras av vad jämförelsen ska besvara, inte av vad som är lätt att samla in. Forskning.se beskriver två lägen: ibland ska urvalet spegla en större grupp, ibland handlar det mer om att förstå ett särskilt fall. Läget avgör om representativitet är ett mål.

Ska du kunna uttala dig om en större grupp måste urvalet enligt forskning.se vara en miniatyrversion av gruppen. Det ska vara en mix av personer i olika åldrar, av olika kön, från olika platser och med olika lång studietid. Först då kan slutsatser dras som gäller fler än dem som faktiskt ingick.

Är syftet i stället att förstå ett enskilt fall är ett representativt urval inte målet. Kriterierna ska då styra mot det fall som är mest relevant.

Riksrevisionens granskningsrapport Urval till högskolan (RiR 2025:10) illustrerar att ett och samma urval kan ha flera syften samtidigt. Systemet ska anta de sökande som har bäst förutsättningar att klara studierna, samtidigt som det ska bidra till fler vägar in till högskolan, ökad jämställdhet och motverka social snedrekrytering. Det ska dessutom vara överblickbart och enkelt att förhålla sig till för blivande studenter. Sådana mål kan dra åt olika håll; kriterierna behöver då visa hur målkonflikten hanteras i praktiken.

Skriv ned frågan och beslutet innan du listar kriterierna. Forskning.se föreslår kontrollfrågor som avslöjar om urvalet räcker för den fråga du ställt: Vilka ingick? Från var? Hur många undersöktes? Jämfört med när?

Kan du inte svara på dem utifrån ditt urval är kriterierna för grova.

Fördelar och nackdelar med representativt urval

Statistik från Riksrevisionens granskningsrapport (RiR 2025:10)

Definiera urvalspopulation och avgränsning

Urvalspopulationen är den mängd enheter som kriterierna ska tillämpas på. Statskontorets metodstöd för rättslig kvalitetsuppföljning lyfter fram att många av de viktigaste metodologiska och strategiska valen handlar om just urvalspopulationen.

Den bestäms på två nivåer. På en övergripande nivå väljs vilket verksamhetsområde eller vilken ärendetyp som ska följas upp. På en detaljerad nivå bestäms principerna för hur enskilda ärenden väljs ut.

Enheterna behöver inte vara personer. Forskning.se anger att urvalet kan avse personer, grupper eller material, till exempel texter, bilder eller föremål. Skriv därför ut vilken typ av enhet din population består av, så att kriterierna kan tillämpas entydigt.

Statskontoret konstaterar att om en myndighet inte har kapacitet att regelbundet göra uppföljningar för alla sina ärendetyper, krävs någon form av avgränsning av vad som ska granskas vid ett givet tillfälle. Avgränsningen ska motiveras med vilka skäl som finns för att just den ärendetypen eller den delen av verksamheten är föremål för uppföljning.

Beskriv också det som faller utanför: tidsperiod, ärendestatus, dokumenttyp, geografiskt område. Det som uteslutits bär inga slutsatser. En läsare som inte ser gränsen kan felaktigt läsa resultatet som täckande.

Välj urvalsprincip efter syftet

Statskontorets metodstöd beskriver tre principer för avgränsningen. De behöver väljas medvetet. Den första är riskbaserat urval utifrån sannolikhet för fel. Det gäller ett område med hög risk för fel, eller där det finns indikationer på brister som behöver åtgärdas.

Vilka signaler pekar då ut ett sådant område? Enligt Statskontorets uppräkning kan regelverket vara otydligt eller ge stort bedömningsutrymme. Tidigare uppföljningar kan ha visat brister, och många frågor kan komma från allmänheten eller verksamheten. Regelverket kan nyligen ha ändrats. Området kan vara svårt att kontrollera i löpande arbete eller innebära stor risk för den enskilde att göra fel.

Den andra principen är riskbaserat urval utifrån konsekvensens omfattning. Det handlar om volymer, storleken på belopp som betalas ut, eller hur avgörande ärendet är för den enskilde. Exempel är rätten att stanna i Sverige eller tillgång till en viss behandling.

Det handlar också om hur eventuella felaktigheter skulle påverka förtroendet för myndigheten. Statskontoret noterar att riskbedömningen kan göras både utifrån ett offentlig-finansiellt och ett medborgarrättsligt perspektiv.

Den tredje principen är representativt urval av verksamheten, där ett område granskas i proportion till sin plats i verksamheten. Enligt Statskontoret är syftet att få en spridning i underlaget. Spridningen ska ge tillräckligt många ärenden inom en viss kategori för att kunna göra jämförelser.

Jämförelse mellan olika urvalsprinciper

Formulera inklusions- och exklusionskriterier

Kriterierna ska vara skrivna så att två personer som tillämpar dem på samma material kommer fram till samma urval. Varje kriterium ska peka på något som går att avgöra utifrån handlingarna. Det ska också gå att dokumentera i efterhand.

SBU:s metodbok beskriver arbetsordningen i systematiska översikter. Frågeställningen formuleras först. Därefter identifieras litteraturen, primärstudierna granskas och resultaten syntetiseras.

Urvalet kommer alltså efter frågan. Om frågan ändras måste kriterierna skrivas om. Samma ordning gäller vid en jämförelse av ärenden eller verksamheter.

Håll inklusion och exklusion symmetriska. Ett kriterium som ”ärenden med beslut fattat under perioden” behöver en motsvarande exklusion för ärenden utan beslut. Annars uppstår en gråzon som olika granskare fyller olika, och jämförelsen tystas ned.

Koppla varje kriterium till en slutsats jämförelsen ska kunna dra. Om frågan gäller handläggningstider måste enheter som saknar registrerade datum hanteras uttryckligen i kriterierna. Ett tyst bortfall av dem ändrar vad resultatet säger om verksamheten.

Säkra jämförbarhet mellan grupper eller fall

Skillnader mellan grupper ska kunna kopplas till det som jämförs, inte till olika sammansättning, tidpunkt eller urvalsmetod. Forskning.se pekar på att skillnader i urval kan förklara varför studier kommer fram till olika resultat. Frågorna att ställa är: Vilka ingick i studien, när gjordes den och var gjordes den?

Ett konkret exempel är träning och hjärtat. Studien genomfördes på en grupp elitidrottare, vars kroppar är vana vid extrem träning. Enligt forskning.se är det inte säkert att puls och syreupptagning ser likadana ut hos en vanlig motionär. Resultatet beskriver då elitidrottare, inte motionärer.

Ett annat exempel är attityder till sopsortering. Studien gjordes i en miljömedveten bostadsrättsförening i en storstad. Frågan ”gäller det här också där jag bor – eller bara i områden där folk redan är engagerade i miljöfrågor?” blir då en direkt kontroll av urvalet, inte en invändning i efterhand.

Praktiskt innebär det att tidsperiod, ärendetyp och tillämpade kriterier hålls identiska mellan grupperna som jämförs. Kvarstående skillnader i sammansättning ska beskrivas i redovisningen. Då kan läsaren bedöma hur mycket av skillnaden de kan förklara.

Dokumentera och redovisa urvalet öppet

KI:s sammanställning av god forskningssed hänvisar till Vetenskapsrådets häfte God forskningssed. Som praxis anges att granska medvetet och redovisa utgångspunkterna för sina studier. Metoder och resultat ska redovisas öppet liksom kommersiella intressen och andra bindningar. God ordning innebär att dokumentera och arkivera enligt gängse regler; urvalsgrunden hör till det som ska redovisas öppet.

Bortfallet är en del av redovisningen. Antalet enheter som föll bort och grunden för det ska redovisas. Det avgör om en läsare kan se resultatet som hållbart eller om urvalet förskjutits under arbetets gång.

KI beskriver dessutom att en publikation kan vara missvisande utan att någon mätpunkt är falsk eller förvanskad. Det räcker att man gör ett skevt urval av resultat.

Riksrevisionen visar att urvalsanalys ofta är eftersatt även där urval görs systematiskt. Lärosätena ansvarar för platsfördelningen mellan urvalsgrunderna och för lokalt beslutade urvalsgrunder. De saknar i huvudsak kunskap om hur väl deras urvalsgrunder och platsfördelning fungerar. De arbetar inte i någon större utsträckning med att anpassa urvalet till specifika utbildningar.

Undvik vanliga fallgropar

Den första fallgropen är ett smalt underlag som presenteras som allmängiltigt. Kriterierna bör därför ange vilken population resultatet får sägas gälla.

Den andra är att dra slutsatser om en bred grupp från en grupp med särskilda egenskaper. Urvalsredovisningen behöver därför visa vilka egenskaper som kännetecknar de undersökta enheterna.

Den tredje är för litet underlag per kategori. Redan i planeringen behöver kriterierna säkerställa att varje kategori får tillräckligt många enheter för att jämförelser ska vara möjliga.

Den fjärde är att jämföra grupper med olika sammansättning eller från olika tidpunkter och tolka skillnaden som en saklig skillnad. Sådana skillnader behöver i stället beskrivas i jämförbarhetsbedömningen.

Den femte är att bortse från att urvalsgrunden kan samvariera med det utfall man vill mäta. Riksrevisionen noterar att tidigare studier pekat på att studenter som antas via sitt högskoleprovsresultat klarar sina studier sämre än de som antas via betyg. Det är ett skäl att analysera vad urvalet fångar innan man drar slutsatser om effekter.

Väg in etik och skydd för dem som ingår

KI anger att en central fråga inom forskningsetiken är hur forskningsintresset ska balanseras mot skyddsintresset. Forskningsintresset är intresset att bedriva forskning med målet att generera ny kunskap. Skyddsintresset gäller forskningspersoner, försöksdjur och eventuella risker på samhällsnivå. Urvalskriterierna är en plats där avvägningen blir konkret, eftersom de bestämmer vilka som alls kommer i fråga.

Enligt samma källa omfattar god forskningssed att sträva efter att bedriva forskning utan att skada människor, djur eller miljö. Den omfattar också att vara rättvis i sin bedömning av andras forskning.

SBU:s metodbok behandlar etiska aspekter som en del av den fullständiga utvärderingen vid sidan av de ekonomiska. HTA-rapporten blir komplett först när båda ingår.

Granska om kriterierna systematiskt utesluter grupper vars erfarenheter är relevanta för frågan. Begränsa urvalsunderlaget till de uppgifter som kriterierna faktiskt kräver. Det minskar både integritetsrisken och risken att enskilda individer går att identifiera i redovisningen.