Celine Jarlskov & Sabine Lyø Andersen
Der findes forskellige tilgange til at evaluere og dokumentere samarbejder på tværs af sektorer om sociale indsatser. Tværsektorielle samarbejder kan fx undersøges ved at tage udgangspunkt i den forventede effekt eller de involverede deltageres erfaringer og vurderinger. De forskellige tilgange til evaluering og dokumentation anvendes normalt separat, men når de kombineres, er det muligt at inddrage flere perspektiver på værdien og effekten af et tværsektorielt samarbejde om en social indsats.
Hvorfor er det vigtigt at evaluere og dokumentere?
Tværsektorielle samarbejder, der fx går under betegnelser som innovative og samskabende, hviler ofte på antagelser om, at de kan bidrage til bedre effekter. Det kan fx være i form af styrket ligestilling, kreativitet, bæredygtighed og kvalitet. Det kan dog være vanskeligt at indhente det vidensgrundlag, der er nødvendigt for at kunne påvise, om antagelserne holder i praksis. Det kræver, at tilgangen til at dokumentere og evaluere er fleksibel og dermed tager højde for samarbejdsprocessernes dynamiske karakter (Agger et al., 2018).
Der er flere grunde til, at det er vigtigt at evaluere og dokumentere tværsektorielle samarbejder som fx samskabelsesinitiativer. Når medarbejdere, ledere og beslutningstagere dokumenterer og evaluerer samarbejdets resultater, kan det give et vidensgrundlag til at vurdere, om der er progression i indsatsen, eller om der er behov for at justere den undervejs. Der kan også være brug for at undersøge, om samarbejdet medfører den forventede værdi og de ønskede resultater. På den baggrund kan arbejdet med at dokumentere både bidrage til at udvikle kvaliteten i samarbejdet og indsatsen og til at legitimere anvendelsen af ressourcerne blandt andet til medarbejdernes tidsforbrug (Agger et al., 2018).
To tilgange til måling og evaluering
I forskningslitteraturen fremhæves to centrale tilgange til evaluering og dokumentation af samskabelsesinitiativer:
- Virkningsevaluering, der måler effekten af indsatsen ved at tage udgangspunkt i en teori om, hvilken værdi og hvilke forandringer initiativet forventes at medføre.
- Systemisk evaluering, hvor evaluator løbende trækker på erfaringer og vurderinger fra de involverede deltagere (Agger et al., 2018).
Selvom forskningslitteraturen fremhæver de to tilgange til evaluering og dokumentation af samskabelsesinitiativer, kan de også tjene til inspiration for sociale indsatser, der bygger på andre måder at samarbejde på, som fx partnerskaber.
Virkningsevaluering
Virkningsevalueringer har til formål at måle effekten eller virkningen af en indsats. Målingen foretages ved at tage udgangspunkt i nogle forventede mål eller resultater, som fx kan definereres i en program- eller forandringsteori, der præciserer, hvordan og hvorfor man regner med, at en bestemt indsats vil virke. Virkningsevalueringer udgør en traditionel evalueringsform, som typisk efterspørges blandt beslutningstagere, som grundlag for at vurdere om det kan svare sig at investere i et tiltag (Agger et al., 2018).
Cost-benefit- og effektevalueringer
Der findes forskellige former for virkningsevalueringer. Begrebet virkningsevalueringer dækker fx over cost-benefit- og effektevalueringer. I cost-benefit-evalueringer undersøges forholdet mellem omkostningerne ved en indsats og indsatsens økonomiske effekt, mens effektevalueringer kan anvendes til at måle, om en indsats medfører de ønskede virkninger. Idealet for virkningsevalueringer er et eksperimentelt design med en kontrolgruppe, hvor effekten af en indsats undersøges via systematisk sammenligning med en målgruppe, der ikke har fået indsatsen (Agger et al., 2018).
Udfordringer ved virkningsevalueringer
Der er forskellige udfordringer ved at benytte virkningsevalueringer på tværsektorielle samarbejder, som fx er orienteret mod samskabelse. Det metodiske ideal om kontrolgrupper kan være svært at efterleve, da samarbejdsinitiativerne finder sted ”ude i samfundet”. Virkningen af samarbejdsinitiativerne kan derfor være vanskelig at adskille fra andre påvirkninger i den sociale kontekst. Derudover kan det være vanskeligt at dokumentere en sammenhæng mellem et samarbejdsinitiativ og de resultater, der produceres. Det skyldes blandt andet
- at indsatserne typisk er rettet mod at opnå virkninger, der ligger langt ude i fremtiden
- at indsatserne udvikler sig løbende
- at resultaterne kan opfattes forskelligt af interessenterne i indsatsen (Agger et al., 2018).
Systemisk evaluering
Den systemiske evalueringstilgang har til formål at give deltagerne en stemme i vurderingen af værdien af en social indsats. Der findes forskellige former for systemiske evalueringer. Begrebet omfatter fx selvevalueringer og deltagelsesorienterede evalueringer. Selvevaluering er en tilgang, som de involverede i et samarbejdsinitiativ kan benytte til udvikle og kvalificere en indsats undervejs, mens den deltagelsesorienterede evaluering er en tilgang, som har fokus på at styrke de involveredes læring, empowerment og handlekompetence ved at lade dem spille en aktiv rolle i evalueringsprocessen (Agger et al., 2018).
BIKVA-modellen
BIKVA-modellen, der står for ”brugerinvolvering i kvalitetsvurdering”, er et eksempel på en deltagelsesorienteret evalueringstilgang, som bruges til at evaluere offentlige indsatser. Tilgangen tager afsæt i brugernes ønsker, erfaringer og behov. I praksis består BIKVA- modellen af fire trin:
- Gruppeinterview med brugerne, hvor der fx spørges om oplevelser af indsatsen og dens effekt, og hvor brugerne kan give forslag til forbedringer og udviklingspotentialer.
- Gruppeinterview med frontmedarbejderne, hvor medarbejderne præsenteres for og drøfter brugernes udsagn om praksis og på baggrund heraf reflekterer over egen praksis.
- Gruppeinterview med ledelsen, fx forvaltningsledelsen i kommunen, som præsenteres for både brugernes og medarbejdernes perspektiver på indsatsen.
- Gruppeinterview med politikerne, hvor det politiske niveau får forelagt brugernes, medarbejdernes og forvaltningsledelsens perspektiver (Krogstrup, 2018; Krogstrup & Brix, 2019).
Foruden at BIKVA-modellen kan bruges til at evaluere offentlige indsatser, kan den også anvendes som et redskab til at udvikle kvaliteten i indsatserne. Formålet med modellen er således at skabe refleksion og læring på alle niveauer af en given offentlig organisationen med udgangspunkt i brugernes perspektiver, som kan danne afsæt for udvikling af nye handlemåder (Krogstrup & Brix, 2019).
Udfordringer ved systemiske evalueringer
En udfordring ved de systemiske evalueringstilgange er, at det fulde læringsudbytte afhænger af deltagernes aktive medvirken og ejerskab. Her kan det være en fordel, at arbejdet ikke etableres og styres oppefra, men tager udgangspunkt i og understøtter deltagernes eget initiativ. For at understøtte læringen og omsætte den til kvalitetsudvikling af praksis stiller det desuden krav til løbende refleksion og dialog blandt deltagerne (Espersen et al., 2018).
Udvælg tilgange til dokumentation og evaluering på et reflekteret grundlag
Virkningsevalueringer og systemiske evalueringer anvendes normalt hver for sig. Men hvis tilgangene kombineres, er det muligt at inddrage flere nuancer og perspektiver på værdien og effekten af et tværsektorielt samarbejde om en social indsats. Kombinationen af tilgangene kan både understøtte samarbejdsprocessen undervejs ved at styrke og forankre deltagernes læring og påvise indsatsens virkning gennem en måling af resultater og effektivitet (Agger et al., 2018, Carstensen et al., 2017).
Uanset hvilke dokumentations- og evalueringstilgange der vælges, er det afgørende, at valget bygger på et reflekteret grundlag. Det indebærer blandt andet, at deltagerne afdækker dokumentations- og evalueringsformål og anvendelighed i praksis. Forskellige målgrupper, mål og kontekstuelle forhold, som fx evalueringskapacitet og dokumentationskultur, kalder nemlig på forskellige tilgange til at dokumentere og evaluere værdien og effekten af et tværsektorielt samarbejde om en social indsats (Espersen et al., 2018).
Kilder
Agger, A. et al. (2018). Hvilken værdi skaber vi med samskabelse – og hvordan kan den måles og dokumenteres? (pdf) Sorø: Professionshøjskolen Absalon.
Carstensen, H.V. et al. (2017). Innovationsevaluering: Når resultatmålinger understøtter reel innovation. Økonomistyring & Informatik, Vol. 32(3): 207-222.
Espersen, H.H. et al. (2018). Inklusion og deltagelse af sårbare borgergrupper i samskabende arenaer: Evaluering af tre partnerskaber mellem civilsamfund og kommuner. Kbh.: VIVE.
Krogstrup, H.K. (2018). BIKVA Brugerinvolvering i Kvalitetsudvikling. I: Kongsgaard, Leif & Rod, Morten (red.), Bedre Begrundet Praksis: Velfærdsudvikling efter evidensbølgen (s. 281-97). Kbh.: Samfundslitteratur.
Krogstrup, H.K. & Brix, J. (2019). BIKVA-Modellen. I: Krogstrup, H.K. & Brix, J. (red.), Co-produktion i den offentlige sektor: Brugerinvolvering i Kvalitetsudvikling. Kbh.: Hans Reitzels Forlag.