Evaluering og netværk

Evaluering og netværk kan have flere ting tilfælles. Det afhænger af evalueringsmodelen og evalueringsformålet. For det første er evaluering blevet noget, som alle (organisationer og enkeltpersoner) forholder sig til på godt og ondt, og det samme gælder med netværk.

Alle organisationer eller personer er en del af et netværkssamfund, hvor ledere, medarbejdere og private personer indgår i forskellige formelle og uformelle netværk samt organiserer, udvikler og brander sig gennem egne både interne og eksterne etablerede netværk.

Noget andet, som evaluering og netværk kan have til fælles, er det undersøgende og kontekstuelle aspekt. Det aspekt, der handler om at gå på opdagelse, at søge viden i en (tvær-) faglig eller relationel/positionsbåret kontekst, at blive udfordret og/eller bekræftet ved at ’møde sig selv’ i antropologisk forstand gennem mødet med andre eller ved at blive spejlet i en evaluering. En tredje ting, som evaluering og netværk kan have til fælles er ønsket om at lære, at reflektere og blive inspireret, så vi kan skabe nye veje eller nye muligheder i arbejdsfeltet eller arbejdsrelationerne.

Et fjerde fælles træk er, at både evaluering og netværk tjener forskellige formål og kan foregå på mange måder. Nogle gange er det af rituel karakter med et lidt sløret formål, andre gange har det et eksplicit formål og er meget styret efter udvalgte metoder, og andre gange igen er det mere uformelt og pragmatisk med de forhåndenværende metoder og muligheder. Men uanset har det den effekt eller betydning, at der sker en refleksion og fortolkning af det skete eller skrevne. Den fortolkningsproces vender jeg tilbage til. 

Evalueringsbølgen
Den er fortsat over os – evalueringsbølgen. Den skyller evalueringer over næsten alle sektorer som en del af New Public Managements æraen, hvor især den kvantitative, talbaserede målevaluering dominerer. Helt kort tager New Public Management afsæt i en ny-liberalistisk tænkning om, at den offentlige sektor er ustyrlig og ukontrolleret i måden at forvalte skatteborgernes penge, samt at der er en viden-asymmetri i det offentlige bureaukratiske system, hvor overordnede i hierarkiet ved mindre end fagfolket, som antages at ville optimere egen situation. Det kalder på kontrol og evaluering. Den offentlige sektor indrettes derfor efter den private sektors ledelses- og styringskoncepter, hvor offentlige services og ydelser organiseres efter markedsprincipper, fx bliver borgere forvandlet til brugere og forbrugere eller kunder, som bliver udsat for diverse tilfredshedsmålinger. Evaluering bliver i denne tænkning en måde at sikre kontrol og styring hele vejen gennem systemet, at sikre dokumentation og gennemsigtighed for, hvad de politiske prioriteringer af de knappe fælles ressourcer går til, samt om der er den rette prioritering i forhold til de intenderede mål. Value for money!

Man kan anføre mod New Public Management tænkningen, at politik og det gode samfund er et spørgsmål om holdninger og prioriteringer, som ikke udelukkende kan basere sig på tal og forestillingen om evidens som sandhedsreference. Vi fortolker nemlig på tal og evidens – heldigvis. Man kan også anfægte det snævre menneskesyn, som New Public Management bygger på, og som kalder på mistillid og kontrol. Det kan tænkes, at mange der arbejder i det offentlige ikke gør det for at udnytte deres position ved konstant at optimere og snyde, men arbejder ud fra en faglig, samfundsmæssig og menneskelig motivation om at gøre en positiv forskel – eller fordi de kan lide deres arbejde. Endelig er der den kendsgerning, at en del evalueringsrapporter ikke anvendes direkte i politiske beslutninger, i bedste fald måske kun som ét perspektiv blandt andre i beslutningsoplæg. Eller formålet med en evaluering kan være rituelt, fx at vise åbenhed, en måde at inddrage brugerperspektiver, en måde at udskyde beslutninger på og/eller en måde at undgå mediernes bevågenhed ved politisk at ønske en evaluering. Dermed bidrager evalueringer ikke nødvendigvis til gennemsigtighed og øget demokrati, hvor borgeren kan kontrollere politikerne.

Evaluering er mange ting!
Men evaluering er mange ting – meget mere end tal og kolonner. Og vi evaluerer hele tiden. Vi evaluerer og fortolker dagligt gennem fx kollegial snak og respons, gennem samarbejdet med andre, gennem erfaringsudveksling, gennem oplæg og notater, som afrunding på et møde osv. Denne hverdagsevaluering foregår ad hoc og er uformel og ikke særlig systematisk.

Det er, når evaluering bliver systematisk, at den også bliver en vigtig brik i magt- og beslutningsforhandlinger. Evalueringer kan designes efter forskellige modeller og anvende forskellige metoder, både kvalitative og kvantitative. Derfor findes der også flere forskellige definitioner af, hvad evaluering er, ja sågar hierarkier over videnskabeligheden af forskellige designs og metoder. Det skal jeg ikke trætte med her. Det vigtige er at være opmærksom på formålet med evalueringer og dermed også, hvad evalueringsviden kan anvendes og ikke kan anvendes til.

Forskellige formål
Evalueringer kan have forskellige formål, som kan være mere eller mindre udtalte. Eksempler på formål med evaluering er:

• læring, udvikling gennem faglig, organisatorisk og personlig refleksion, understøtte forbedringer samt videns- og forandringsprocesser, skabe innovation, sikre en implementeringspraksis og kulturel omsætning
• demokratisk perspektiv, inddragelse, flerstemmighed, forankring, ejerskab, ansvar, viden der involverer og forandrer, der tilføjer empowerment, skabe nye fortællinger samt fællesskab/identitet
• styring, strategisk planlægning og navigation, ledelse, kvalitetssikring, sammenligning
• dokumentation, status, resultater (resultatmål), effekter, bundlinje (økonomisk), kontrol, evidens, test, eksamener, registreringer/redegørelser
• rituel refleksion, plejer, ’skal’, legitimitet, at bremse noget/parkere noget

Nogle evalueringsmål synes at udelukke hinanden, hvorfor det kan være nødvendigt at arbejde med både talbaserede målinger til dokumentation i forhold til et administrativt eller politisk niveau, og med en indholds- og procesbaseret evaluering, der knytter an til deltagere/brugere, læring, implementering, innovation osv. Nogle fagfolk, især inden for de pædagogiske kredse har derfor en stor modstand mod kontrol og kvantitative målevalueringer, fordi de mener, at deres praksis er mere kompleks, end hvad der kan hives ud af tal og statistikker. Desuden ses også en modstand mod kontrol, der tolkes som mistillid og utidig detailstyring fra et politisk niveau, der ikke har den faglige indsigt og derfor med simple mål og taldokumentation/test kommer til at skabe dårlige vilkår for frontpersonalets kerneydelse – og dermed for den offentlige service og ydelse.

Embedsværket kan imidlertid ikke bruge lange faglige udredninger og casestudier i deres afrapporteringer og oplæg til de travle politikere, der jo skal træffe de overordnede beslutninger på andet end holdninger og fornemmelser– også for at kunne legitimere politik og beslutninger over for offentligheden og de politiske modstandere. Derfor er tendensen, at politikerne får store kvalitetsrapporter fyldt med talbaserede tabeller og lagkager. Men hvad siger disse tabeller, kolonner og lagkager om, hvad der virker for nogen og noget og under hvilke forhold? Og forstår politikerne at læse og afkode tallene, så de kan forstås i en sammenhæng med en virkelighed? Evaluering har udviklet sig til et selvstændigt videns- og kundskabsfelt med egne forskellige modeller, sprog, forståelsesrammer, praksis – samt en hel branche, der skaber leve- og karriereveje.

Formålet med evaluering kan altså svinge fra den ene yderlighed til den anden, fra kontrol og dokumentation til refleksion og læring. Men der er også overlap. Det gælder anvendelsen af fx dokumentation eller test, der tjener til at måle og vurdere en progression, læring, tilfredshed eller kendskabs- og tilfredshedsgrader, der bruges som anledning til at legitimere valg af (fag)personer, indsats, teori, metode, proces, produkt, institution osv. Alle evalueringer er vinklede. Ingen evalueringer er totalt uafhængige og illustrerer den nøgne sandhed. Evalueringer tjener et eller flere formål, og selvom det er en metodisk udfordring at lave gode troværdige evalueringer, er det ingen garanti for, hvordan evalueringsresultater anvendes i den videre faglige, organisatoriske eller politiske proces.

Derfor kan det være nyttigt at holde sig for øje, at den kvantitative evaluering er vurderingsprocesser foretaget på afstand af en praksis – ofte af en ekstern evaluator eller embedsansat. Den kvantitative evaluering reducerer og ’fryser’ en kompleks virkelighed og sætter kvalitet på standarder, der kan måles, vejes og sammenlignes på tværs af institutioner/organisationer som resultater af indsatser, metoder, beslutninger osv. Den kvalitative evaluering søger primært indsigt og at forstå komplekse sammenhænge, der er kontekstafhængige og dermed ikke universelt gyldige. Den kvalitative evaluering ses ofte anvendt i forbindelse med forandringsprocesser, innovative sammenhænge og læringskontekster og kan udføres af en intern eller ekstern evaluator. Formålet er ofte at forbedre eller justere en proces eller tiltag. Og selvfølgelig kan kvantitativ og kvalitativ evaluering supplere hinanden – det kommer alt sammen an på formålet med evalueringen – og den økonomiske ramme.

Anvendelse
Det helt afgørende synes imidlertid ikke at være model, metode eller paradigme, men den forståelse, anvendelse og omsætning af evalueringens viden, som – ønsket eller ej – sker på baggrund af en evalueringsproces. Evalueringer skaber nemlig en fortolkningsproces som en ramme og en anledning til at fokusere på en problemstilling eller se på virkeligheden med andre øjne end de vante.

Evaluering er altid en anledning til dialog, respons, refleksion, debat, fokusering, inddragelse, inspiration osv. Evaluering medfører noget – får os til at snakke, mene, være uenige, reflektere, beslutte, handle eller lade være osv. Som mennesker fortolker vi og skaber sandheder gennem det syn på verden, som vi har erhvervet gennem erfaringer og kundskaber samt gennem de situationer, rammer og relationer, vi er en del af. På den måde forstår vi os selv og hinanden – også gennem en konstant og usystematisk hverdagsevaluering. Men vi kan også flytte os i vores handlinger, viden/forestillinger, identiteter og værdier. Og her kan mere systematiske evalueringsprocesser og evalueringsviden være en afgørende anledning til at reflektere og forstå på en anden måde.

 

 

Netværk som et evaluerende fællesskab
Det er her, at netværk kommer ind i billedet igen. For vi evaluerer også i netværk. Det sker ofte ret uformelt og usystematisk gennem semi-strukturerede ad hoc evalueringer af proces og udbytte af hvert møde eller over et længere stræk af møder og aktiviteter. Metoderne varierer, men er ofte dialogbaserede og udtryk for en refleksion og dialog om, hvad man har fået ud af dagen, mødet eller forløbet. Mere specifikt kan formålet med evaluering i netværk være:

• at skabe sammenhæng i processer, fx gennem et klart formål med dagen
• at indlede og afrunde mødet eller forløbet, fx gennem tjek ind og tjek ud
• at den enkelte får reflekteret over udbyttet/læringen
• at italesætte hvordan man kan bruge noget fra mødet eller forløbet i egen praksis
• at sikre dialog og respons mellem deltagerne – som inspiration og sparring
• at skabe engagement, aktiv deltagelse og vedkommende møder/forløb
• at sikre relevant indhold, form og proces i netværket
• at tjekke netværkets levedygtighed og legitimitet
• at bidrage til fremdrift og nye aktiviteter i netværket

Evaluering kan med fordel tænkes ind allerede i starten af et projekt eller et tiltag (fx netværk). Det kan være med til at tydeliggøre mål, delmål og succeskriterier samt de effekter, man håber på at opnå. I forhold til netværk er det oplagt, at deltagerne er med til at definere mål mm.

Men spørgsmålet er om netværkskulturen også kan være med til at flytte på strømmen i evalueringsbølgen? Altså at vi gennem dialog og mødet med andre fortolker praksis, os selv og hinanden samt, hvordan vi skal forstå tal, tendenser, viden, behov, og hvad der er godt eller mindre godt for udvikling af en god praksis inden for fx sundhed, omsorg, ældrepleje, uddannelse osv.

For nok er meget evaluering gennemført som kvantitativ målopfyldelsesevaluering, der skal kontrollere og minimere uhensigtsmæssige følger samt oplyse politikere og borgere om, hvad man får for pengene for en given indsats. Men tal fortolkes og debatteres i formelle og uformelle netværk og er på den måde genstand for en bredere eller smallere omsætning end først antaget. Dialogen, temaerne, omdrejningspunkterne, alt det, vi mødes om i respektive netværk, kan med fordel inddrage evalueringsresultater, evalueringsprocesser og viden fremkommet gennem diverse evalueringsmetoder og modeller. På den måde kan netværk være et forum til mere frit at debattere og reflektere over anvendelsen og dermed, hvilken betydning vi i praksis skal tildele evalueringsviden – og om vi skulle skrue lidt ned for den kvantitative dokumentation.

Forslag til evalueringsaktivitet i netværk

• Afsluttende dialog- eller responsrunde (pop up). Facilitator skriver på flipover.
• Tjek ud, fx ’Hvad tager jeg med hjem og arbejder videre med?’, eller ’Hvad er det første, jeg tager fat på, når jeg kommer hjem?’ eller ’Hvad vil du sige til de andre. mødedeltagere oven på dagen?’ osv. Det kan også være, at man skal tage et billede fra gulvet – det billede, der symboliserer hvad man har med af indtryk fra mødet.
• Individuel runde, hvor deltagerne udfylder et kort skema. Derefter dialog, fx om ideer/forslag til forbedring, andre virkemidler, temaer, metoder osv.
• Talespiral: 4-8 personer står i rundkreds. Én starter med at sige noget om fx udbyttet af dagen, den næste taler videre ud fra det osv. Kører et par omgange. Faciliator skriver på flipover. Dagen kan evt. også starte på samme måde omkring forventninger eller temaets aktualitet.
• Akvarium: 2-4 personer står sammen og taler om dagen. Pladsen kan skiftes af en af de tilhørende, der står i en kreds om. Facilitator skriver budskaber på flipover.
• Deltagerne skriver brev eller postkort til sig selv om, hvad der er forandret om fx 6 måneder.
• Hvis mødet starter med et tydeligt formål eller klare forventninger, som skrives op via note it eller på flip over, kan man tage en afsluttende runde, hvor deltagerne reflekterer over, hvordan formål/forventninger er blevet indfriet.
• Evaluering ved brug af korte spørgeskemaer (elektronisk).

Ovenstående forslag kan tilpasses behovet i situationen. Overvej altid, hvad formålet er med evalueringsaktiviteten, fx hvad evalueringsaktiviteten skal gøre eller bidrage til.

Artikelen blev bragt i en forkortet udgave i nyhedsbrevet Om netværk, april 2012