Kirkpatrick-modellen – De 4 evalueringsniveauer

Hvis du arbejder med læring og udvikling, er der stor sandsynlighed for, at du kender til Kirkpatricks 4 evalueringsniveauer – eller Kirkpatrick-modellen, som den også kaldes. Og hvis ikke, så er det på tide at få rettet op på det! Kirkpatrick-modellen er nemlig en af de mest udbredte modeller inden for evaluering af læring og træning. En L&D evergreen, om man vil.

Modellen var også en af de første, jeg stødte på, da jeg startede i L&D i sin tid. Og for nyligt brugte jeg den så igen, da jeg holdte et oplæg om værdiskabelse. Men det vender vi tilbage til.

Jeg har tidligere nævnt Kirkpatricks-modellen i mit indlæg om Conspiracy of Convenience. Her var vinklen, at mange virksomheder fejlagtigt tror, at en høj tilfredshed fortæller noget om læringsudbytte, ændret adfærd eller resultater. Men at man slet ikke opfanger, at det faktisk slet ikke er tilfældet…

Bagom modellen

Hvad hedder modellen egentlig?

På engelsk omtales den oftest som “Kirkpatricks 4 Levels of Training Evaluation” eller blot “The Kirkpatrick Model”. I dette indlæg har jeg valgt at kalde den for Kirkpatrick-modellen.

Modellen daterer sig helt tilbage til 1959 og blev skabt af den amerikanske professor Donald Kirkpatrick. En sjov detalje her er, at Kirkpatrick oprindeligt slet ikke brugte ordet “levels”. Han talte i stedet om “steps”. Faktisk nævnte han heller ikke ordet “model”. Helt specifikt talte han om “techniques for evaluating training programs”.

Det var formentligt først ved udgivelsen af hans bog om emnet i 1994, at ordene “model” og “levels” for alvor begyndte at blive brugt. Det kan være, det lød bedre. Eller det kan være, at Kirkpatrick bare tilpassede modellens navn til, hvordan den blev omtalt. Uanset hvad var det i hvert fald først efter udgivelsen af bogen, at modellen virkelig begyndte at vinde frem og blive den kendte model, den er i dag.

De 4 niveauer

Som jeg nævnte i indledningen fortæller tilfredshed ikke noget om læringsudbytte, ændret adfærd eller resultater. Det er nemlig på hhv. modellens niveau 2, 3 og 4, at disse befinder sig, mens tilfredshed befinder sig på niveau 1. De 4 niveauer er således:

1. Reaktion (reaction)
2. Læring (learning)
3. Adfærd (behaviour)
4. Resultater (results)

Desto højere niveau man når, jo mere “værdifuld” er evalueringen – men desto sværere er den også at gennemføre.

Niveau 1: Reaktion

Dette er desværre, men også naturligt nok, det mest anvendte evalueringsniveau… og måske også det mest misforståede niveau. Her handler det om at måle, hvordan deltagerne oplevede træningen. Kunne de lide det? Fandt de det relevant? Var underviseren god? Var materialet velvalgt?

Det klassiske redskab her er en tilfredshedsundersøgelse, som deles ud efter et kursus – også kaldet “smile sheet”. Det er et par spørgsmål om tilfredshed, relevans og kvalitet, som deltagerne udfylder på vej ud ad døren…

På en tidligere arbejdsplads lavede jeg en evaluerings-evaluering. Her viste det sig, at deltagere håbede at kunne komme hurtigere hjem, hvis de gav positive evalueringer, da de så håbede på, at man ikke behøvede at snakke om evalueringerne bagefter. Det betød altså ikke, at de ikke hverken var tilfredse eller utilfredse for den sags skyld – blot at de ikke havde taget egentlig stilling.

Men tilfredsmålingen er ikke uden værdi. Hvis folk konsekvent finder et kursus irrelevant eller dårligt faciliteret, er det et signal om, at noget skal ændres.

Men det er vigtigt at forstå, hvad niveau 1 ikke siger noget om: det siger nemlig ingenting om, hvorvidt deltagerne faktisk har lært noget. En deltager kan f.eks. give topkarakter til et kursus og alligevel ikke have lært noget som helst – det vi kalder Illusion of Competence. Og omvendt kan et kursus, der opleves som hårdt og udfordrende, resultere i rigtig meget læring, men i en dårlig evaluering.

Kirkpatrick skelner i øvrigt mellem to typer af reaktion: om deltagerne fandt kurset positivt (satisfaction), og om de fandt det relevant for deres arbejde (relevance). Den sidstnævnte vil oftest være den mest værdifulde at måle, for hvis folk ikke oplever indholdet som relevant, er der stor sandsynlighed for, at de heller ikke anvender det efterfølgende.

Niveau 2: Læring

Her bevæger vi os et skridt tættere på det, vi egentlig er interesserede i. Niveau 2 måler nemlig, om deltagerne faktisk har lært noget. Altså om de har tilegnet sig ny viden, nye færdigheder eller ændrede holdninger som følge af træningen.

Det måles typisk via en form for test eller opgave – enten en videnstest, en praktisk øvelse eller f.eks. en rollespilssimulation. Nogle organisationer bruger en pre- og post-test, altså en test både før og efter kurset, til at måle forskellen og derved måle det egentlige læringsudbytte.

Selvom det er mere værdifuldt at måle på læring end tilfredshed, har niveau 2 stadig sine begrænsninger.

For det første måles der oftest kun i slutningen af træningen/kurset, og er det overhovedet læring? Og hvis deltagerne har lært noget, vil de så glemme det meste af det igen, som Glemselskurven fortæller os?

For det andet siger niveau 2 heller ingenting om, hvorvidt deltagerne faktisk anvender det lærte i praksis. Man kan altså sagtens bestå en test uden nogensinde at ændre sin adfærd. Og man kan faktisk også sagtens bestå en test uden egentlig at have lært noget.

Niveau 3: Adfærd

Det er desværre de færreste organisationer, der når til dette niveau , og det er ærgerligt! For det er nemlig her, at det begynder at blive interessant. Niveau 3 måler, om deltagerne faktisk anvender det lærte i deres daglige arbejde. Altså om der er sket en reel adfærdsændring.

At måle dette vil ofte kræve observation over tid – måske endda 3-6 måneder eller mere efter endt træning. Og det er desværre ofte besværligt og omkostningstungt.

En anden udfordring er, at adfærdsændringer ikke kun afhænger af, om man har lært noget. De afhænger også af, om man kan og vil anvende et lærte – og om omgivelserne understøtter det. Og selv dér, er det ikke givet, at der sker ændringer i adfærd (The Knowing-Doing Gap).

En medarbejder kan f.eks. have lært en ny tilgang til feedback, men hvis kulturen i organisationen ikke understøtter feedback, sker adfærdsændringen måske aldrig. Det er derfor, Kirkpatrick taler om begrebet required drivers – de systemer og processer, der skal være på plads for at understøtte den ønskede adfærdsændring.

Det er også her, koblingen til Train-Transfer-Sustain-modellen er mest tydelig. Den handler netop om at sikre, at læringen bliver overført til praksis og forankret over tid – hvilket er præcis det, niveau 3 forsøger at måle.

Niveau 4: Resultater

Dette er det øverste og mest værdifulde niveau – og det allersværeste at måle. Niveau 4 handler om den faktiske effekt på organisationen. Har træningen ført til bedre resultater? Det kan være øget produktivitet, færre fejl, lavere sygefravær, højere kundetilfredshed eller øget salg – alt afhængigt af, hvad organisationen ønskede at opnå med træningen.

Det er altså her, at man virkelig kan vise, at man har skabt værdi.

Udfordringen her er, at det er næsten umuligt at isolere effekten af træning fra alle de andre faktorer, der påvirker organisationens resultater. Salgstallene steg, men var det fordi sælgerne gennemgik et salgstræningsprogram, fordi markedet generelt gik godt eller var det bare tilfældigt? Det er svært at sige.

Det er nok derfor, at mange organisationer springer niveau 4 over. Det kræver tid, ressourcer og en vilje til at stille de svære spørgsmål.

Og det sværeste spørgsmål af dem alle er egentlig dette: var træning overhovedet den rigtige løsning? Det er her, niveau 4 kobler direkte til single-loop og double-loop læring. For de fleste evalueringer opererer på single-loop niveau, hvor der måles på, om træningen virkede. Men vi stiller sjældent spørgsmålet ved den grundlæggende antagelse: var det overhovedet et kompetenceproblem, vi forsøgte at løse? Og er resultaterne udeblevet, fordi træningen var dårlig, eller fordi problemet lå et helt andet sted?

Vend modellen på hovedet

Hvis man alligevel vil forsøge sig med niveau 4, så er det en god ide – inden man går igang med at udvikle træning – at få fat i de eksisterende resultater og performance metrics, og finde ud af, hvordan disse skal se ud, når man er i mål med det hele.

Og det er faktisk en af de mest interessante måder at bruge modellen på – nemlig at vende den på hovedet og starte bagfra. I stedet for at designe et kursus og derefter overveje, hvordan man evaluerer det, starter man med at definere, hvilke adfærd eller resultater man ønsker at se (niveau 3 eller 4). Og dernæst designer man så den læring, der mest sandsynligt leverer disse. Dette kaldes for “designing backwards”, og det er i min optik skidesmart!

Er modellen så perfekt?

Tja, måske. Eller nej, det er den ikke.

Modellen er blevet kritiseret for sin enkelhed og for, at der ikke nødvendigvis er en kausal sammenhæng mellem de fire niveauer. At deltagerne er tilfredse (niveau 1) betyder ikke, at de har lært noget (niveau 2). Og at de har lært noget betyder ikke, at de ændrer adfærd (niveau 3). Man kan sagtens lære noget eller ændre adfærd uden at være tilfreds. Og man kan også godt ændre adfærd uden at have lært noget. Så niveauerne er med andre ord ikke automatisk forbundne.

Men som med så mange andre modeller ligger værdien ikke i at tage den bogstaveligt. Værdien er i den tankegang og de spørgsmål, den tvinger os til at stille. Og det spørgsmål, Kirkpatrick tvinger os til at stille, er: måler du egentlig det rigtige?

Af samme grund er fra flere steder blevet foreslået et 5. trin, som måler på ROI (Return on Investment) – altså simpelthen om træningen har været pengene værd. For man kan i teorien sagtens forestille sig scenariet, at en træningsintervention har skabt de ønskede resultater. Men hvis omkostningerne, der var forbundet med træningen, overstiger udbyttet, så var det måske alligevel ikke den bedste ide.

Derudover er modellen primært beregnet på evaluering af træning. I dag er der et langt større fokus på 70-20-10, workflow learning og performance support, og mindre på decideret træning. Og derfor kan det måske i nogle tilfælde give mening helt at se bort fra niveau 1 og 2, da man alligevel i større eller mindre grad er sprunget over disse.

Nu er modellen, som jeg oplever det, den mest anvendte i L&D – og det er derfor, at den er blevet behandlet. Men der findes faktisk en model, der hedder Phillips ROI Model, som på mange måder netop udfylder behovet i Kirkpatrick + 5. ROI.

Hvordan brugte jeg modellen?

Som jeg nævnte i indledningen, brugte jeg for nyligt selv modellen i et oplæg om værdiskabelse.

Personligt bruger jeg egentligt ikke modellen direkte, når jeg arbejder med evaluering. Men den ligger helt sikkert som en grundsten for den måde, som jeg arbejder på – og det tror jeg, den gør for mange. Derfor er den også en virkelig god referenceramme at tale ud fra.

Helt konkret brugte jeg den til at tale om, hvilken værdi det er, man skaber. Og om der er tale om réel værdi. Hvis der f.eks. stilles krav om, at læringen skal opnå en vis tilfredshedscore, er der så tale om reel værdi?

Ja. Eller nej. Eller måske.

Det kommer helt an på, hvem vi vurderer den “rigtige kunde” til at være.

• Er det dem, som har givet opgaven, der er den rigtige kunde, så er værdi at gøre dem glade ved at levere høje tilfredshedsmålinger (niveau 1).
• Er det slutbrugeren, der er den rigtige kunde, så er værdi at sørge for, at de faktisk lærer noget, og at de får det anvendt bagefter (niveau 2 og niveau 3), og ideelt set, at det generer de ønskede resultater (niveau 4).
• Er det organisationen, der er den rigtige kunde, så handler det om at sørge for, at det har en effekt (niveau 4), og at det var investeringen værd (niveau 5)

Men for at man virkelig, virkelig skal lære noget, så skal man befinde sig i læringzonen. Her er det dog ofte hårdt at være – dét, der kaldes for desirable difficulties. Og hvis det er hårdt, kan det faktisk ofte gå ud over en høj tilfredshedsscore.

Og på den måde kan man bruge Kirkpatrick-modellen til en lidt mere filosofisk diskussion om værdiskabelse.

Opsamling

• Kirkpatricks 4 evalueringsniveauer er en af de mest udbredte modeller inden for evaluering af læring og træning.
• Modellen blev skabt af Donald Kirkpatrick i 1959 – men han kaldte dem hverken “levels” eller en “model”. Det kom først for alvor med udgivelsen af hans bog i 1994.
• De 4 niveauer er: Reaction, Learning, Behavior og Results – jo højere niveau, jo mere værdifuld og jo sværere at gennemføre.
• Niveau 1 er en tilfredshedsmåling – ikke en læringsmåling.
• Niveau 2 måler faktisk læring, men typisk lige efter kurset – præcis det tidspunkt, hvor folk husker mest, jf. Glemselskurven.
• Niveau 3 måler, om det lærte bliver anvendt i praksis.
• Niveau 4 måler den faktiske effekt på organisationen.
• Mange organisationer evaluerer kun på niveau 1 – selvom niveau 3 og 4 er de mest værdifulde.
• Niveauerne er ikke automatisk forbundne – og modellen bruges bedst bagfra: start med de ønskede resultater og design læringen derfra.