Phillips ROI Model - Return on Investment

I mit seneste indlæg skrev jeg om Kirkpatrick Modellen og dens 4 evalueringsniveauer. Her skrev jeg bl.a., at et af kritikpunkterne på modellen er, at den mangler et 5. niveau – et niveau, som ikke bare måler, om træningen har haft en effekt, men også om effekten har været omkostningerne værd. Eller med andre ord: om der har været Return on Investment (ROI).

I indlægget nævner jeg, at man kan finde det 5. niveau i en anden model, som hedder Phillips ROI Model. Og da indlægget om Kirkpatrick har haft rigtig mange besøgende, har jeg nu valgt at skrive et indlæg om Phillips også og om ROI.

Baggrund for Phillips ROI Model

Kirkpatrick Modellen består som bekendt af 4 niveauer:

Reaktion (reaction)
Læring (learning)
Adfærd (behaviour)
Resultater (results)

Disse 4 niveauer behandles ikke her, men kan i stedet konsulteres i indlægget om Kirkpatrick.

Som jeg skrev, er et af kritikpunkterne af modellen, at den mangler et 5. niveau, som måler på ROI. Det gjorde Jack Phillips (ejer af ROI Institute) noget ved, da han valgte at tilføje det 5. niveau – ROI – og derved skabte Phillips ROI Modellen.

Egentlig udviklede Phillips også en 10-step method til, hvordan man kan arbejde med ROI. Men det er mere konceptet med ROI som begreb og koncept, som behandles i dette indlæg.

Niveau 5: ROI

ROI er som nævnt en forkortelse for Return on Investment – eller på dansk “investeringsafkast”.

Begrebet beskriver grundlæggende, om en læringsintervention kan betale sig – f.eks. uddannelse, kursus, træning el.lign. Dvs., om udgifterne forbundet med udvikling og afholdelse af disse også retfærdiggør den effektivitet eller kunnen, som kurset resulterer i.

Eksempel

Hvis vi antager, at det tager en L&D-konsulent 50 timer at udvikle et 6 timers onlinekursus, og den pågældende medarbejder arbejder til 300 kroner i timen, så har omkostningerne ved at udvikle kurset været 15.000 kroner i lønkroner.

Hvis 14 medarbejdere, som også arbejder til 300 kroner i timen, skal deltage på kurset, vil det koste 1.800 kroner i lønkroner pr. deltager, svarende til samlet 25.200 kroner for alle 14 deltagere.

Da der er tale om et onlinekursus, er der ikke nogen udgifter forbundet med bookning af lokaler eller transport. De samlede omkostninger forbundet med udvikling og afholdelse af kurset er derfor 40.200 kroner.

Hvis medarbejderne i gennemsnit oplever en 2 % forøgelse i produktivitet, svarer det til 6 kroner i timen per medarbejder. For at dække de samlede kursusomkostninger på 40.200 kroner, skal medarbejderne tilsammen præstere 6.700 arbejdstimer efter endt kursus (40.200 kr. / 6 kr.). Fordelt på 14 deltagere betyder det, at hver enkelt medarbejder skal arbejde knap 479 timer med den nye effektivitet, før kurset er tjent hjem. Det svarer til lidt over 13 ugers normalt fuldtidsarbejde.

Hvis vi antager, at medarbejderne i snit er ansat i 1 år efter endt kursus (for lethedens skyld), vil den økonomiske effekt af værdien altså være 102.564 kroner:

33 ugers produktivitet (46 normale arbejdsuger – de 13, de kræver at tjene træningen ind)
Svarende til 1.221 timer per medarbejder (33 uger * 37 timer)
Svarende til 17.094 timer for alle medarbejdere (1.221 timer * 14 deltagere)
6 kroners øget produktivitet i timen svarende til en samlet økonomisk gevinst på 102.564 kroner (6 kroner * 17.094 timer)

Eksemplet er naturligvis lidt forsimplet. Der er oftest mange flere udgifter forbundet med udvikling og afholdelse af kurser, f.eks. kursusadministration og også den værdi, man kunne have skabt, hvis man ikke var på kursus, men i stedet passede sit normale arbejde – det, der hedder Opportunity cost.

Sådan udregnes ROI

Normalt udregnes ROI i procenter. Det gøres ved først at:

1. Udregne nettogevinsten

Nettogevinsten udregnes ved at tage den økonomiske gevinst og minus den med omkostningerne

I eksemplet fra før giver det 102.564 kroner i økonomisk gevinst – 40.200 kroner i totale udgifter = 62.364 kroner

2. Dividere nettogevinsten med de totale udgifter.

I eksemplet fra før giver det 62.364 kroner / 40.200 kroner = 1,55

3. Gange resultatet med 100 for at få det i procent

1,55 * 100 = 155 %

Det giver altså formlen:

ROI (%) = (nettogevinst af indsatsen / samlede omkostninger) * 100

= ((102.564 kr. – 40.200 kr.) / 40.200 kr.) X 100

= (62.364 kr. / 40.200 kr.) X 100 = 155 %

Det økonomiske udbytte

Det er både ekstremt svært og omkostningstungt at udregne det økonomiske udbytte. F.eks. kan det være vanskeligt at afgøre, om en forøget produktivitet skyldes effekten af træningen, eller om det er fordi en medarbejder er virkelig motiveret, fordi hun netop har fået en lønforhøjelse. Eller måske nogle helt andre faktorer. Og derudover kan det være vanskeligt overhovedet at få adgang til den data, man har brug for.

Derfor skal man også være særligt opmærksom på sammenhæng (korrelation) og årsag (kausalitet), så man ikke konkluderer på de forkerte ting.

Det er derfor heller ikke nok bare at kigge på f.eks. forøget produktivitet. Man er derfor i stedet nødt til at forsøge at isolere træningseffekten. Det kan gøres på forskellige måder:

Trend-analyse: At bruge historiske data fra perioden før kurset og sammenligne med data efter kurset
Kontrolgrupper: Man opdeler medarbejderne i 2 identiske grupper, en testgruppe, som kommer på kursus, og en kontrolgruppe, som arbejder videre som normalt.
Fremskrivningsmodeller/prognoser: En kontrafaktisk analyse, hvor man forsøger at forudsige, hvordan forretningen havde klaret sig, hvis deltagere ikke havde været på kursus.
Selv- eller lederrapportering: man beder medarbejderen eller dennes leder rapportere, hvor meget mere effektive de er blevet efter kursusdeltagelse, samt om denne effektivitet skyldes kursusdeltagelsen.

Omkostninger

Her gælder det om at lægge alle udgifter forbundet med kurset sammen. Udgifterne kunne f.eks. være:

Lønninger
Omkostninger forbundet med design og kursusadministration
Lokationer og forplejning på kursusstedet samt evt. overnatning
Transportomkostninger og transportgodtgørelse
Materialeomkostninger
Og meget andet

Resultat

Selv hvis man lykkes med at finde alle udgifterne og finde frem til effekten, er der stadig en masse afledte effekter, som også kan spille ind og i bidrage til højere ROI, men som ikke nødvendigvis indgår i regnestykket. Disse kunne f.eks. være:

Mindre medarbejderomsætning
Højere trivsel
Lettere rekruttering (employer branding)
Mindre sygefravær

Kan det betale sig at lave en ROI-analyse?

Det er meget svært at sige, om det kan betale sig. Det afhænger i høj grad af, hvor man arbejder, hvor stort et læringsprojekt, der er tale om, og hvem, som skal godkende det, eller man skal afrapportere til. Som udgangspunkt er jeg fortaler for, at man tilgår en opgave proportionelt. Og det vil i mange tilfælde betyde, at det nok ikke kan betale sig at arbejde med en ROI-analyse…

Men hvis ens læringskontors license-to-operate afhænger af, at man kan dokumentere, at man skaber værdi… så kan en ROI-analyse være en rigtig god vej at gå.

Problemet her er dog, at man i mange tilfælde nok ikke vil have adgang til den data, man skal bruge. Man kan derfor forsøge at tænke ROI ind fra start, når man udvikler læring eller sender medarbejdere afsted på eksterne kurser.

Eksempler kunne være:

Lave pre- og post-testing for at se, om der har været nogen effekt af læringen på deres kunnen.

Bede medarbejdere selvrapportere om deres følelse af mestring under pres før kurset og 3 måneder efter kurset.

For disse 2 eksempler gælder, at de kan sammenholdes med KPI’er i de pågældende kontorer for at se, om der har været en sammenhæng.

Man kan også bede den pågældende medarbejders leder levere data ifm. kursustilmelding, som skal retfærdiggøre, at medarbejderen kommer på kursus. Den samme data kan så bruges efterfølgende til at spore en progression…

Dette er også en god måde at sikre, at medarbejdere ikke bare sendes på kursus for kursets skyld, men at det faktisk er knyttet op på behov. Ligesom det også sikrer, at den pågældende medarbejder og leder også påtager sig et større ansvar for, at der sker transfer, og at læringen har en effekt.

Uanset hvad gælder, at man i disse tilfælde arbejder med estimater og hypoteser. Og man skal som sagt derfor være påpasselig med at konkludere på årsag (kausalitet), når der måske kun er tale om sammenhæng (korrelation). Men hvis det er det bedste, vi har, er det jo det, vi må arbejde med.

Er kurser overhovedet løsningen?

Som jeg også skrev i det oprindelige indlæg om Kirkpatrick og i indlægget om Single og Double Loop Læring, er det altid en god ide at forholde sig til, om kursus, træning eller læring altid er løsningen. Vi har i L&D nemlig en bias mod altid at søge kompetenceudvikling som løsningen på ethvert problem. Også selvom problemet slet ikke bunder ud i mangel på kompetencer eller viden.

Ofte bør vi i stedet undersøge, om et problem eller manglende adfærd reelt skyldes manglende viden eller færdigheder. Eller om det måske i stedet skyldes noget andet som kommunikation, forhindringer, ledelse, arbejdsmiljø, løn eller systemer. Altså ting, som ikke kan løses med læring hos den enkelte.

Er vi i stand til det, rykker vi os fra blot at være kursusudbydere mod at være strategiske læringspartnere.

Men selv i de tilfælde, hvor løsningen på problemet er læring, så er det ikke givet, at et kursus er løsningen. Eller at det overhovedet kan betale sig at arbejde med læring…

ROI behøver nemlig ikke kun at bruges på bagkant, når læringen er overstået. Den kan også bruges på forkant som en prognose over, om det ville kunne betale sig at udvikle og afholde et kursus eller læring. For selvom der ville være en effekt, er det ingenlunde sikkert, at effekten vil stå mål med udgifterne.

Læring, der faktisk virker

Man kunne i teorien godt forestille sig læring, som har en ROI, men som slet ikke har resulteret i læring. F.eks. at medarbejderne blev mere motiverede for at udføre deres job, fordi de kom på et kursus, hvor de slet ikke lærte noget (Illusion of Competence), for så at komme tilbage til egen praksis og arbejde hurtigere.

Både Kirkpatrick og Phillips arbejder dog ud fra præmissen om, at niveauerne hænger sammen. Dvs., at for at der kan være ROI, så skal man have lært noget (niveau 2), som man anvender (niveau 3), som har en effekt på resultaterne eller bundlinjen (niveau 4).

Indsatsen mod ROI starter derfor heller ikke på niveau 5. Den starter ved selve læringen. Og her taler vi læring, der faktisk virker.

Hvordan man sikrer læring, der faktisk virker, har jeg skrevet flere indlæg om, som du kan finde her:

Phillips ROI Model – Return on Investment