Skip to main content
Resource Details
ACMHAINN

Měření výsledků vzdělávání na základě inovovaného Kirkpatrickova modelu

Kirkpatrickův přístup k evaluaci – východiska modelu

Kirkpatrickův přístup k měření výsledků vzdělávání je historicky nejstarším a světově nejznámějším  pokusem o měření výsledků vzdělávání v prostředí firem a institucí. Svůj přístup zveřejnil Don Kirkpatrick v roce 1959 ve čtyřech článcích publikovaných v odborném periodiku Journal of the ASTD.

Již v období vzniku Kirkpatrickova modelu byla, a dodnes stále je, řada vzdělávacích aktivit sice hodnocena, avšak velmi často jen v rovině spokojenosti účastníků s průběhem školení. V mnoha případech tak evaluační zjištění postrádají komplexní a podrobné informace o účincích a efektivitě vzdělávacích procesů a o jejich významu pro fungování příslušné organizace.

Především tento aspekt byl ve své době hlavním stimulem ke vzniku a následnému rozvoji Kirkpatrickova modelu, ale i jiných evaluačních nástrojů.

I v současné době, téměř 60 let od jeho vzniku, tvoří Kirkpatrickův model základ mnoha odborných evaluačních prací a je v řadě modelů rozvíjen a upravován. V původních Kirkpatrickových textech se ještě nehovořilo o úrovních hodnocení, ale byly zde již vymezeny čtyři kategorie, které je možné při hodnocení výsledků vzdělávání použít a na nichž je dodnes postaven model hodnocení  tj. reakce, učení, chování a výsledky. Původním záměrem čtyř Kirkpatrickových úrovní bylo a je prokázat účinek, hodnotu a přínos vzdělávání pro byznys.

Tento přístup se stal rychle velmi populární byl rozpracováván a někdy ne zcela přesně interpretován řadou dalších autorů. Fakticky dnes nenajdeme publikace zabývající se profesním vzděláváním, kde by v nějaké podobě nebyl tento model interpretován.

Kirkpatrickův model je naopak nástrojem, s jehož pomocí lze dospět k závěru, zda (a zároveň jaký) měl vzdělávací proces reálný dopad na chod hodnocené organizace (např. prodeje, produktivita práce, konkurenceschopnost apod.).

Při interpretaci Kirkpatrickova modelu je si třeba uvědomit, že navzdory relativně úspěšnému šíření modelu napříč obory, je naráží jeho praktické uplatnění v praxi na některé problémy. Problémy při aplikaci modelu (Tenkl 2014) bývají vymezovány následně:

  1. Nevhodné časové rozvržení dílčích činností, jejichž předpokladem je vzájemná závislost a návaznost. Jakákoli časová prodleva čí špatné načasování tak může vyústiti v nedostatečné či dokonce nepřesné závěry celé evaluace.
  2. Nekomplexnost práce s modelem. Namísto všech čtyř fází jsou ve většině případů realizovány pouze první dvě, či dokonce jen jedna fáze. Na základě dílčích (či spíše podpůrných) zjištění jsou následně činěny nepřesné evaluační závěry o celém projektu.

Při aplikaci Kirkpatrickova modelu ev. i dalších modelů, které z něj vycházejí je třeba vycházet z toho, že se jedná o evaluace orientované na cíl. Základním rysem tohoto typu evaluací je stanovení jasně definovaných a měřitelných cílů, což musí proběhnout před započetím samotné evaluace. Na základě těchto indikátorů je v konečné fázi hodnocena míra úspěšnosti celého projektu.

Dle názoru autora, je hlavní problém při aplikaci (který je následně v inovovaném modelu odstraněn) nepochopení předprojektové fáze přípravy evaluace.

Původní Kirkpatrickův model je zpravidla schematicky znázorňován následně.

Jednotlivé úrovně a jejich měření jsou potom popisovány následovně:

Reakce (Reaction)

V této fázi se zkoumá, jakým způsobem reagují školení jednotlivci na vzdělávací proces. Jinými slovy, zdali reagují pozitivním či negativním způsobem. Vzhledem k tomu, že negativní reakce školených může nepříznivě ovlivnit celý vzdělávací (či tréninkový) program, je v této fázi nanejvýš nutné, aby byla dosažena pozitivní reakce.  Navíc, negativní reakce na školení by mohla mít za následek nižší či dokonce nulovou motivaci k přenesení nových poznatků do běžné pracovní činnosti. Nicméně ani pozitivní reakce není stoprocentní zárukou úspěšnosti druhé a třetí fáze.

Učení (Learning)

(někdy je tato úroveň také nazývána úroveň poznání)

Učení je definováno jako míra, o kterou došlo u školeného jedince ke změně postojů, zlepšení znalostí či schopností. Měření v této úrovni vychází z předpokladu, že bez změny úrovně ve fázi poznání nelze očekávat změnu úrovně ve fázi chování.

Chování (Behaviour)

Třetí fáze navrženého modelu zkoumá, jakým způsobem dokáže vyškolený jedinec převést nabyté poznatky testované v druhé fázi do své každodenní pracovní činnosti. Třetí fáze je v porovnání s prvními dvěma o něco složitější, jelikož vyškolení pracovníci potřebují čas na vstřebání nových vědomostí a jejich následné přenesení do své praxe. Proces „přenosu poznatků“ vyžaduje, podle mínění Kirkpatricka, alespoň tři měsíce.  Teprve po uplynutí tohoto časového úseku lze zkoumat případné změny v pracovních návycích a chování vyškolených pracovníků.

Úspěšná změna chování vyžaduje splnění několika důležitých podmínek:

  1. Pracovník musí být ke změně motivován (ovlivněno školením)
  2. Pracovník musí vědět co a jakým způsobem změnit (ovlivněno školením)
  3. Pracovník musí být obklopen vhodným pracovním prostředím (vnitropodnikové klima je jedním z klíčových faktorů)
  4. Pracovník musí být za pozitivní změnu odměněn (hmotně či nehmotně)

Evaluace třetí fáze je oproti předcházejícím fázím časově náročnější a zároveň klade vyšší nároky na zdroje. Dle Kirkpatrickova návrhu by měla probíhat před i po školení, a to dokonce opakovaně. I to jsou nejspíše důvody toho, proč se třetí fáze modelu v praxi spíše nevyužívá.

Výsledky (Results)

Poslední fáze modelu není zaměřená primárně na jedince, nýbrž na celou organizaci. Hlavním cílem v rámci této úrovně je porovnat stav určitého jevu (tržby, prodeje, produktivita práce apod.) před začátkem a po skončení školení. Základním předpokladem, který musí být naplněn již před školením a na nějž se v praxi často zapomíná, je stanovení měřitelných cílů, kterých by mělo být pomocí školícího procesu dosaženo. Vzhledem k tomu, že ke stanovení cílů v praxi často nedochází, je výsledková fáze v mnoha případech neúplná a omezuje se na strohé konstatování výsledného stavu bez možnosti odpovědět na základní otázku, zda se jedná o dobrý či špatný výsledek.

V určitých oblastech, především v byznysu, stoupá v rámci čtvrté fáze na evaluátory tlak. Ti jsou nuceni co možná nejpečlivěji a nejdetailněji vyjádřit efektivitu a přínos školení pro hospodářský výsledek organizace.

Stále častěji se tak evaluátoři setkávají například s otázkami typu: O kolik se díky zavedení nových technologických postupů zvýšila efektivita výroby?

  • O kolik se zvýšily prodeje v důsledku školícího procesu zaměřeného na jednání s klienty?
  • Kolik se ušetřilo díky implementaci nového e-learningovému programu?

Evaluace závěrečné fáze může být provedena opět pomocí tzv. kontrolní skupiny, což Kirkpatrick konkrétně demonstruje na příkladu firmy, která disponuje více než jednou pobočkou. Za těchto podmínek by měl být tréninkový program uskutečněn pouze ve vybraných pobočkách, zatímco zbylé z nich by se stále řídily původními pravidly . Úkolem evaluátora je sledovat rozdíly v prodejích (či v efektivitě výroby) mezi oběma skupinami poboček a v závislosti na tom změřit efekt tréninkového programu. Tato metoda účinně eliminuje ostatní faktory, které mají na úroveň prodejů (či efektivity výroby) vliv.

K evaluaci závěrečné úrovně se používá také dotazníkové šetření mezi účastníky školícího procesu. I přesto, že se jedná o čistě subjektivní hodnocení, má tato forma evaluace zajímavou vypovídací hodnotu. Je nepochybně cenné pozorovat, zdali (případně jak) se vyškolení jedinci liší ve svých odpovědích. Tuto formu evaluace je vhodné aplikovat jak na horizontální tak na vertikální úrovni organizační struktury. Jinými slovy změřit, zda se liší pohledy na hodnocenou problematiku mezi jednotlivými organizačními sekcemi (odbory, odděleními apod.), ale také, zda existují významné rozdíly mezi jednotlivými úrovněmi z hlediska

zaměstnanecké hierarchie (ředitel, top management, střední management, řadoví pracovníci apod.). V této fázi evaluace se lze zeptat například těmito způsoby:

  1. Jak se změnily Vaše pracovní postupy v závislosti na vzdělávacím procesu?
  2. Zlepšily se po absolvovaném školení Vaše následující pracovní dovednosti?
    1. Vaše schopnosti řídit tým? (Ano/Ne/Nevím)
    2. Pracovní výkonnost Vašeho týmu? (Ano/Ne/Nevím)
  3. Pokud si myslíte, že se efektivita Vaší práce zvýšila, uveďte ve kterých činnostech.
    1. Rozhodování
    2. Stanovování priorit
    3. Organizace práce
    4. Komunikace
    5. Spolupráce v týmu

Důležitým aspektem evaluace čtvrté fáze je seznam předem stanovených cílů, který je nezbytné konfrontovat s aktuálně zjištěnými fakty. K dosažení co nejpřesnějších výsledků je potřeba měření pravidelně a dlouhodobě opakovat tak, aby byl minimalizován vliv nahodilých jevů na celkový výsledek. V této fázi je na evaluátora vyvíjen ze strany zadavatele nejvyšší tlak. Hodnocení však nelze uspěchat, jelikož se jedná o klíčový prvek celé analýzy, jehož výsledky mohou mít výrazný dopad na další fungování celé organizace.

 

Další modely a aplikace metody ROI

Kirkpatrickovu modelu je také často vytýkána jeho nevyváženost. Konkrétně se jedná o to, že jednotlivé fáze modelu jsou v evaluační praxi nerovnoměrně využívány. Zatímco Kirkpatrick tvrdí, že k relevantním a úplným výsledkům je nezbytná realizace všech úrovní modelu, Phillips naopak zdůrazňuje nutnost flexibility modelu, který bude sloužit rozdílným požadavkům jeho uživatelů.

Průzkum Americké společnosti pro trénink a rozvoj (ASTD) zjistil, že americké firmy se v rámci evaluací zaměřují převážně na první, potažmo druhou fázi modelu, přičemž zbylé dvě úrovně jsou realizovány spíše zřídka.  Naměřené frekvence využívání jednotlivých fází ukazuje následný přehled.

Reakce: 81 %Poznání: 40 %Chování: 11 %Výsledky: 6 %

Nevyváženost využívání jednotlivých úrovní je jedním z nejzásadnějších nedostatků Kirkrkpatrickova modelu, jelikož jeho podstata je právě v komplexnosti a komplementaritě všech fází. Ačkoli je nezbytné změřit v druhé fázi rozdíl v úrovni znalostí, dovedností a postojů, nelze na těchto výsledcích formulovat ucelený evaluační závěr. Ani změna chování

a pracovních návyků stimulovaná novými znalostmi a dovednostmi nemusí nutně vézt k pozitivním efektům na chod organizace. Až teprve čtvrtá fáze evaluace je schopna tento fakt spolehlivě posoudit. Příčinnou souvislost jednotlivých úrovní tak nelze vnímat jako základní charakteristiku modelu (jak se tomu často děje), ale jako aspekt, který je nutný evaluačními metodami potvrdit, či vyvrátit.

 

Kirkpatrick/Phillipsův model

Phillipsův návrh, někdy označovaný jako Kirkpatrick/Phillipsův model, počítá s rozšířením původního návrhu o jednu úroveň nazvanou Návratnost investic (ROI-Return of Investment). Zjednodušeně řečeno se jedná o měření efektivity vynaložených zdrojů. Tzv. Philipsův model přidává ke Kirkpatrickovým čtyřem stupňům stupeň pátý, který je definován následujícím vzorcem.

 

ROI = ((Příjmy celkem-Náklady) /Náklady) * 100

Primárním motivem pro realizaci toho alternativního modelu bylo nalézt odpověď na otázku (kterou si původní Kirkpatrickův model nekladl), zda se investice zdrojů do vzdělávacího procesu vyplatila z ekonomického hlediska (Phillips, 2002). V rámci této úrovně se evaluátor zabývá primárně poměrem cena-kvalita školícího programu. V praxi pak může nastat situace, že navzdory vysoké kvalitě a přínosu tréninkového programu zjištěných v rámci čtvrté fáze lze v páté úrovni dojít k závěru, že vynaložené náklady nejsou v adekvátním poměru s reálným přínosem a tréninkový program je tak nerentabilní. Hlavním záměrem Phillipsova pojetí je těsnější vazba modelu s potřebami komerční sféry.

Zásadním úskalím tohoto postupu jsou zejména převody měkkých bezrozměrných jevů a dat do peněžního vyjádření. I přes snahu zkonstruovat postupy pro překonání této bariéry je často aplikace tohoto postupu problematická.

Od ROI k ROE – výše naznačené problémy s kvantifikací vedli k tomu, že v posledních verzích Kirkpatrickova modelu se objevuje kriterium ROE (Return on Expectations) překládané do češtiny jako návratnost očekávání…

 

Inovovaný model Kirkpatricka

V posledních letech byl Kirpatrickův model rozšířen synem původního autora J. Kirkpatrickem a jeho manželkou. Rozšíření se týká především odpovědí na otázky, které jsou formulovány takto:

  • Jak rozložit odpovědnost za výsledky vzdělávacích aktivit mezi HR a byznys?
  • Jak motivovat manažery ke spolupráci na rozvoji podřízených?
  • Jak zefektivnit strategické rozvojové aktivity a přesvědčivě prokázat jejich dopad na výsledky organizace?

 

Celý vzdělávací program se pak připravuje „obráceně“, tedy od úrovně IV a postupuje k úrovni I.

 

Tento model umožňuje od počátku zapojit management do plánování vzdělávání a zvýšit motivaci pro vzdělávání. Podle výzkumu, který byl publikován, vedlo využití této varianty Kirkpatrickova modelu k podstatnému nárůstu praktického využívání získaných dovedností ve firemní praxi.

Výsledky výzkumu:

 

kontrolní skupina

Skupina využívající Kirkpatrickův model

ani nevyzkoušelo

15 %

5 %

vyzkoušelo a nepoužívá

70 %

10 %

s úspěchem používá

15 %

85 %

 

Inovovaný Kirkpatrickův model se de fakto stává již nejenom modelem statického hodnocení, ale postupem pro návrh a sledování úspěšnosti vzdělávacího programu.

Již v r 1993 Kirpatrick ve své práci Evaluating Training Programs: The Four Levels (Hodnocení vzdělávacích programů: čtyři úrovně, 1. vydání Berrett-Koehler, 1993). V ní popsal celý svůj model, který je komplexnější než čtyři jednoduché úrovně.

V praxi bohužel došlo k nepochopení podstaty tohoto modelu, který Kirkpatrick ve své knize vyjádřil následovně:

„Lektor musí začít tím, že stanoví výsledky, kterých chce dosáhnout a teprve potom chování, které umožní tyto výsledky splnit.  Potom musí stanovit postoje, znalosti a dovednosti, které vedou k tomuto chování. Závěrečnou výzvou pro školitele je představit vzdělávací program takovým způsobem, který účastníkům nejen umožní naučit se to, co potřebují, ale také na celý program reagují pozitivně.“

Mnohým vzdělavatelům, personalistům i manažerům odborníkům tato podstata modelu unikla. Po několik desetiletí se snaží tyto čtyři úrovně aplikovat až poté, co byl vzdělávací program navržen a realizován. Vytvořit tímto způsobem něco, co pozitivně změní chování účastníků je ale těžké, ne-li nemožné.

Z toho vyplývá, že je třeba rozlišovat mezi vypracováním plánu na tvorbu efektivních programů a metodiky hodnocení (k čemuž dochází na úrovni výsledky) od skutečného sběru dat, ke kterému dochází postupně napříč všemi úrovněmi – od první až po čtvrtou úroveň.

Tento přístup je patrný z výše uvedeného schématu a je v inovovaném modelu shrnut v pěti principech publikovaných v knize Training On Trial.

  1. Konec je začátek.
  2. Základní ukazatel hodnoty – návratnost očekávání (ROE – Return on Expectations).
  3. Pro dosažení kladných výsledků ROE je nezbytné partnerství s byznysem.
  4. Hodnotu nejprve musíme vytvořit, teprve poté ji můžeme prokázat.
  5. O skutečné hodnotě svědčí přesvědčivý řetězec důkazů.

Aplikace tohoto přístupu ke tvorbě efektivních vzdělávacích programů a hodnocení jejich efektivity je v uvedené publikaci znázorněno následujícím vývojovým schématem.

Tento uvedený model dává ucelenou představu o optimálním postupu k efektivnímu vzdělávání. K jeho praktické aplikaci je třeba pro konkrétní podmínky navrhnout vhodné nástroje k úspěšné realizaci tohoto modelu. Rovněž je třeba zvážit, zda pro zjišťování efektivity vzdělávání v konkrétních podmínkách používat kritérium ROI nebo ROE.

 

Použitá literatura a zdroje:

  • Kirkpatrick, J.D.,Kirkpatrick W.D.(2010) Training on Trial. New York: AMACOM
  • Mužík,J. (2010) Řízení vzdělávacího procesu.
  • Andragogická didaktika. Praha Wolters Kluver ČR
  • Pituchová, I.(2013) Vyhodnocování podnikového vzdělávání s využitím modelu Kirkpatrics.
  • Slezská univerzita, Obchodně podnikatelská fakulta, Karviná
  • Tenkl, M. (2014) „Kirkpatrickův čtyř-úrovňový model: teorie, praktické využití a možná úskalí“.  Evaluační teorie a praxe dostupné z https://www.evaltep.cz

 

Autor: Bohumír Fiala, lektor SEMIS, spol. s r.o., viceprezident AIVD ČR

Původní zdroj: Andragogika v praxi. Odborný čtvrtletník pro vzdělávání a rozvoj dospělých 19–20/2019. Praha: AIVD ČR, 2019

Resource Details
Úda(i)r Acmhainne
Bohumír Fiala
Cineál Acmhainne
Ailt
Dáta a fhoilsithe
Teanga an doiciméid
Login (1)

Logáil isteachCláraigh chun tuairimí a phostáil.

Want to add a resource ?

Don't hesitate to do so! Click the link below and start posting a new resource!