Prowadząc ewaluację szkoleń bardzo często zbieramy od uczestników opinie na temat tego jak podobało się im szkolenie i jak oceniają jego użyteczność. Chcąc jednak ocenić faktyczną jakość szkoleń warto zbierać bardziej pogłębione informacje. Zachęcam tutaj do sięgnięcia do koncepcji Donalda L. Kirkpatricka („Evaluating Training Programs”, polski tytuł „Ocena efektywności szkoleń”, Warszawa 2001, Wydawnictwo Studio Emka). Kirkpatrick określił cztery poziomy (kolejne kroki) oceny szkoleń. Każdy z nich jest równie istotny i ma wpływ na poziom następny. Przechodząc z jednego poziomu na następny, proces oceny staje się trudniejszy oraz bardziej czasochłonny, ale równocześnie dostarcza bardziej wartościowych informacji. Poniżej zostały przedstawione cztery wspomniane poziomy.

Poziom 1 – Reakcja

Poziom 2 – Uczenie się

Poziom 3 – Zachowanie

Poziom 4 – Wyniki

Reakcja

Zgodnie z tym, jak rozumiemy znaczenie słowa reakcja, proces oceny na tym poziomie pozwala mierzyć odpowiedź uczestników na program, w którym uczestniczą. Można to nazwać pomiarem zadowolenia klienta. Wiele ewaluacji, szczególnie opartych o badania ankietowe realizowane bezpośrednio po zakończeniu szkolenia, odnosi się jedynie do prostego zebrania tego typu informacji zwrotnej. Najczęściej reakcje te są pozytywne - a wpływa na to nie tylko jakość programu, ale również to czy trener był wystarczająco sympatyczny, a jedzenie smaczne. Dla trenerów prowadzących różnego rodzaju szkolenia istotne są pozytywne reakcje uczestników. Jeżeli na szkoleniu dominują reakcje negatywne, odbije się to prawdopodobnie na motywacji do nauki. Pozytywna reakcja nie warunkuje właściwego przyswajania wiedzy, jednakże reakcja negatywna prawie zawsze wiąże się z pogorszeniem tego procesu.

Uczenie się

Proces uczenia się można zdefiniować jako zmianę nastawienia uczestnika w wyniku odbytego kursu i/lub podniesienia umiejętności. Niektórzy trenerzy twierdzą, że nie ma uczenia się dopóki nie pojawią się zmiany w zachowaniu. Proces uczenia się ma miejsce wtedy, gdy występuje jeden lub więcej z poniższych czynników: zmianie ulega nastawienie (postawa), wzrasta poziom wiedzy, podnosi się poziom umiejętności. Te same czynniki muszą się pojawić, aby mogła wystąpić zmiana w zachowaniu. Cześć prowadzonych ewaluacji szkoleń uwzględnia, oprócz poziomu zadowolenia uczestnika, również efekty procesu uczenia się, najczęściej jednak są to jedynie testy wiedzy, rzadziej diagnoza zmiany nastawienia (postaw) bądź sprawdzenie umiejętności.  

Zachowanie

Zachowanie można zdefiniować jako zakres, w obrębie którego następuje zmiana w postępowaniu danej osoby na skutek jej uczestnictwa w szkoleniu. Niektórzy trenerzy mają skłonność do omijania poziomów 1 i 2 - czyli reakcji i uczenia się - w celu szybkiego dokonywania pomiaru zmian w zachowaniu. Jest to poważny błąd. Załóżmy na przykład, że nie odkryto żadnej zmiany w zachowaniu. Jednoznacznym wnioskiem, jaki można z tego wyciągnąć, jest to, że program okazał się nieefektywny. Wniosek wyciągnięty tą drogą może, ale nie musi być prawdziwy. Reakcje uczestników mogły być pozytywne, również osiągnięto cele procesu uczenia się, ale niestety nie zaistniały warunki związane z realizacją poziomu 3 i 4. Aby mogła wystąpić zmiana, należy spełnić cztery poniższe warunki:

1.  Osoba musi chcieć się zmienić.

2.  Osoba musi wiedzieć, co i jak robić.

3.  Osoba musi pracować w sprzyjającej atmosferze.

4.  Osoba powinna być wynagradzana za każdą pozytywną zmianę.

Program szkoleniowy jest w stanie sprostać pierwszym dwóm wymogom, tworząc pozytywne nastawienie w stosunku do oczekiwanej zmiany, a także zapewnić niezbędną wiedzę i umiejętności. Trzeci z warunków, czyli odpowiednia atmosfera, ma związek z bezpośrednim przełożonym uczestników szkolenia. Czwarty warunek, czyli nagradzanie, może mieć charakter wewnętrzny, zewnętrzny lub mieszany. Nagrody wewnętrzne obejmują takie elementy jak: uczucie satysfakcji, dumy oraz osiągnięć związanych z pozytywnymi zmianami w zachowaniu. Nagrody zewnętrzne związane są z pochwałami szefa, uznaniem innych, nagrodami pieniężnymi, takimi jak premie motywacyjne i podwyżki. Jasne jest, że istnieje niewielka szansa na to, że szkolenie wpłynie na postępowanie jego uczestników, jeżeli zniechęcający będzie sam klimat w miejscu pracy. Jeżeli będzie on neutralny, zmiana zachowania uzależniona będzie od pozostałych trzech warunków. Jeżeli sama atmosfera jest zachęcająca, wtedy zakres zmian zależeć będzie od warunku pierwszego oraz drugiego. Zgodnie z tym, co zostało wspomniane powyżej, ważne jest, w celu stwierdzenia, czy nastąpiła zmiana w zachowaniu, aby wcześniej dokonywać oceny zarówno reakcji, jak i efektów uczenia się. Dopiero wtedy można dokładnie określić, czy brak zmiany został spowodowany niedostateczną efektywnością szkolenia, niewłaściwą atmosferą czy też brakiem odpowiednich wzmocnień.

Ważne jest, aby trenerzy zdawali sobie sprawę z atmosfery, z jaką spotykają się uczestnicy po powrocie ze szkolenia. Ważne jest również usilne staranie o to, aby była ona neutralna albo lepsza. W innym przypadku nie ma w ogóle szans, lub są one niewielkie, na osiągnięcie założonych celów, ponieważ pracownicy nie będą zmotywowani, aby wykorzystywać to, czego się nauczyli. W takiej sytuacji musimy się liczyć nie tylko z brakiem zmiany, ale również z frustracją uczestników szkolenia.

Związane to może być z samym zachowaniem kierownika oraz niemożnością wykorzystania tego, czego nauczyli się podczas kursu. W wytworzeniu pozytywnego klimatu pracy może pomóc zaangażowanie w program szkoleniowy samych przełożonych np. dla określania potrzeb podwładnych można wykorzystać wiedzę posiadaną przez ich kierowników. Takie podejście utwierdza w głębszym przekonaniu, że program przekaże wiedzę, zasady i techniki, które będzie można z powodzeniem wykorzystać w praktyce. Inne podejście zakłada, aby przed rozpoczęciem szkolenia zaprezentować kierownikom jego skróconą wersję.

Wyniki

Określenie wyniki można zdefiniować jako ostateczne efekty uczestnictwa danej osoby w programie szkoleniowym. Wyniki mogą obejmować zwiększenie poziomu produkcji, lepszą jakość, niższe koszty, obniżenie liczby wypadków przy pracy, wzrost poziomu sprzedaży oraz większe zyski itp. Ważne jest, aby zrozumieć, że wyniki takie jak te, są celem organizowania programów szkoleniowych. Niektóre programy koncentrują się na dochodzeniu do odleglejszych, słabo mierzalnych celów jak: przywództwo, komunikacja, motywacja, zarządzanie czasem, delegowanie zadań, podejmowanie decyzji lub zarządzanie zmianą. Jesteśmy w stanie określić i ocenić pożądane zachowania, jednakże uzyskiwane wyniki można przedstawić jedynie w formie wyższego morale lub też innych kategorii niemających cech bezpośrednich mierzalnych wskaźników np. finansowych. Warto jednak zastanowić się nad pożądanymi efektami szkolenia np. wyższej jakości warunków pracy i spróbować wskazać wymierne wskaźniki nawet o charakterze pośrednim, które wskazują nam na ile szkolenie rzeczywiście przyczyniło się do ich osiągnięcia.

Przywołując koncepcję Kirkpatricka dotyczącą czterech poziomów oceny szkoleń chcę zachęć do głębszej refleksji nad ewaluacją szkoleń wychodzącą poza zakres jedynie badania opinii uczestnika bezpośrednio po zakończeniu szkolenia.

Beata Ciężka - ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji, była wykładowcą na studiach podyplomowych Uniwersytetu Warszawskiego oraz Szkoły Głównej Handlowej. Ambasador EPALE. Specjalizuje się w badaniach jakościowych i analizach eksperckich.

Zobacz także:

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!