European Commission logo
Zaloguj Utwórz konto
Można wpisać wiele słów, odzielając je przecinkami.

EPALE - Elektroniczna platforma na rzecz uczenia się dorosłych w Europie

Blog

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU

Zachęcam tutaj do sięgnięcia do koncepcji Donalda L. Kirkpatricka

Prowadząc ewaluację szkoleń bardzo często zbieramy od uczestników opinie na temat tego jak podobało się im szkolenie i jak oceniają jego użyteczność. Chcąc jednak ocenić faktyczną jakość szkoleń warto zbierać bardziej pogłębione informacje. Zachęcam tutaj do sięgnięcia do koncepcji Donalda L. Kirkpatricka („Evaluating Training Programs”, polski tytuł „Ocena efektywności szkoleń”, Warszawa 2001, Wydawnictwo Studio Emka). Kirkpatrick określił cztery poziomy (kolejne kroki) oceny szkoleń. Każdy z nich jest równie istotny i ma wpływ na poziom następny. Przechodząc z jednego poziomu na następny, proces oceny staje się trudniejszy oraz bardziej czasochłonny, ale równocześnie dostarcza bardziej wartościowych informacji. Poniżej zostały przedstawione cztery wspomniane poziomy.

Poziom 1 – Reakcja

Poziom 2 – Uczenie się

Poziom 3 – Zachowanie

Poziom 4 – Wyniki

Reakcja

Zgodnie z tym, jak rozumiemy znaczenie słowa reakcja, proces oceny na tym poziomie pozwala mierzyć odpowiedź uczestników na program, w którym uczestniczą. Można to nazwać pomiarem zadowolenia klienta. Wiele ewaluacji, szczególnie opartych o badania ankietowe realizowane bezpośrednio po zakończeniu szkolenia, odnosi się jedynie do prostego zebrania tego typu informacji zwrotnej. Najczęściej reakcje te są pozytywne - a wpływa na to nie tylko jakość programu, ale również to czy trener był wystarczająco sympatyczny, a jedzenie smaczne. Dla trenerów prowadzących różnego rodzaju szkolenia istotne są pozytywne reakcje uczestników. Jeżeli na szkoleniu dominują reakcje negatywne, odbije się to prawdopodobnie na motywacji do nauki. Pozytywna reakcja nie warunkuje właściwego przyswajania wiedzy, jednakże reakcja negatywna prawie zawsze wiąże się z pogorszeniem tego procesu.

Uczenie się

Proces uczenia się można zdefiniować jako zmianę nastawienia uczestnika w wyniku odbytego kursu i/lub podniesienia umiejętności. Niektórzy trenerzy twierdzą, że nie ma uczenia się dopóki nie pojawią się zmiany w zachowaniu. Proces uczenia się ma miejsce wtedy, gdy występuje jeden lub więcej z poniższych czynników: zmianie ulega nastawienie (postawa), wzrasta poziom wiedzy, podnosi się poziom umiejętności. Te same czynniki muszą się pojawić, aby mogła wystąpić zmiana w zachowaniu. Cześć prowadzonych ewaluacji szkoleń uwzględnia, oprócz poziomu zadowolenia uczestnika, również efekty procesu uczenia się, najczęściej jednak są to jedynie testy wiedzy, rzadziej diagnoza zmiany nastawienia (postaw) bądź sprawdzenie umiejętności.  

Zachowanie

Zachowanie można zdefiniować jako zakres, w obrębie którego następuje zmiana w postępowaniu danej osoby na skutek jej uczestnictwa w szkoleniu. Niektórzy trenerzy mają skłonność do omijania poziomów 1 i 2 - czyli reakcji i uczenia się - w celu szybkiego dokonywania pomiaru zmian w zachowaniu. Jest to poważny błąd. Załóżmy na przykład, że nie odkryto żadnej zmiany w zachowaniu. Jednoznacznym wnioskiem, jaki można z tego wyciągnąć, jest to, że program okazał się nieefektywny. Wniosek wyciągnięty tą drogą może, ale nie musi być prawdziwy. Reakcje uczestników mogły być pozytywne, również osiągnięto cele procesu uczenia się, ale niestety nie zaistniały warunki związane z realizacją poziomu 3 i 4. Aby mogła wystąpić zmiana, należy spełnić cztery poniższe warunki:

1.  Osoba musi chcieć się zmienić.

2.  Osoba musi wiedzieć, co i jak robić.

3.  Osoba musi pracować w sprzyjającej atmosferze.

4.  Osoba powinna być wynagradzana za każdą pozytywną zmianę.

Program szkoleniowy jest w stanie sprostać pierwszym dwóm wymogom, tworząc pozytywne nastawienie w stosunku do oczekiwanej zmiany, a także zapewnić niezbędną wiedzę i umiejętności. Trzeci z warunków, czyli odpowiednia atmosfera, ma związek z bezpośrednim przełożonym uczestników szkolenia. Czwarty warunek, czyli nagradzanie, może mieć charakter wewnętrzny, zewnętrzny lub mieszany. Nagrody wewnętrzne obejmują takie elementy jak: uczucie satysfakcji, dumy oraz osiągnięć związanych z pozytywnymi zmianami w zachowaniu. Nagrody zewnętrzne związane są z pochwałami szefa, uznaniem innych, nagrodami pieniężnymi, takimi jak premie motywacyjne i podwyżki. Jasne jest, że istnieje niewielka szansa na to, że szkolenie wpłynie na postępowanie jego uczestników, jeżeli zniechęcający będzie sam klimat w miejscu pracy. Jeżeli będzie on neutralny, zmiana zachowania uzależniona będzie od pozostałych trzech warunków. Jeżeli sama atmosfera jest zachęcająca, wtedy zakres zmian zależeć będzie od warunku pierwszego oraz drugiego. Zgodnie z tym, co zostało wspomniane powyżej, ważne jest, w celu stwierdzenia, czy nastąpiła zmiana w zachowaniu, aby wcześniej dokonywać oceny zarówno reakcji, jak i efektów uczenia się. Dopiero wtedy można dokładnie określić, czy brak zmiany został spowodowany niedostateczną efektywnością szkolenia, niewłaściwą atmosferą czy też brakiem odpowiednich wzmocnień.

Ważne jest, aby trenerzy zdawali sobie sprawę z atmosfery, z jaką spotykają się uczestnicy po powrocie ze szkolenia. Ważne jest również usilne staranie o to, aby była ona neutralna albo lepsza. W innym przypadku nie ma w ogóle szans, lub są one niewielkie, na osiągnięcie założonych celów, ponieważ pracownicy nie będą zmotywowani, aby wykorzystywać to, czego się nauczyli. W takiej sytuacji musimy się liczyć nie tylko z brakiem zmiany, ale również z frustracją uczestników szkolenia.

Związane to może być z samym zachowaniem kierownika oraz niemożnością wykorzystania tego, czego nauczyli się podczas kursu. W wytworzeniu pozytywnego klimatu pracy może pomóc zaangażowanie w program szkoleniowy samych przełożonych np. dla określania potrzeb podwładnych można wykorzystać wiedzę posiadaną przez ich kierowników. Takie podejście utwierdza w głębszym przekonaniu, że program przekaże wiedzę, zasady i techniki, które będzie można z powodzeniem wykorzystać w praktyce. Inne podejście zakłada, aby przed rozpoczęciem szkolenia zaprezentować kierownikom jego skróconą wersję.

Wyniki

Określenie wyniki można zdefiniować jako ostateczne efekty uczestnictwa danej osoby w programie szkoleniowym. Wyniki mogą obejmować zwiększenie poziomu produkcji, lepszą jakość, niższe koszty, obniżenie liczby wypadków przy pracy, wzrost poziomu sprzedaży oraz większe zyski itp. Ważne jest, aby zrozumieć, że wyniki takie jak te, są celem organizowania programów szkoleniowych. Niektóre programy koncentrują się na dochodzeniu do odleglejszych, słabo mierzalnych celów jak: przywództwo, komunikacja, motywacja, zarządzanie czasem, delegowanie zadań, podejmowanie decyzji lub zarządzanie zmianą. Jesteśmy w stanie określić i ocenić pożądane zachowania, jednakże uzyskiwane wyniki można przedstawić jedynie w formie wyższego morale lub też innych kategorii niemających cech bezpośrednich mierzalnych wskaźników np. finansowych. Warto jednak zastanowić się nad pożądanymi efektami szkolenia np. wyższej jakości warunków pracy i spróbować wskazać wymierne wskaźniki nawet o charakterze pośrednim, które wskazują nam na ile szkolenie rzeczywiście przyczyniło się do ich osiągnięcia.

Przywołując koncepcję Kirkpatricka dotyczącą czterech poziomów oceny szkoleń chcę zachęć do głębszej refleksji nad ewaluacją szkoleń wychodzącą poza zakres jedynie badania opinii uczestnika bezpośrednio po zakończeniu szkolenia.


Beata Ciężka - ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji, była wykładowcą na studiach podyplomowych Uniwersytetu Warszawskiego oraz Szkoły Głównej Handlowej. Ambasador EPALE. Specjalizuje się w badaniach jakościowych i analizach eksperckich.


W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE! 


Zobacz także:

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!

Likeme (5)

Komentarz

Cieszę się, że mój artykuł wywołał refleksję na temat ewaluacji szkoleń. Ja sens ewaluacji widzę przede wszystkim w jej użyteczności. Towarzyszy mi takie spostrzeżenie – powierzchowność badań ewaluacyjnych szkoleń, które często opierają się jedynie na krótkiej ankiecie wypełnianej w pośpiechu przez uczestników to tak naprawdę „mydlenie oczu”, że chcemy się czegoś dowiedzieć od uczestników. W rzeczywistości realizatorzy szkoleń nie poważają tak otrzymanej opinii (i trudno odmówić im racji), z drugiej strony mają czyste sumienie, że ewaluację zrealizowali. Gdyby zdecydowali się na bardziej uważne (i poważne) podejście do ewaluacji, uzyskaliby informacje dużo bardziej użyteczne. Pytanie czy tak naprawdę tego chcą i czy są na to gotowi?

Likeme (0)

Dzisiaj miałam okazję uczestniczyć w szkoleniu pracowników jednej z polskich firm. Moim zdaniem - bardzo wiele zależy od uczestnika szkolenia. Po pięciogodzinnej obserwacji ludzi w różnym wieku (30-60 lat) doszłam do wniosku, że im większy staż w danej pracy, dziedzinie, tym (o dziwo!) większe zainteresowanie tematem. Młodzi ludzie bardzo często traktują szkolenia jako tą mniej ciekawą część pracy, zapewne z powodu sporej partii materiału teoretycznego przekazywanego na takim spotkaniu. Mimo tego, że niekiedy pierwszy raz mają styczność z danym produktem, problemem poruszanym na szkoleniu - nie wykazują zbytniego zainteresowania. Bardzo często traktują to jako "odbębnienie swojego", nie przyswajają wiedzy przekazywanej, nie dopytują, nie zagłębiają się w temat. To przykre. Moim zdaniem szkolenie, czyli uczenie się czegoś od kogoś kompetentnego, zaangażowanego to najlepsze co może się przytrafić osobie świeżej, niedoświadczonej. Przepracowywanie z osobą kompetentną, zorientowaną, wykwalifikowaną i fachową danego probemu daje nam zdecydowanie większą wiedzę, niż dochodzenie do wszystkiego samemu. Bardzo często wchodząc w nowe środowisko, nowy zespół w pracy, nie możemy sobie pozwolić na metodę prób i błędów. To po prostu zbyt wiele kosztuje.

Likeme (0)

Yes, you are right. How well your teaching is appreciated depends on the competencies of your students and of course their motivation, their wishes, interests, ambition. Moreover, younger participants, in school were less trained to use abstract thinking, to apply theories... older participants  in general can see links between their practice and generalisations and are free to find them. Moreover, they like it!

Working in both the academic world and adult education world I noticed that in the academic world the same lecturers  may be badly evaluated  when addressing students at the beginning of their studies, whereas  they get excellent scores by the same students when these are finishing their master degree studies. Young students change immensile in the coruse of their studies, ny the end of theior studies they have learned a lot about  the culture of studying at university. Moreover,young university students are more interested in what they are…. and less in social developments. As a result of it, subjects like developmental psychology are better appreciated than for instance sociology of culture etc.

 

We should finally  change our mind about the whole responsibility for good teaching, training and learning being on the side of the  teacher. It is also on the side of the learners. There are definitely at least three learning audiences (according to their status and motivation). Pre-school children who are curious, motivated, who learn to survive and learn  for the sake of learning; children and young people who are motivated extrinsically. They study for their parents, teachers, scores, they study to be loved and accepted. Adults are pragmatic learners and want their studies to be directly connected to what they need (moreover, they have so many other tasks) and older learners in older adult education who study because they are curious, because they want to learn and they have always wanted it ...( compensatory learning) They are choosy learners appreciating both knowledge and relationships.

Likeme (0)

XXI wiek to czas, w którym człowiek zmuszony jest do nieustannej aktualizacji swojej wiedzy i poszerzania palet własnych kompetencji. Tylko taki pracownik zyskuje w oczach pracodawcy. Szkolenia są wspaniałym narzędziem, które pomaga ludziom w uzyskiwaniu potrzebnej, ciekawej i aktualnej wiedzy. Poprawnie zaplanowane szkolenie bezsprzecznie gwarantuje jego sukces. Niestety obecnie wielu trenerów zapomina o tym jak jak ważne jest przerpowadzenie dobrze przemyślanej ewaluacji. Dzisiejsze ewaluacje opierają się jedynie na badaniu opinii uczestnika zaraz po przeprowadzonym szkoleniu, co niestety nie daje nam obrazu ewaluacji kompletnej. Nie jest w stanie dostarczyć ona obiektywnych danych dotyczących tego, na ile skuteczne było odbyte szkolenie. Dopiero czas jest w stanie zweryfikować czy zdobyta, w procesie szkolenia wiedza trafiła w potrzeby uczestnika, na ile uczestnik potrafi i chce się nią posługiwać oraz jak bardzo wpłynęła ona na jego postawy czy zachowania.

Likeme (0)

Czytając ten inspirujący materiał, budzi się refleksja, że to organizator szkolenia w swoim badaniu ewaluacyjnym zbiera najczęściej ocenę po samym szkoleniu. Uczestnicy pamiętają wtedy najbardziej np. wykładowcę dobrze prowadzącego zajęcia, wysoką jakość materiałów dydaktycznych, miłą atmosferę, dobre warunki, przydatność nabytej wiedzy... No właśnie, tę przydatność, celowość szkolenia, korzyści można dopiero ocenić po jakimś czasie. Od czego to zależy? Zależy to przede wszystkim od celu zainwestowania w takie przedsięwzięcie i osiągnięcia korzyści - może to być np. możliwa realizacja pasji życiowych, jak również lepsza pozycja zawodowa, nabycie nowych kwalifikacji. Jeżeli szkolenie przyczyniło się do spełnienia tych oczekiwań, wówczas oznacza to sukces szkolącego i słuchacza. Jeżeli jednak tak się nie stanie to wtedy, chyba straciliśmy czas.Trudno to jednoznacznie stwierdzić, bo nauka zawsze wnosi wiedzę, która przyda się w życiu. Jednakże, konkludując i mając na uwadze krótki termin prowadzenia ewaluacji - nie zawsze można to należycie wykazać. Popieram więc ewaluację szkoleń wychodzącą poza zakres badania opinii uczestnika bezpośrednio po zakończeniu szkolenia, gdyż wpłynie to na wzmocnienie jakości kształcenia dorosłych.

Likeme (0)

Users have already commented on this article

Chcesz zamieścić komentarz? Zaloguj się lub Zarejestruj się.