ok. 4 minuty czytania - polub, linkuj, komentuj!

Artykuł Moniki Sulik na blogu EPALE pt. „Po co komu biografia na szkoleniach? Czyli edukacyjna <<puszka Pandory>>” przypomniał mi, jak cennym materiałem ewaluacyjnym mogą być biografie uczestników. Rozwijając ten temat warto pokazać chyba nie do końca docenianą w ewaluacji metodę Success Story (lub też Success Case). Opiera się ona na identyfikacji, zbadaniu i opisie najbardziej (a czasem również i najmniej udanych) przypadków w projekcie np. szkoleniowym. „Przypadkiem” może być historia jednej osoby, zespołu, a nawet działu w miejscu pracy (można tu opisywać każdą jednostkę dającą się wyodrębnić).

Metoda Success Story najbardziej przydaje się do oceny wpływu interwencji prorozwojowych, takich jak szkolenia, coaching, doradztwo, chociaż jej wykorzystanie może być dużo szersze. Może być np. użyteczna podczas badania efektywności nowo wdrożonych procesów lub zakupu nowego wyposażenia.

Zadaniem metody nie jest ocena średniej czy przeciętnej efektywności – jej siłą jest raczej pokazanie „spektakularnych wyników” uchwyconych w doświadczeniu uczestników. Jest przydatna do dokumentowania historii oddziaływania i do zrozumienia czynników, które zwiększają albo utrudniają wpływ, odpowiada na pytania: Kiedy program działa? Jakie jego elementy są najbardziej skuteczne i efektywne? Pod jakimi warunkami program przynosi najlepsze efekty? Kto może najbardziej skorzystać na uczestnictwie w nim? Jako metoda jakościowa – może stanowić doskonały materiał uzupełniający dla badań ilościowych lub stanowić samodzielnie stosowaną metodę – aczkolwiek ja rekomenduję stosowanie triangulacji metod tj. sięganie w jednym badaniu po różne metody, które pozwalają zbierać szeroki, wzajemnie się uzupełniający i weryfikujący zestaw danych.

Planując badanie z wykorzystaniem metody Success Story można zacząć od badań ilościowych, identyfikujących, w jakim stopniu udało się osiągnąć cel biznesowy inicjatywy w całej organizacji. Dane te następnie można wykorzystać do znalezienia przypadków „odstających od przeciętnej”, w których inicjatywa okazała się szczególnie skuteczna (lub nieskuteczna) - w celu dokładniejszego ich przestudiowania – właśnie przy zastosowaniu Success Story.

W przypadku ewaluacji szkoleń metodę Success Story można stosować uzupełniająco do modelu oceny skuteczności szkoleń Kirkpatricka (opisywanego przeze mnie w zeszłym roku na platformie EPALE), który w dużej mierze bazuje na metodach ilościowych. Jak trafnie pisze Andrew Downes w „Learning Evaluation Theory: Brinkerhoff’s Success Case Method” (https://www.watershedlrs.com/hubfs/documents/Learning_Evaluation_Brinke…): Bieżąca analiza ilościowa dużych zbiorów danych dostarcza najświeższych wskaźników sukcesu twojej inicjatywy, a także trendów związanych z uczeniem się i wynikami w twojej organizacji. Analiza jakościowa umożliwia zapoznanie się z tymi wynikami i zbadanie ich potencjalnych przyczyn. Być może słyszeliście powiedzenie: Korelacja nie implikuje związku przyczynowego, ale sugestywnie porusza brwiami i gestykuluje ukradkiem, kiedy mówi „popatrz tam”. Badania jakościowe, a szczególnie metoda Success Story pozwała „spojrzeć tam” z większą uwagą. Na tym etapie badania gromadzimy dane poprzez pogłębione wywiady indywidualne. Opowiadane historie powinny obejmować wszystkie cztery poziomy oceny Kirkpatricka wraz z dowodami na każdym poziomie, aby pokazać efekty uczenia się w odniesieniu do poszczególnych osób, jak i organizacji.

Przykładem ewaluacji, która zawierała metodę Success Story była ewaluacja studiów podyplomowych w Szkole Głównej Handlowej. Studia te pod nazwą Europejska Akademia Umiejętności Menedżerskich były adresowane do kadry kierowniczej i pracowników przedsiębiorstw. W ramach tej ewaluacji dokonano opisu rozwoju kariery zawodowej uczestników, ich drogi do obecnej pozycji zawodowej i towarzyszących jej uwarunkowań, w tym roli studiów podyplomowych. Uzyskany materiał – dzięki uwzględnieniu w nim realnej perspektywy indywidualnego uczestnika i elementów osobistej biografii był nie tylko interesujący badawczo i użyteczny ewaluacyjnie, ale również stanowił jeden z najbardziej nośnych promocyjne elementów informowania o ofercie edukacyjnej uczelni. Przykład ten pokazuje, że wyniki takiej ewaluacji można wykorzystać nie tylko do udoskonalenia programu, ale również w celach marketingowych.

O metodzie Success Story/ Success Case warto poczytać w: R.O. Brinkerhoff, The success case method: find out quickly what’s working and what’s not (2003), BK Publ., San Francisco https://books.google.co.nz/books?id=tNxwTIOSjNUC&printsec=frontcover&so…, a szerzej o metodologii „studium przypadku” w N. Denzin, Y. Lincoln Metody badań jakościowych, PWN, warszawa 2009.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Założycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Praktyczne wskazówki do planowania i projektowania ewaluacji

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!