chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE - Elektroniczna platforma na rzecz uczenia się dorosłych w Europie

Blog

Konceptualizacja ewaluacji, czyli jak przygotować ewaluację projektu szkoleniowego (i każdego innego)

12/06/2018
przez Beata Ciężka
Język: PL
Document available also in: FR

Tym wpisem chcę zachęć do myślenia o ewaluacji jako o procesie, który ma swoją logikę. Polecam tutaj filmik rysunkowy i naprawdę fajny – jam ci to Zagłoba uczynił :)

Konceptualizacja ewaluacji, czyli jak przygotować ewaluację

Jednym z najważniejszych elementów procesu każdej ewaluacji, warunkującym jego powodzenie, jest etap planowania ewaluacji. Przystępując do planowania ewaluacji warto pamiętać, że ewaluacja jest przede wszystkim narzędziem do pozyskiwania informacji mającym wspomagać proces decyzyjny i budować współodpowiedzialność za osiągane efekty, nie oferuje natomiast gotowych rozwiązań czy scenariuszy postępowania.

Planowanie ewaluacji warto rozpocząć od dyskusji w gronie realizatorów projektu. Przedmiotem dyskusji powinna być identyfikacja kwestii, które warto poddać ewaluacji bądź problemów wymagających rozwiązania, a ewaluacja mogłaby być pomocna w poszukaniu tych rozwiązań. Jest to punkt wyjścia do sformułowania celu ewaluacji i funkcji jaką ma pełnić w projekcie. Wyjście od zdefiniowania celu ewaluacji w bezpośredni sposób poprowadzi nas do wskazania sposobu wykorzystania wyników ewaluacji i uzasadnienia użyteczności jej przeprowadzenia.

Prowadzenie ewaluacji w projekcie uzasadnione jest właśnie możliwością wykorzystania jej wyników przez konkretne osoby – koordynatora projektu, trenerów, uczestników, czy ich przełożonych. Dlatego też kolejna decyzja podczas planowania ewaluacji powinna dotyczyć identyfikacji odbiorców ewaluacji, czyli odpowiedzi – dla kogo ewaluację prowadzimy i kto będzie korzystał z poczynionych w jej wyniku ustaleń. Określenie odbiorców ewaluacji potrzebne jest, by wziąć pod uwagę w prowadzonym badaniu ich „potrzeby informacyjne” – czyli to, co dla nich może być ważne, interesujące i istotne z punktu widzenia ich zadań i ról, jakie pełnią.

/pl/file/shutterstock736250275jpgshutterstock_736250275.jpg

Ewaluacja musi być również „wykonalna”, dlatego też już na etapie planowania musimy zastanowić się nad zasobami, jakimi dysponujemy i jakie możemy na rzecz wykonania ewaluacji poświęcić, w szczególności chodzi tu o zasoby czasowe, finansowe oraz ludzkie. Ewaluacja, jak każde przedsięwzięcie, musi zostać zrealizowana w określonym terminie – warto więc planując ją wziąć pod uwagę kalendarz pracy firmy oraz obciążeń pracowników. Nie można zapomnieć również o kosztach, jakie generować będzie realizacja badania – materiałów biurowych, dodatkowych telefonów, a czasem i komputera czy oprogramowania, które będą niezbędne, aby zebrać dane, opracować i zaprezentować wyniki.

Kolejna decyzja w fazie planowania ewaluacji powinna dotyczyć wykonawców ewaluacji, to jest zbudowania zespołu, który będzie odpowiedzialny za przygotowanie i zrealizowanie badania ewaluacyjnego, a następnie opracowanie i zaprezentowanie jego wyników. Warto tutaj określić role i zakresy odpowiedzialności poszczególnych członków zespołu (koordynatora, osób zbierających dane, autorów analiz i raportu).

Mając sformułowany wyjściowy plan ewaluacji, tj. określone:

  • cele ewaluacji i sposób wykorzystania wyników ewaluacji,
  • odbiorców ewaluacji,
  • zasoby (czasowe, finansowe, ludzkie),
  • wykonawców ewaluacji (zespół ewaluacyjny),

możemy przystąpić do opracowania tzw. projektu ewaluacji czyli założeń merytorycznych i metodologicznych badania ewaluacyjnego.

W skład projektu ewaluacji wchodzi określenie:

  • przedmiotu badania ewaluacyjnego oraz głównych problemów (obszarów, zagadnień) badawczych,
  • pytań kluczowych (badawczych),
  • kryteriów ewaluacji,
  • metod badawczych,
  • harmonogramu ewaluacji,
  • formatu raportu i sposobu upowszechniania wyników.

Poniżej omówione zostały poszczególne elementy projektu ewaluacji.

1. Określenie przedmiotu badania ewaluacyjnego oraz głównych problemów (obszarów, zagadnień) badawczych

Etap ten polega na zdefiniowaniu przedmiotu ewaluacji, czyli precyzyjnym określeniu co będzie ewaluacji poddawane. Przedmiotem ewaluacji projektu szkoleniowego może być program szkolenia, praca trenera, materiały szkoleniowe lub efekty szkolenia dla uczestników, firmy. Pula zagadnień jest tu praktycznie nieograniczona – pamiętajmy jednak, że punktem wyjścia są zawsze potrzeby informacyjne wcześniej zidentyfikowanych „intresariuszy” ewaluacji. Temat badania (przedmiot ewaluacji) może być również określony w kategoriach problemu do rozwiązania lub zagadnienia do zdiagnozowania (np. identyfikacja barier we wdrażaniu rozwiązań będących przedmiotem szkolenia; diagnoza potrzeb szkoleniowych różnych grup pracowników) – informacje pozyskane w wyniku ewaluacji mogą pomóc właściwie zidentyfikować problem/rozpoznać zagadnienie i ułatwić podjęcie właściwych kroków zmierzających do ich rozwiązania czy opracowania strategii postępowania.

2. Sformułowanie pytań kluczowych i kryteriów ewaluacyjnych

Pytania ewaluacyjne to pytania sformułowane w sposób ogólny (problemowy), na które odpowiadać będzie się w rezultacie przeprowadzanej ewaluacji. Nie są to pytania, które bezpośrednio zostaną zadane osobom objętym ewaluacją np. uczestnikom szkolenia czy ich kierownikom (aczkolwiek niektóre z nich mogą być zadane wprost), ale są to pytania, na które odpowiedzi poszukiwać się będzie w trakcie całego procesu badawczego. Odpowiedzi na te pytania staną się następnie kanwą raportu ewaluacyjnego.

Jak wiemy, ewaluacja wychodzi poza proste stwierdzenie wystąpienia jakiegoś faktu, dokonując wartościowania (oceny) zdiagnozowanych w badaniu kwestii (procesów, efektów). Jest to podstawowa różnica pomiędzy badaniami ewaluacyjnymi i innymi badaniami osadzonymi w metodologii badań społecznych - ewaluatorzy bowiem nie ograniczają się do odpowiedzi „jak jest” i „dlaczego tak jest”, ale mogą mówić również „czy to, że tak, jest to dobrze czy źle”. By jednak takiego wartościowania dokonać muszą wiedzieć, jakimi kryteriami mają się kierować. Ocena ta nie ma więc charakteru zdroworozsądkowego czy też uznaniowego, ale oparta jest na kryteriach wskazanych w projekcie ewaluacji i odpowiedziach na pytania badawcze dokonanych w oparciu o dane empiryczne. Kryteria ewaluacji stanowią rodzaj standardów, według których dokonuje się wartościowania. Do kryteriów ewaluacji będziemy się odwoływać w fazie analizy danych zgromadzonych w trakcie badania oraz podczas formułowania wniosków ewaluacyjnych.

Przykładami najczęściej stosowanych kryteriów w ewaluacji jest: skuteczność, efektywność, użyteczność, trafność i trwałość. Kryteria te wymagają każdorazowego doprecyzowania zgodnego z przyjętą koncepcją ewaluacji.

3. Dobór metod badawczych

Metodologia badań ewaluacyjnych korzysta z bogatego dorobku metodologicznego takich dziedzin, jak socjologia, pedagogika, psychologia, ekonomia czy nauki o zarządzaniu, stosując i adaptując stosowane w tych dziedzinach podejścia i metody badawcze na potrzeby badań i analiz ewaluacyjnych. 

W ramach prowadzenia jednej ewaluacji możemy gromadzić informacje z różnych źródeł i przy użyciu równych metod (taki zabieg nazywa się triangulacją). Zastosowanie triangulacji służy zebraniu informacji możliwie pełnych i uwzględniających różne punkty widzenia np. w ramach jednej ewaluacji możemy przeprowadzić badania ankietowe wśród uczestników szkoleń oraz wywiady z trenerami i przełożonymi uczestników, a także obserwację samych zajęć.

4. Określenie ram czasowych ewaluacji (harmonogramu)

W projekcie ewaluacji powinny znaleźć się informacje na temat ram czasowych ewaluacji, a w szczególności informacja, kiedy powinno nastąpić rozpoczęcie i zakończenie ewaluacji oraz ile czasu przeznaczamy na zbieranie danych oraz ich analizę.

5. Określenie formatu raportu i sposobu upowszechniania wyników

Projekt ewaluacji wewnętrznej powinien kończyć się określeniem założeń odnośnie do formy prezentacji wyników ewaluacji. Zazwyczaj wyniki ewaluacji prezentowane są w postaci raportu, ale można również zaplanować przedstawienie jego wersji do różnych grup zainteresowanych lub wersji raportu w postaci prezentacji multimedialnej czy broszury informacyjnej.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja metodą Success Story/ Success Case

Ewaluacja wchodzi do ukraińskich samorządów

Ewaluacja codzienności - ewaluacyjna codzienność

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Praktyczne wskazówki do planowania i projektowania ewaluacji

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU

Tagi:
Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn Share on email
Refresh comments Enable auto refresh

Wyświetla 1 - 2 z 2
  • Obrazek użytkownika Monika Sulik
    Pomimo tego, że z projektami mam na co dzień niewiele wspólnego to tekst przeczytałam z ogromnym zainteresowaniem i jestem Ci Beato bardzo wdzięczna za to "poukładanie" wiedzy o ewaluacji oraz inspirujący filmik. Już mam pomysł a wykorzystanie tych wiadomości w prac ze studentami. Więcej na ten temat w grupie "ewaluacja zorientowana na użyteczność". Dziękuję i pozdrawiam :) Monika 
  • Obrazek użytkownika Maria Idźkowska
    Witam Panią i dziękuję bardzo za ten interesujący, a zarazem porządkujący materiał. Wynika z niego wprost, że ewaluacja to odrębny, samodzielny proces, na który składa się szereg zadań, wymagających sporego namysłu i wnikliwości. Bez tego nie będzie właściwych wniosków, które przełożyłyby się na jakość innych, następnych projektów. Dostrzegam, że, niestety - często wnioskodawcy projektów nie zaglądają do wniosków wypracowanych w drodze ewaluacji, generując nowe przedsięwzięcia, nie zawsze trafnie określone. Właściwa ewaluacja i jej efekty wytyczają nowe obszary konkretnych działań - przekładają się na lepszą współpracę i ich realizację. Stymulują także w dużym stopniu innowacyjność i faktycznie stają się przydatne w praktyce szkoleniowej. Serdecznie pozdrawiam
    Maria Idźkowska