ok. 5 minut czytania - polub, linkuj, komentuj!

Tym wpisem chcę zachęć do myślenia o ewaluacji jako o procesie, który ma swoją logikę. Polecam tutaj filmik rysunkowy i naprawdę fajny – jam ci to Zagłoba uczynił :)

Konceptualizacja ewaluacji, czyli jak przygotować ewaluację

Jednym z najważniejszych elementów procesu każdej ewaluacji, warunkującym jego powodzenie, jest etap planowania ewaluacji. Przystępując do planowania ewaluacji warto pamiętać, że ewaluacja jest przede wszystkim narzędziem do pozyskiwania informacji mającym wspomagać proces decyzyjny i budować współodpowiedzialność za osiągane efekty, nie oferuje natomiast gotowych rozwiązań czy scenariuszy postępowania.

Planowanie ewaluacji warto rozpocząć od dyskusji w gronie realizatorów projektu. Przedmiotem dyskusji powinna być identyfikacja kwestii, które warto poddać ewaluacji bądź problemów wymagających rozwiązania, a ewaluacja mogłaby być pomocna w poszukaniu tych rozwiązań. Jest to punkt wyjścia do sformułowania celu ewaluacji i funkcji, jaką ma pełnić w projekcie. Wyjście od zdefiniowania celu ewaluacji w bezpośredni sposób poprowadzi nas do wskazania sposobu wykorzystania wyników ewaluacji i uzasadnienia użyteczności jej przeprowadzenia.

Prowadzenie ewaluacji w projekcie uzasadnione jest właśnie możliwością wykorzystania jej wyników przez konkretne osoby – koordynatora projektu, trenerów, uczestników, czy ich przełożonych. Dlatego też kolejna decyzja podczas planowania ewaluacji powinna dotyczyć identyfikacji odbiorców ewaluacji, czyli odpowiedzi – dla kogo ewaluację prowadzimy i kto będzie korzystał z poczynionych w jej wyniku ustaleń. Określenie odbiorców ewaluacji potrzebne jest, by wziąć pod uwagę w prowadzonym badaniu ich „potrzeby informacyjne” – czyli to, co dla nich może być ważne, interesujące i istotne z punktu widzenia ich zadań i ról, jakie pełnią.

Ewaluacja musi być również „wykonalna”, dlatego też już na etapie planowania musimy zastanowić się nad zasobami, jakimi dysponujemy i jakie możemy na rzecz wykonania ewaluacji poświęcić, w szczególności chodzi tu o zasoby czasowe, finansowe oraz ludzkie. Ewaluacja, jak każde przedsięwzięcie, musi zostać zrealizowana w określonym terminie – warto więc planując ją wziąć pod uwagę kalendarz pracy firmy oraz obciążeń pracowników. Nie można zapomnieć również o kosztach, jakie generować będzie realizacja badania – materiałów biurowych, dodatkowych telefonów, a czasem i komputera czy oprogramowania, które będą niezbędne, aby zebrać dane, opracować i zaprezentować wyniki.

Kolejna decyzja w fazie planowania ewaluacji powinna dotyczyć wykonawców ewaluacji, to jest zbudowania zespołu, który będzie odpowiedzialny za przygotowanie i zrealizowanie badania ewaluacyjnego, a następnie opracowanie i zaprezentowanie jego wyników. Warto tutaj określić role i zakresy odpowiedzialności poszczególnych członków zespołu (koordynatora, osób zbierających dane, autorów analiz i raportu).

Mając sformułowany wyjściowy plan ewaluacji, tj. określone:

• cele ewaluacji i sposób wykorzystania wyników ewaluacji,
• odbiorców ewaluacji,
• zasoby (czasowe, finansowe, ludzkie),
• wykonawców ewaluacji (zespół ewaluacyjny),

możemy przystąpić do opracowania tzw. projektu ewaluacji, czyli założeń merytorycznych i metodologicznych badania ewaluacyjnego.

W skład projektu ewaluacji wchodzi określenie:

• przedmiotu badania ewaluacyjnego oraz głównych problemów (obszarów, zagadnień) badawczych,
• pytań kluczowych (badawczych),
• kryteriów ewaluacji,
• metod badawczych,
• harmonogramu ewaluacji,
• formatu raportu i sposobu upowszechniania wyników.

Poniżej omówione zostały poszczególne elementy projektu ewaluacji.

1. Określenie przedmiotu badania ewaluacyjnego oraz głównych problemów (obszarów, zagadnień) badawczych

Etap ten polega na zdefiniowaniu przedmiotu ewaluacji, czyli precyzyjnym określeniu co będzie ewaluacji poddawane. Przedmiotem ewaluacji projektu szkoleniowego może być program szkolenia, praca trenera, materiały szkoleniowe lub efekty szkolenia dla uczestników, firmy. Pula zagadnień jest tu praktycznie nieograniczona – pamiętajmy jednak, że punktem wyjścia są zawsze potrzeby informacyjne wcześniej zidentyfikowanych „intresariuszy” ewaluacji. Temat badania (przedmiot ewaluacji) może być również określony w kategoriach problemu do rozwiązania lub zagadnienia do zdiagnozowania (np. identyfikacja barier we wdrażaniu rozwiązań będących przedmiotem szkolenia; diagnoza potrzeb szkoleniowych różnych grup pracowników) – informacje pozyskane w wyniku ewaluacji mogą pomóc właściwie zidentyfikować problem/rozpoznać zagadnienie i ułatwić podjęcie właściwych kroków zmierzających do ich rozwiązania czy opracowania strategii postępowania.

2. Sformułowanie pytań kluczowych i kryteriów ewaluacyjnych

Pytania ewaluacyjne to pytania sformułowane w sposób ogólny (problemowy), na które odpowiadać będzie się w rezultacie przeprowadzanej ewaluacji. Nie są to pytania, które bezpośrednio zostaną zadane osobom objętym ewaluacją np. uczestnikom szkolenia czy ich kierownikom (aczkolwiek niektóre z nich mogą być zadane wprost), ale są to pytania, na które odpowiedzi poszukiwać się będzie w trakcie całego procesu badawczego. Odpowiedzi na te pytania staną się następnie kanwą raportu ewaluacyjnego.

Jak wiemy, ewaluacja wychodzi poza proste stwierdzenie wystąpienia jakiegoś faktu, dokonując wartościowania (oceny) zdiagnozowanych w badaniu kwestii (procesów, efektów). Jest to podstawowa różnica pomiędzy badaniami ewaluacyjnymi i innymi badaniami osadzonymi w metodologii badań społecznych - ewaluatorzy bowiem nie ograniczają się do odpowiedzi „jak jest” i „dlaczego tak jest”, ale mogą mówić również „czy to, że tak, jest to dobrze czy źle”. By jednak takiego wartościowania dokonać, muszą wiedzieć, jakimi kryteriami mają się kierować. Ocena ta nie ma więc charakteru zdroworozsądkowego czy też uznaniowego, ale oparta jest na kryteriach wskazanych w projekcie ewaluacji i odpowiedziach na pytania badawcze dokonanych w oparciu o dane empiryczne. Kryteria ewaluacji stanowią rodzaj standardów, według których dokonuje się wartościowania. Do kryteriów ewaluacji będziemy się odwoływać w fazie analizy danych zgromadzonych w trakcie badania oraz podczas formułowania wniosków ewaluacyjnych.

Przykładami najczęściej stosowanych kryteriów w ewaluacji jest: skuteczność, efektywność, użyteczność, trafność i trwałość. Kryteria te wymagają każdorazowego doprecyzowania zgodnego z przyjętą koncepcją ewaluacji.

3. Dobór metod badawczych

Metodologia badań ewaluacyjnych korzysta z bogatego dorobku metodologicznego takich dziedzin, jak socjologia, pedagogika, psychologia, ekonomia czy nauki o zarządzaniu, stosując i adaptując stosowane w tych dziedzinach podejścia i metody badawcze na potrzeby badań i analiz ewaluacyjnych. 

W ramach prowadzenia jednej ewaluacji możemy gromadzić informacje z różnych źródeł i przy użyciu równych metod (taki zabieg nazywa się triangulacją). Zastosowanie triangulacji służy zebraniu informacji możliwie pełnych i uwzględniających różne punkty widzenia np. w ramach jednej ewaluacji możemy przeprowadzić badania ankietowe wśród uczestników szkoleń oraz wywiady z trenerami i przełożonymi uczestników, a także obserwację samych zajęć.

4. Określenie ram czasowych ewaluacji (harmonogramu)

W projekcie ewaluacji powinny znaleźć się informacje na temat ram czasowych ewaluacji, a w szczególności informacja, kiedy powinno nastąpić rozpoczęcie i zakończenie ewaluacji oraz ile czasu przeznaczamy na zbieranie danych oraz ich analizę.

5. Określenie formatu raportu i sposobu upowszechniania wyników

Projekt ewaluacji wewnętrznej powinien kończyć się określeniem założeń odnośnie do formy prezentacji wyników ewaluacji. Zazwyczaj wyniki ewaluacji prezentowane są w postaci raportu, ale można również zaplanować przedstawienie jego wersji do różnych grup zainteresowanych lub wersji raportu w postaci prezentacji multimedialnej czy broszury informacyjnej.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE! 

Zobacz także:    

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja metodą Success Story/ Success Case

Ewaluacja wchodzi do ukraińskich samorządów

Ewaluacja codzienności - ewaluacyjna codzienność

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Praktyczne wskazówki do planowania i projektowania ewaluacji

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU