Blog 21 Czerwiec 2017

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja powinna być traktowana jako stały element każdego projektu, w tym projektu szkoleniowego.

Ewaluacja powinna być traktowana jako stały element każdego projektu, w tym projektu szkoleniowego. Celem prowadzenia ewaluacji jest dostarczanie informacji pomagających podejmować słuszne i uzasadnione decyzje w oparciu o dane.

Poniżej znajduje się kilka praktycznych wskazówek dotyczących tego, jak planować ewaluację, aby można ją było zrealizować z pożytkiem dla jej użytkowników i bez nadmiernego obciążania pracą jej wykonawców.

Podczas planowania pomocny może być schemat zaprezentowany w tabeli 1. Kolumna lewa tabeli przedstawia kwestie, które należy ustalić w trakcie przygotowywania procesu ewaluacji, kolumna prawa wymienia zagadnienia do przedyskutowania przy opracowywaniu planu ewaluacji.

Tabela 1. Planowanie procesu ewaluacji

Etapy procesu planowania ewaluacji	Pytania pomocnicze do planowania ewaluacji
Zdefiniowanie celów ewaluacji i sposobu wykorzystania jej wyników	Po co będziemy przeprowadzać ewaluację? Jaki problem chcemy rozwiązać dzięki ewaluacji? Jak wyniki ewaluacji mogą być wykorzystane?
Zidentyfikowanie odbiorców ewaluacji	Dla kogo będziemy badać? Kto będzie głównym odbiorcą ewaluacji? Do kogo mają być skierowane rekomendacje? Kto będzie zobowiązany do ich wdrożenia?
Określanie zasobów (czasowych, finansowych, ludzkich)	Ile czasu możemy przeznaczyć na ewaluację? Kiedy potrzebne nam będą wyniki, aby można było realnie wprowadzić zmiany (jako wynik wdrożenia rekomendacji po ewaluacji)? Jakie koszty będzie można ponieść? Czym dysponujemy „na wejściu” (np. bazy danych uczestników szkoleń, wyniki poprzednich ewaluacji, sprawozdania)? Co musimy zrobić przed uruchomieniem ewaluacji (np. zaktualizować bazę danych, skonsultować koncepcję ewaluacji z ekspertami merytorycznymi)? Kto może zająć się prowadzaniem ewaluacji w instytucji? Jak osoby potencjalnie mogący zająć się prowadzeniem ewaluacji obciążeni są innymi zadaniami?
Wskazanie wykonawców ewaluacji	Ilu osób potrzebujemy do realizacji ewaluacji? Kto będzie zbierał wyniki, analizował je, opisywał i interpretował?

Źródło: Opracowanie własne

Zespół odpowiedzialny za realizację ewaluacji powinien opracować założenie realizacyjne (koncepcję, projekt) ewaluacji. Pomocny może być schemat zawarty w tabeli 2.

Tabela 2. Założenia realizacyjne ewaluacji

Etapy procesu planowania ewaluacji	Pytania pomocnicze do planowania ewaluacji
Określenie przedmiotu ewaluacji	Jak sformułowaliśmy temat (przedmiot) badania ewaluacyjnego? Jakie obszary w ramach przedmiotu ewaluacji można bądź trzeba wyróżnić w prowadzonym badaniu ewaluacyjnym?
Sformułowanie pytań kluczowych (badawczych)	Czego chcemy się dowiedzieć? Na jakie pytania ma odpowiedzieć ewaluacja?
Określenie kryteriów ewaluacji	Co jest „wartością” w badanym przedmiocie ewaluacji? Jakimi kryteriami mają posłużyć się osoby opracowujące wyniki ewaluacji przy interpretacji tych wyników i wyciąganiu wniosków (np. na temat adekwatności szkolenia do potrzeb i oczekiwań uczestników)?
Dobór metod badawczych	Jakie metody badawcze powinniśmy zastosować, aby zebrać możliwie pełne informacje? Od kogo będziemy pozyskiwać informacje? W jaki sposób będą dobierani respondenci (osoby udzielające informacji)?
Opracowanie narzędzi badawczych	Jakie pytania i w jakiej formie zostaną zadane poszczególnym respondentom (przy metodach bazujących na zbieraniu informacji od respondentów takich jak wywiad, ankieta, jeżeli zostały przewidziane w danej ewaluacji)? Jakie informacje zostaną pozyskane przy użyciu metod wykorzystujących obserwację (jeżeli taka metoda została przewidziana w danej ewaluacji)? Jakie informacje zostaną pozyskane przy użyciu metod wykorzystujących dokumentację (jeżeli taka metoda została przewidziana w danej ewaluacji)?
Określenie ram czasowych ewaluacji (harmonogramu)	Kiedy będzie realizowane badanie? Ile czasu przewidziano na badania, analizę danych, opisanie wyników? Kiedy ewaluacja powinna zostać zakończona, żeby była użyteczna, tj. by można było wykorzystać jej wyniki w realizacji kolejnych działań?
Określenie formatu opisu wyników (raportu ewaluacyjnego) i sposobu upowszechniania wyników	Jaką formę będzie miał opis wyników? Jaka będzie struktura opisu? Komu i przy jakiej okazji zostaną przedstawione wyniki ewaluacji?

Źródło: Opracowanie własne

Beata Ciężka – ewaluatorka programów i projektów (w tym projektów szkoleniowych), jest autorką i realizatorską szkoleń z zakresu ewaluacji, była wieloletnim wykładowcą na studiach podyplomowych z ewaluacji na Uniwersytecie Warszawskim oraz w Szkole Głównej Handlowej. Specjalizuje się w badaniach jakościowych i analizach eksperckich. Jest Ambasadorką EPALE.

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE!

Zobacz także:

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!