ok. 6 minut czytania - polub, linkuj, komentuj!

Motto: „Gdy projekt do końca zmierza, nie podchodź do ewaluacji jak do jeża ”

^{(Źródło: Zmyślona Wielka Księga Przysłów Ewaluacyjnych)}

Co to jest ewaluacja końcowa?

Ewaluacja końcowa prowadzona jest na zakończenie projektu, często nazywa się ją ewaluacją ex-post. Ma charakter podsumowujący efekty projektu. Można ją prowadzić w ostatnich miesiącach projektu, tuż po jego zakończeniu lub po upływie jakiegoś czasu (nawet kilku lat) od zakończenia projektu – wtedy mówimy o ewaluacji odroczonej. Z uwagi na specyfikę projektów Programu Erasmus+ Edukacja Dorosłych ewaluację końcową można przeprowadzić:

-  w ostatnich miesiącach realizacji projektu, aby prace ewaluacyjne pomogły np. zweryfikować jakość i użyteczność wypracowanych rezultatów końcowych oraz by zebrać rzetelne dane pozwalające opisać rezultaty projektu w Raporcie Końcowym;

- bezpośrednio po zakończeniu działań projektowych – aby wyniki ewaluacji posłużyły do jak najlepszego wykorzystania rezultatów projektu;

- po jakimś czasie np. po pół roku czy roku, by sprawdzić, czy zrealizowany projekt przyniósł spodziewane wdrożenia, zmiany w ofercie edukacyjnej, poprawę jakości działań, właściwe wykorzystanie nabytych kompetencji kadry, zmiany w jakości życia osób z grup docelowych, które korzystały z działań projektowych.

^{Photo by UX Indonesia on Unsplash}

Po co prowadzić ewaluację końcową projektu Programu Erasmus+ Edukacja Dorosłych?

• Dzięki przeprowadzeniu ewaluacji końcowej można określić skuteczność projektu tj. wskazać, w jakim stopniu założone cele i rezultaty projektu zostały osiągnięte.

• Ocena projektu może dotyczyć nie tylko jego skuteczności, ale obejmować szersze spojrzenie na projekt – przez pryzmat różnych kryteriów: efektywności (tj. oceny, czy przyjęte rozwiązania organizacyjne i finansowe były optymalne), trafności (tj. oceny, czy dobrano właściwe rozwiązania merytoryczne i metody działania), użyteczności (tj. sprawdzenia, jakie faktycznie korzyści odnieśli adresaci działań projektowych), trwałości (tj. wskazania, na ile wypracowane i wdrożone rozwiązania pozostaną w użyciu po zakończeniu projektu).

• Podsumowanie efektów projektu prowadzone w ramach ewaluacji końcowej może wychodzić poza zakres bezpośredniego oddziaływania projektu jedynie na osoby, które brały nim udział (kadrę i grupy docelowe dorosłych osób uczących się). Badanie wpływu projektu może objąć grupę/grypy, które skorzystały z efektów projektu w sposób pośredni lub skorzystają z jego dorobku w przyszłości. Taką ewaluację nazywa się ewaluacją oddziaływania lub wpływu projektu (można też posługiwać się angielską nazwą impact evaluation).

• Ewaluacja końcowa, choć podsumowuje kończący się lub zakończony projekt, stanowi cenne źródło informacji, które mogą zostać wykorzystane przy planowaniu kolejnych projektów. Taka ewaluacja może identyfikować potrzeby uczestników, które nie zostały jeszcze zaspokojone, zmieniły się z upływem czasu lub które pojawiły się w ślad za dotychczas udzielonym wsparciem np. dzięki nabyciu nowych kompetencji uczestnicy wyjazdów edukacyjnych widzą potrzebę dalszego doskonalenia się. Zatem taka ewaluacja może być swego rodzaju ewaluacją ex-ante przed kolejnym projektem. 

• Jednym z najważniejszych celów ewaluacji końcowej projektów sektora Edukacja Dorosłych powinno być zbadanie praktycznego wykorzystania rezultatów i praktycznego wpływu projektu na:

  • organizację beneficjenta (np. wdrożona nowa lub poprawiona/rozszerzona oferta edukacyjna dla dorosłych, rozwój kompetencji kadry edukacji dorosłych, zwiększona współpraca międzynarodowa),

  • na dorosłe osoby uczące się będące odbiorcami oferty edukacyjnej beneficjenta (np. lepszy dostęp do oferty edukacyjnej dostosowanej w większym stopniu do potrzeb odbiorców, poprawione kompetencje kluczowe dorosłych osób uczących się, ich aktywizacja społeczna lub podjęcie pracy, lepsze wykorzystanie ich potencjału)

  • na tematykę projektu i inne organizacje o podobnym profilu czyli innych potencjalnych użytkowników wypracowanych rezultatów (np. wdrożenie w regionie/kraju wypracowanego rozwiązania, materiału dydaktycznego, modelu pracy edukacyjnej z daną grupą odbiorców).

Jak przeprowadzić ewaluację końcową projektu Programu Erasmus+ Edukacja Dorosłych?

Jak przy każdej ewaluacji warto sięgnąć do szerokiego spektrum metod i narzędzi zbierania danych. W ewaluacji końcowej szczególnie cenne jest podejście oparte o triangulację, tj. zwielokrotnienie źródeł informacji i metod jej pozyskiwania. Takie podejście ma na celu dokonanie rzetelnej analizy efektów projektu, uchwycenie różnych punktów widzenia i poszerzenie horyzontu oceny projektu, nie tylko w oparciu o opinie bezpośrednich uczestników (realizatorów i grupy docelowe działań projektowych), ale również potencjalnych użytkowników wypracowanych rezultatów.

W ewaluacji końcowej sprawdzą się następujące metody:

• Analiza dokumentów i danych gromadzonych podczas całego projektu: programów edukacyjnych, wypracowanych rezultatów projektu, protokołów i notatek ze spotkań, raportów z ewaluacji bieżących/okresowych, materiałów promocyjnych i informacyjnych oraz wszelkiej innej dokumentacji zebranej podczas całego projektu, również w postaci nagrań i filmów. Można również analizować zapisy dzienniczków wyjazdów edukacyjnych, prowadzonych blogów uczestników lub innych form dokumentowania doświadczeń uczestników projektu – jeżeli taka dokumentacja była prowadzona.

• Badania ankietowe zrealizowane wśród bezpośrednich uczestników działań projektowych oraz wśród aktualnych i potencjalnych użytkowników rezultatów projektu, adresatów działań upowszechniających.

• Wywiady indywidualne i/lub wywiady grupowe prowadzone z przedstawicielami partnerów projektu, uczestników projektu, a nawet z aktualnymi i potencjalnymi użytkownikami rezultatów projektu pochodzącymi spoza grupy bezpośrednio zaangażowanej w projekt.

• Obserwacje wykorzystania rezultatów projektu (np. wypracowanych programów, materiałów lub modeli edukacyjnych) – jeżeli takie wykorzystanie rezultatów projektu może mieć już miejsce (zależy od czasu przeprowadzania ewaluacji).

Jak wykorzystać wyniki ewaluacji końcową projektu Programu Erasmus+ Edukacja Dorosłych?

Ewaluacja końcowa pozwala zebrać rzetelne dane na temat efektów projektu. Może również pełnić funkcje rozwojowe i edukacyjne – dzięki zebranym i zreflektowanym doświadczeniom, możemy lepiej planować kolejne projekty, zarówno w ich warstwie merytorycznej, jak i zarządczej. 

Wyniki ewaluacji wykonywanej pod koniec trwania przedsięwzięcia można opisać w Raporcie Końcowym z realizacji projektu Programu ERASMUS+ Edukacja Dorosłych w przykładowych miejscach raportu:

• Opisanie zrealizowanej ewaluacji i wskazanie jakie działania przeprowadzono, żeby ocenić sukces projektu – w tym miejscu można przedstawić proces ewaluacji bieżącej/okresowej oraz ewaluacji końcowej.

• Wskazanie napotkanych trudności w zarządzaniu realizacją projektu (jeżeli takie się pojawiły) oraz opisanie działań, jakie zostały podjęte, aby je pokonać; pokazanie mechanizmów zarządzania ryzykiem w projekcie – można tu powołać się na procesy ewaluacyjne i pokazać, na ile ewaluacja okazała się użyteczna we wspomaganiu zarządzania.

• Ocena komunikowania się i współpracy z partnerami – wskazanie pozytywnych i negatywnych elementów procesu współpracy, sformułowanie rekomendacji dla przyszłych projektów na podstawie wyników ewaluacji.

• Uzasadnienie (w oparciu o dane zgromadzone podczas ewaluacji) dla zmian grupy docelowej działań projektowych (jeżeli takie miały miejsce).

• Opisanie wpływu projektu na uczestników, uczestniczące organizacje, grupy docelowe i interesariuszy – w tym miejscu można przedstawić wyniki ewaluacji końcowej zrealizowanej w odniesieniu do tych grup.

• Opisanie sposobu, w jaki projekt przyczyniał się do osiągnięcia najbardziej istotnych priorytetów określonych w opisie projektu – osiągnięcie priorytetów może zostać zbadane podczas ewaluacji końcowej.

• Przedstawienie wyników otrzymanej informacji zwrotnej od adresatów działań upowszechniających przeprowadzonych w ramach partnerstwa – zebranie takiej informacji może być elementem ewaluacji końcowej.

• Wskazanie możliwości wykorzystania podejścia zastosowanego w projekcie do innych przedsięwzięć realizowanych na większą skalę i/lub w innej dziedzinie - w tym miejscu można przedstawić wyniki ewaluacji końcowej przeprowadzonej w grupie realizatorów i partnerów projektu oraz adresatów działań upowszechniających.

• Wskazanie możliwości kontynuowania lub podtrzymania działania i rezultatów projektu po zakończeniu finansowania z funduszy europejskich – w tym miejscu można przedstawić wyniki ewaluacji końcowej przeprowadzonej w grupie realizatorów i partnerów projektu oraz w grupie aktualnych i potencjalnych użytkowników rezultatów projektu, a także adresatów działań upowszechniających.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskie oraz dla sektora Edukacja dorosłych programu Erasmus+. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. W latach 2017-2020 Ambasadorka EPALE.

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE! 

Zobacz także:

Ewaluacja ex-ante, czyli słowo o tym, jaką ewaluację warto zrobić przed lub na początku projektu

Po co nam kryteria ewaluacji? Kilka wskazówek praktyczno-metodologicznych

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji