chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE - Pjattaforma Elettronika għat-Tagħlim għall-Adulti fl-Ewropa

Blog

Ewaluacja jak ewolucja – nikt jej nie widzi, każdy potrzebuje!

28/10/2019
minn Iwona Przybyła
Lingwa: PL

Artykuł bierze udział w konkursie „Historie mocy-historie pracy” w kategorii ewaluacja projektów edukacyjnych: „Jak dzięki ewaluacji można wspierać efekty uczenia się dorosłych?”

Miałam okazję pracować przy różnych projektach, związanych z edukacją dorosłych. W większości z nich ewaluacja albo pełniła rolę wtórną (wg zasady: „ankieta musi być”), albo jej nie było. Nawet tam, gdzie pojawiało się "jakieś" badanie  nie wyciągnięto wniosków lub nie było potencjału organizacyjnego i finansowego do kontynuowania przedsięwzięć, z których płynęły dobre wzorce. Odważę się na tezę, że bez dobrej ewaluacji (wykorzystującej wiele metod, a więc także kosztownej) nie ma dobrych projektów, a jedynie projekciki, z których często nic więcej nie wynika (kończą się i zostają zamknięte w szafie). Postawię też meta-tezę, że skalowalność projektów, a więc dalszy rozwój dobrych pomysłów nie jest możliwy bez dobrych badań ewaluacyjnych, na które najczęściej nie ma miejsca w naszych budżetach. W ten sposób tracimy szansę na rozwój kluczowych inicjatyw, ale też na wyciąganie wniosków ze słabszych projektów. W tym miejscu warto zapamiętać czym jest ewaluacja.

/mt/file/malogrzata-bonikowska-czym-jest-ewaluacjajpgmalogrzata bonikowska czym jest ewaluacja.jpg

ewaluacja, Bonikowska, zarządzanie

Kilka lat temu współpracowałam z organizacją badawczą, która przeprowadzała proces ewaluacji dla jednego z projektów edukacji dorosłych. Przedstawię kilka obserwacji z tamtych badań.

Trudnością w przeprowadzeniu badania okazało się ustalenie danych wyjściowych. DANE WYJŚCIOWE DO PROJEKTÓW TRAKTOWANE SĄ JAKO NIEISTOTNE, A TO OZNACZA SŁABĄ DIAGNOZĘ I SŁABY START PROJEKTU. Brak danych z okresu sprzed kilku lat wynikał z faktu, że przy jednym projekcie pracowało kilku koordynatorów, a każdy zajmował się swoim wycinkiem pracy czyli tzw. projektową bieżączką. Koordynator nie miał przestrzeni na przyjrzenie się całemu procesowi w szerszej perspektywie. Drugą trudnością przy doborze danych do ewaluacji jest szybkość i jakość powstających projektów, co sprawia, że mamy dane na koniec projektu, ale nie mamy danych z etapu tworzenia projektu. Czasami dysponujemy danymi ilościowymi, które nie mają odzwiercidlenia w projektach dotyczących edukacji dorosłych, gdzie o wiele lepiej sprawdzają się metody jakościowe. Tymczasem diagnoza w projekcie powinna być traktowana jako element procesu ewaluacji czyli badanie sytuacji wyjściowej, z udziałem wszystkich interesariuszy, najlepiej przy wykorzystaniu kilku metod badawczych. Kojarzymy ewaluację z czymś, co kończy projekt, ale myślę, że powinniśmy zmienić perspektywę. Należy przyjrzeć się ewaluacji jako etapowi w projekcie, jak na przygotowanym schemacie, w którym proponuję ewaluację jako zakończenie każdego projektu, a także element wyjściowy do kolejnego projektu.

/mt/file/schemat-wykorzystania-ewaluacjijpgSCHEMAT WYKORZYSTANIA EWALUACJI.jpg

projekt, ewaluacja, diagnoza, projekty społeczne

Wyobraźmy sobie sytuację, w której każdy projekt kończy się ewaluacją, która jednocześnie stanowi diagnozę dla nowego projektu. Gdy w trakcie projektu pojawiają się kolejne etapy czy kamienie milowe to źródłem do ich pokonania jest uczenie się z poprzedniego projektu. Zauważmy, że tam, gdzie kończy się jeden projekt, tam powinien zaczynać się kolejny. Niezbędnym elementem w tym procesie jest ewaluacja, która jednocześnie może być diagnozą dla kolejnego projektu.

Kolejnym elementem niezbędnym do udanej ewaluacji jest podkreślenie, że KAŻDA OSOBA ZAANGAŻOWANA W PROJEKT JEST JEDNOCZEŚNIE BADACZEM - EWALUATOREM. Często zdarza się, że pod sukcesem projektu podpiszą się wszyscy, za to porażka projektowa jest już szukaniem kozła ofiarnego. Postawienie sytuacji jasno, że wszyscy jesteśmy autorami zarówno sukcesu, jak i porażki niczego nam nie ujmuje, a nawet więcej - z porażek też się uczymy, o ile zdecydujemy się o nich mówić. Postawienie się w pozycji badacza-ewaluatora na każdym etapie realizacji, a także wykorzystanie interesariuszy projektu jako osób wnoszących do projektu konkretne dane sprzyja skutecznej realizacji projektów, może integraować grupę w projekcie, a także wnieść w projekt aspekt partycypacyjny. Całą grupę badawczą możemy więc już stworzyć na początku projektu, w kilku prostych krokach:

  • zadbaj o to, by przemyśleć założenia projektu, 
  • przedyskutuj cele ze wszystkimi osobami, które będą zaangażowane w projekt,
  • twórz mini-ewaluację w trakcie trwania projektu (zbieraj informacje zwrotne z poszczególnych etapów).

W ten sposób stworzone środowisko projektowe daje szansę na dowiezienie gotowych produktów i rezultatów, z których w procesie ewaluacji końcowej może powstać ciekawa diagnoza dla kolejnego projektu. 

Wróćmy do mojego przykładu. Z badaczami ustaliśmy metodykę, która była mieszana i wg mnie bardzo wartościowa, tzn. analiza danych wyjściowych, ankiety, badania focusowe. Ważny był dobór badaczy, którzy potrafili nawiązać empatyczny kontakt z uczestnikami badań, którymi w większości były osoby starsze. Rozmowy bezpośrednie zarówno z prowadzącymi zajęcia w ramach projektu, jak i z uczestnikami projektu dostarczyły kilku kluczowych informacji. Najważniejsza informacja zwrotna była związana z nierównym traktowaniem ludzi przez instytucje publiczne. Do takiego wniosku nie dojdziemy w żadnej ankiecie, a przecież większość projektów na tym polega, by ankieta była prosta, łatwa i...bezużyteczna. Wybierając badania focusowe można o wiele lepiej sprawdzić, co wydarzyło się w trakcie projektu, jak czuli się odbiorcy zadań, a jak prowadzący. Dorośli wysoko cenią sobie taką formę badania, przy okazji przypominają sobie, co wydarzyło się w projekcie, są też bardziej skorzy do dzielenia się własnymi przemyśleniami, wnoszenia własnych propozycji. Ta forma badań czyli pogłębione grupowe badania fokusowe okazała się kluczowa, bo osoby dorosłe chętnie dzielą się swoimi doświadczeniami, na co nie ma miejsca w innej formie badań. Warto o tym pamiętać w procesie ewaluacji projektów z udziałem osób dorosłych. Przygotowałam cytat, który pozwoli Wam to zapamiętać.

/mt/file/brene-brown-wiedza-uzytecznajpgbrene brown wiedza uzyteczna.jpg

cytaty, brene brown, wiedza użyteczna

W przeprowadzanym badaniu, które dotyczyło edukacji osób dorosłych, pojawił się wniosek, że  RÓŻNE INSTYTUCJE NIE ZAWSZE RÓWNO TRAKTUJĄ LUDZI. Niektóre z nich były otwarte, udostępniały przestrzeń elastycznie dla uczestników i prowadzących. Inne, działały dużo bardziej hierarchicznie, domagając się wpływów z projektu na własne działania lub wręcz blokując swoim pracownikom możliwość dodatkowego zarobkowania w ramach projektu.  Z drugiej strony okazało się, że PROJEKTY NIE SĄ TRANSPARENTNE tzn. ludzie nie mają pełnej wiedzy o tym, co w ramach projektu jest realizowane i ile to kosztuje. Taka wiedza jest niezbędna, szczególnie dla projektów finansowanych ze środków publicznych, buduje zaufanie do projektu i jego realizatorów.

Jak zatem powinien wyglądać proces ewaluacji, by był skuteczny? Oto kilka obserwacji:

  • powinien opierać się na poprzedzającym badaniu, diagnozującym potrzeby ludzi i możliwości realizatorów;
  • powinien włączać  jak najszersze grono osób zaangażowanych w projekt, nie tylko uczestników, ale i autorów projektu, a także prowadzących;
  • powinien stawiać tezy, wynikające z efektów badania, na podstawie których mogą być formułowane założenia dla kolejnych projektów.

Spełniając te 3 założenia jesteśmy w stanie zaplanować i przeprowadzić skuteczne działanie ewaluacyjne. Jak wyglądałoby to w moim przypadku, tj. gdybym miała realizować po przeprowadzonym badaniu kolejny projekt?

  • wpisałabym do projektu warsztaty edukacyjne dla prowadzących i koordynatorów, gdyż wielu z nich nie miało podstawowych umiejętności cyfrowych, wpływających na jakość prowadzonych działań,
  • wykluczyłabym z projektu te instytucje, z którymi współpraca była trudna, a poszukiwała nowych instytucji i organizacji, o bardziej elastycznym podejściu,
  • prowadziłabym kampanię informacyjną na temat projektu, w tym o  źródłach finansowania projektu.

Zobaczcie, jak wiele dzięki takiemu badaniu można zyskać! Nie należy przy tym zapominać, że im więcej pracy włożymy w przygotowanie projektu, tym mniej będzie stresujących sytuacji w trakcie jego realizacji, a ewaluacja będzie mogła stanowić podstawę do kolejnego projektu i przynieść nam dużo satysfakcji zawodowej.

Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn