chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE - Euroopa täiskasvanuhariduse veebikeskkond

Posted by Beata Ciężka on 20/02/2019 - 13:17

Ewaluator na tropach Yeti

Z dobrą ankietą ewaluacyjną jest jak z Yeti – wszyscy o nim słyszeli, ale nikt go nie widział. Każdy z nas miał w ręku setki ankiet, ale czy widzieliście kiedyś naprawdę dobrą ankietę, w której pytania trafiały w punkt, a wyniki faktycznie okazywały się użyteczne w dalszych pracach? Myślałam, że temat ankiet jest tak zgrany, że już nie ma nad czym się tu zastanawiać, ale ostatnio brałam udział w kilku seminariach kończących się wypełnianiem ankiet tzw. poszkoleniowych. I to był absolutny dramat! Powszechność stosowania ankiet budzi chyba przekonanie, że można je opracować „na kolanie”. Podzielcie się proszę swoim doświadczeniem w kwestii ankiet – czy macie jakieś dobre praktyki, które pozwalają Wam opracowywać poprawne metodologicznie i faktycznie wartościowe informacyjnie ankiety? Spróbujmy potropić tego Yeti…

  • Kasutaja Marta Kosińska pilt
    Ja myślę, że problemem jest także czas, w którym posługujemy się ankietą jako formą ewaluacji, na przykład w działaniu edukacyjnym, które posiada formę projektu. Jeśli chcemy rzeczywiście sprawdzić, czy oczekiwane przez nas na początku rezultaty zostały osiągnięte, musi minąć trochę czasu od działania edukacyjnego. Czasami nawet dobrze, aby minęło kilka miesięcy, szczególnie jeśli projekt ma charakter wdrożeniowy. Niestety sposób formułowania wniosków grantowych zmusza często edukatorów do skracania tego czasu, tak, aby ewaluacja znalazła się jeszcze w projekcie. Tym samym jej rzeczywista wartość jako narzędzia maleje. 
  • Kasutaja Małgorzata Rosalska pilt
    Bardzo ciekawy wątek! Dla mnie tu dwie kwestie są ważne. 1 - cele szkolenia nie muszą być celami uczestników szkolenia. Jeśli tak stawiamy pytanie "czy cele szkolenia zostały zrealizowane" to uczestnicy mogą myśleć o tym, czy ich cele, oczekiwania i potrzeby zostały zrealizowane. 2 - Bardzo często gdy prowadzę szkolenie już na początku robię ewaluację ex-ante pytając uczestników o ich cele i oczekiwania. Często jest to omawiane w formie pytania "Po czym poznacie, że to szkolenie było udane?" Proszę, aby wypisali dwa kryteria na samoprzylepnych kartkach. Później je grupuję na flipie i omawiam. Jest to ważny moment szkolenia, gdyż uczestnicy mogą skonfrontować swoje potrzeby, z tym co jest w planie. Jest to trochę taka "profilaktyka rozczarowań" :)
  • Kasutaja Beata Ciężka pilt

    Podoba mi się sformułowanie „profilaktyka rozczarowań” – dzięki, będę je stosować. Jest to zgodne z podejściem w edukacji akcentującym współodpowiedzialność uczestnika za efekty uczenia się. W takim kontekście przedstawiam również ewaluację – jeżeli nie usłyszę informacji zwrotnej, nie mam szansy pracować nad jakością szkolenia, nie mam szans na to, by moja oferta szkolenia spotkała się z potrzebami i oczekiwaniami uczestnika. Okazuje się, że takie przedstawienie celów ewaluacji powoduje, że uczestnicy zaczynają bardziej poważnie i rzetelnie podchodzić do ewaluacji – nawet jeżeli jest to jedynie wypełnienie ankiety ewaluacyjnej.


  • Kasutaja Marta Kosińska pilt
    Właśnie pisałam o tym tekst na blogu Epale. O sytuacjach projektowania kulturowej edukacji wyrównującej społeczne szanse i o sposobie projektowania motywacji odbiorców. Gdy motywacją organizatorów jest społeczne wyrównywanie szans, motywacja uczestników raczej będzie artykułowana w terminach indywidualnych, a nie społecznych. Wówczas pytanie w ewaluacji, "czy cele szkolenia zostały osiągnięte" wydaje się naprawdę grubym nieporozumieniem, które odsłania zupełną odmienność perspektyw i motywacji uczących i odbiorców. 
  • Kasutaja Małgorzata Rosalska pilt
    W kontekście celów tych nieporozumień jest wiele... Ta odmienność perspektyw, o której piszesz, ujawnia się także w języku formułowania celów.  Można z nich odczytać, czy uczestnicy traktowani są jako podmiot czy przedmiot ofert edukacyjnych. Inną kwestią jest mylenie celów i przewidywanych rezultatów. Niby to taki elementarz metodyczny, ale praktyka szkoleniowa i ewaluacyjna pokazuje, że jest tu wiele nieporozumień, a czasem nawet błędów.
  • Kasutaja Beata Ciężka pilt

    Ostatnio zdarzyło mi się opracowywać ankietę dla uczestników szkolenia realizowanego w ramach projektu. Jak to w projekcie – są jakieś rezultaty i wskaźniki do osiągnięcia. Realizatorzy projektu założyli, że ich osiągnięcie będą badać dzięki zastosowaniu ankiety (tak jest we wniosku projektowym) i najlepiej żeby uczestników zapytać wprost „czy Pana/Pani sytuacja zawodowa poprawiła się dzięki udziałowi w szkoleniu?”. Odpowiedź „tak” lub „nie” miała być wskaźnikiem osiągnięcia założonego rezultatu w projekcie. Moje protesty dotyczące niepoprawności tak zadanego pytania zapoczątkowały wielką dysekuję na temat tego co to znaczy, że sytuacja zawodowa uczestnika  poprawiła się, jakie są rzeczywiste cele projektu i jak je mierzyć – szczęśliwie udało nam się opracować wskaźniki „poprawy sytuacji zawodowej”.


  • Kasutaja Beata Ciężka pilt
    Częstym pytaniem, na które chcemy znaleźć odpowiedź jest czy cele szkolenia zostały osiągnięte? Widziałam takie ankiety, które wprost zadawały takie pytanie – i tu zagwozdka – czy uczestnicy szkolenia po pierwsze znają cele szkolenia, a po drugie czy na tak zadane pytanie będą umieli odpowiedzieć tzn. czy potrafią to ocenić. Jak sobie radzicie z takim zadaniem ewaluacyjnym?