chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE - Ηλεκτρονική Πλατφόρμα για την Εκπαίδευση Ενηλίκων στην Ευρώπη

Ιστολόγιο

Ewaluacyjny Lord Vader czyli ewaluacja po ciemnej stronie mocy

18/06/2020
από Beata Ciężka
Γλώσσα: PL

Lata doświadczeń w realizowaniu ewaluacji pozwoliły mi poznać różne jej oblicza – również jej niezbyt ładną twarz, czasem jest to twarz wykrzywiona, karykaturalna, bardziej śmieszna niż straszna. Czasem odzwierciedla prawdziwe lęki - przed oceną, krytyką a czasem tylko przed poznaniem opinii innych, zajrzeniem z innej perspektywy, wzbudzeniem wątpliwości. Czasem ta twarz wyraża niezrozumienie czym jest ewaluacja i czemu ma służyć, wykrzywiona jest wysiłkiem wykorzystania jej do jakichś mało szczytnych celów. Istny Lord Vader próbujący przeciągnąć na ciemną stronę mocy wszelkie pozytywne atrybuty ewaluacji.

Poniżej spis takich - przeciągniętych na ciemną stronę mocy - ewaluacji, których się wystrzegajcie!

  • Ewaluacja sztampowa

Ewaluacja sztampowa opiera się o pytania banalne i „dyżurne”. Realizowana jest schematycznie, bez zastanowienia się czemu ma służyć i co z niej wynika. Robiona najczęściej według ustalonego schematu (ale kto go ustalał, z czego wynikały te ustalenia – nikt już nie pamięta). Często sięga do pytań, które „zawsze się zadaje”, choć nigdy tak naprawdę nie przyniosły użytecznych odpowiedzi, nie doprowadziły do zmiany w projekcie. Do takich sztampowych pytań zaliczam na przykład pytanie „czy poleciłby Pan/Pani szkolenie innym?” – ale tak naprawdę komu? po co? a co w sytuacji, gdy nikt poza mną w firmie tymi zagadnieniami się nie interesuje?  a co w sytuacji, gdy dzięki uczestnictwu w szkoleniu chcę awansować – czy polecę je innym, skoro konkurujemy o ten sam awans? W sztampowych ewaluacjach często sięga się po ankiety z pytaniami bardzo ogólnymi (np. dotyczącymi organizacji szkolenia czy atmosfery), które tylko pozornie pasują do każdego projektu, ale nie przynoszą użytecznych informacji lub nie dają się jednoznacznie zinterpretować w odniesieniu do aktualnie ewaluowanego projektu. Ogólne pytania - przynoszą ogólne odpowiedzi – z punktu widzenia możliwości realnego wykorzystania wyników ewaluacji i w konsekwencji podejmowania działań zwiększających jakość ewaluowanych działań – są praktycznie bezużyteczne.

  • Ewaluacja rytualna

Rytuał ewaluacji musi się odbyć. Ewaluacja dla samej ewaluacji – dla sprostania formalnym wymogom, zapisom wniosku projektowego, wykazania, że została zrealizowana. Najlepiej z jak najmniejszym wysiłkiem. Dlatego realizowana często przy użyciu gotowych narzędzi - ściągniętych z Internetu lub zapożyczonych z innego projektu. Że nie za bardzo pasują, że nieużyteczne dane zgromadzą? Że wciągamy w to uczestników, który tracą wiarę w użyteczność ewaluacji i mają poczucie, że traktujemy ich przedmiotowo? Że czują niesmak, że uczestniczą w fikcji? To nieważne – ważne, że procedurom stało się zadość. W takich ewaluacjach nikt specjalnie nie jest zainteresowanych wynikami – pomimo tego powstają raporty podsumowujące – im bardziej obszerne, im bardziej kolorowe i wyszukane wykresy prezentują – tym lepiej. Wszak rytuał musi mieć również sztafaż.

  • Ewaluacja fasadowa

Ewaluację zrobić trzeba, ale najlepiej tak, żeby pokazać, że wszystko wspaniale wyszło – uczestnicy zadowoleni, trenerzy genialni, wskaźniki osiągnięte - pełnia szczęścia! Zadanie do zrealizowania brzmi – tak przeprowadzić badanie ewaluacyjne, by niczego niepokojącego na światło dzienne nie wypuścić, żeby pokazać jaki wspaniały sukces został osiągnięty, a założenia zrealizowane nawet powyżej 100%. Czy to możliwe? Oczywiście! Fasada może być pięknie wymalowana dzięki odpowiednio dobranej metodologii badania, zadawanym pytaniom i interpretacji wyników.

  • Ewaluacja ględząca

Ewaluacja traktowana jak „zawracanie głowy”. Nigdy tak naprawdę nie ma na nią czasu, robiona w pośpiechu, gdy uczestnicy już prawie wychodzą z sali szkoleniowej, już stoją w płaszczach – a tu jeszcze ankieta do wypełnienia. Na kolanie, parapecie, w toalecie… Bo przecież ten ewaluator tak jęczy, że to komuś potrzebne, że trzeba, że to zajmie tylko chwilę. Ale komu i do czego potrzebne – nie wiadomo, nie ma czasu wyjaśnić. No ale szkoda mu robić przykrość – więc już niech ma tę wypełnioną ankietę. Cóż, że byle jak, bez zastanowienia, aby było.

  • Ewaluacja paniczna

Koniec projektu – a tu zapomnieliśmy, że mieliśmy zaplanowaną ewaluację! Gdzie ona jest, kto za nią odpowiada? Panika! Coś trzeba zrobić na szybko. Czy to do czegoś potrzebne – przyda się do rozliczenia projektu, pokazania, że wskaźniki osiągnięte. A że na zbieranie danych i analizę mamy 3 dni wliczając weekend? To nieważne – ważne żeby jakąś ewaluację zrealizować. Może zatem sięgniemy do sprawdzonych już strategii – ewaluacji sztampowej, rytualnej, fasadowej… I tu się koło zamyka.

Ewaluacje „po ciemnej stronie mocy” kuszą – łatwością, szybkością realizacji, niskimi kosztami oraz „poczuciem władzy i kontroli” (ach ten Lord Vader). Jednoczenie są destrukcyjne – obniżają wartość refleksji nad jakością i rangę udzielania informacji zwrotnej, uczenia się i doskonalenia, współodpowiedzialności za osiągane efekty i w konsekwencji doprowadzają do samozniszczenia samej ewaluacji…

Niech moc będzie z Wami! … jasna moc ewaluacji!

 

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

 

 

Zobacz także:

Jak zrobić dobrą ankietę ewaluacyjną? Część I

Jak zrobić dobrą ankietę ewaluacyjną? Część II

Jak zrobić dobrą ankietę ewaluacyjną? Część III

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

 

Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn
Refresh comments Enable auto refresh

Εμφάνιση 1 - 3 από 3
  • Εικόνα Monika Schmeichel-Zarzeczna
    Ewaluacja na marginesie
    Przez ostatnie kilka lat uczestniczyłam w wielu projektach edukacyjnych i chyba muszę nieśmiało przyznać, że spotkałam się na nich ze wszystkimi typami po ciemnej stronie mocy. W pewnym momencie przestałam wypełniać ankiety bo po prostu nie widzę sensu.
    Obecnie coraz bardziej doceniam ewaluację prowadząc szkolenia online. Kiedy stąpa się po nowym gruncie i czuje mocną potrzebę rozwoju Ewaluacja jest kluczowa i pozwala naprawdę dopracowywać działania.
  • Εικόνα Rafał Żak
    Fajny podział. Ostatecznie wszystkie kategorie sprowadzają się do niepoważnego prowadzenia procesu ewaluacji. Czyli chyba najbardziej typowej postawy niestety względem prowadzenia ewaluacji. 
  • Εικόνα Sławomir Łais
    To, co jest fajne w coraz bardziej cyfrowym świecie, to możliwość sięgania po zupełnie inne źródła informacji - na przykład zapisy systemów e-learningowych, zapisy systemów CRM itp. Możemy też się kontaktować z uczestnikami szkoleń również po jakimś czasie - na przykład, żeby dowiedzieć się, czy cokolwiek ze szkolenia wdrażają w swoją praktykę zawodową.
    W edukacji cyfrowej uważa się opinię żywego człowieka za skarb. Metody pracy nad UX (tzw. user experience) próbują zdobywać realne odpowiedzi od realnych ludzi jak tylko się da. Oczywiście rzadko są to sztampowe pytania.
    Cieszę się, że o tym piszesz, bo moim zdaniem ewaluacja to mocno niedoceniany temat i nie wiadomo dlaczego wiele zespołów projektowych rezygnuje z narzędzi własnego rozwoju. Tak jakby nie chcieli się uczyć być lepszymi.