Blog
Blog

Ewaluacja na VI Forum Edukacji Dorosłych

Podsumowanie wyników i zastosowanego podejścia

ok. 7 minut czytania polub, linkuj, komentuj!


Ewaluacja VI Forum Edukacji Dorosłych miała spełniać dwa cele – ewaluacyjny i edukacyjny.

Pierwszy cel był typowy dla ewaluacji – zebrać od uczestników informację zwrotną na temat forum, w szczególności na temat atrakcyjności doboru tematyki dla uczestników oraz użyteczności poruszanych treści dla ich praktyki profesjonalnej i aktualnych zainteresowań. Taka informacja wykorzystywana jest, aby lepiej planować kolejne tego typu przedsięwzięcie, doskonalić jego organizację, bardziej trafnie dobierać poruszane zagadnienia.

Drugi cel prowadzonej ewaluacji stanowiła edukacja w zakresie… ewaluacji. Przed prowadzoną podczas FED ewaluacją postawiono wyzwanie pokazania, jak w sposób nieskomplikowany, ale możliwie wartościowy informacyjnie, można przeprowadzić ewaluację konferencji prowadzonej on-line. Warto dodać, że konferencji o dosyć skomplikowanej strukturze organizacyjnej (3 dni, na początku każdego dnia prezentacja wspólna dla wszystkich i podsumowania śródsesyjne i końcowe, potem wiele sesji prowadzonych równolegle w dwóch ścieżkach).

Przygotowując ewaluację VI FED, wzięto również pod uwagę doświadczenia z ewaluacji zeszłorocznego Forum, podczas ewaluacji którego zbierano informacje po każdej sesji. Okazało się to dla uczestników bardzo męczące, a w konsekwencji mało efektywne i użyteczność zbieranych informacji zmniejszała się z każdym dniem. Były to jednak dopiero początki „nowej rzeczywistości edukacyjnej” – rok temu dopiero przecieraliśmy szlaki konferencji realizowanych wirtualnie. Wtedy obiecaliśmy sobie, że spróbujemy pójść w kierunku ewaluacji bardziej refleksyjnych i partycypacyjnych.

Doświadczenia ostatniego roku pokazują, że duże wydarzenia edukacyjne takie jak FED trzeba ewaluować, ale musi to być ewaluacja możliwie prosta i szybka w realizacji, a jednocześnie zaciekawiająca i angażująca. To uczestnik konferencji powinien być w centrum uwagi, zatem wyniki ewaluacji powinny być od razu dla niego widoczne, gdyż wspiera to efekty uczenia się, buduje poczucie wspólnoty, bycia „tu i teraz”. Doskonale o takim podejściu upodmiotowiającym uczestnika mówił Wojciech Herra w swoim wstąpieniu „Edutainment, czyli jak przykuć uwagę i utrzymać koncentrację w świecie pełnym rozpraszaczy”. Odwołując się do terminologii użytej przez Wojciecha Herrę, można powiedzieć, że ewaluacja na VI FED to bardziej „ewaltainment” niż standardowa ewaluacja pokonferencyjna. 

Przyjmując takie założenia, zdecydowano się na zadawanie jedynie dwóch pytań po każdym dniu Forum. Pytania miały przede wszystkim pobudzać refleksję wokół własnych doświadczeń uczestnika z zakończonego dnia konferencji, a nie oceniać, czy poszczególne sesje podobały się lub nie. Aby ewaluacja nie była męcząca, zastosowano różne typy pytań: pytania otwarte, z kafeterią do wyboru, ze skalą oceny. Czynnik zmęczenia był o tyle istotny, że pamiętając o skoncentrowaniu się na uczestniku, konieczne było wzięcie pod uwagę okoliczności realizacji ewaluacji tj. tego, że uczestnicy są po całym dniu pracy, kilku godzinach konferencji, a ewaluacja prowadzona jest około godziny 21.

Realizacja ewaluacji odbywała się z zastosowaniem aplikacji Mentimeter, która umożliwia zbieranie i prezentowanie wyników bezpośrednio po zakończeniu wpisywania odpowiedzi przez uczestnika (przy użyciu komputera, tabletu czy smartfona). Dodatkowo uczestnicy Forum mogli komentować i zadawać pytania poprzez czat w trakcie poszczególnych sesji. Prowadzący Forum zadbali również o to by podkreślać ważność ewaluacji i zachęcali do uczestnictwa w niej i zapoznawania się z jej wynikami.    

Co zatem pokazała tak przeprowadzona ewaluacja VI Forum Edukacji Dorosłych?

Na zielonym tle chmura utworzona z różnych słów, m.in.: inspiracja, przyszłość, interesujące

Uczestnicy Forum opisując pierwszy dzień, najczęściej używali słów wskazujących, że omawiane zagadnienia stanowią dla nich inspirację. Inni ujmowali to nieco inaczej, choć w zbliżonym znaczeniu, że mogą być kompasem i kierują ku przyszłości. Wśród wskazań świadczących o pozytywnym odbiorze prezentowanych treści pojawiają się również takie sformułowania jak np.: przydatne, zachęcające, otwierające oczy, twórcze, praktyczne, motywujące. Użycie takich wyrazów świadczy o potencjalnej perspektywie wykorzystania zdobytej przez uczestników wiedzy i osadzaniu jej w kontakcie własnego doświadczenia, które tym sposobem może być wzbogacone. W puli udzielonych odpowiedzi zdecydowanie przeważają sformułowania o zabarwieniu pozytywnym. Wśród wypowiedzi, które można uznać za krytyczne, pojawiają się sformułowania: ogólnikowe, oczywistości – co może świadczyć, że wśród uczestników znalazły się osoby oczekujące bardziej specjalistycznych treści. Dla jednej osoby frustrująca była organizacja Forum w postaci dwóch równoległych ścieżek tematycznych. W celu zebrania tych informacji zadano pytanie: jak jednym słowem opisałbyś/opisałabyś dzisiejsze Forum? Wyniki prezentowane były w postaci mapy myśli, gdzie najczęściej wpisywane słowa pokazują się jako największe.

Wysoką użyteczność treści poruszanych pierwszego dnia Forum potwierdzają również odpowiedzi na kolejne pytanie, w którym uczestnicy oceniali użyteczność treści na skali od 1 (niska użyteczność) do 5 (wysoka użyteczność). Średnia przyznanych przez uczestników ocen to 4,3, gdzie 5 było oceną najwyższą. Najwięcej odpowiedzi zaś koncertowało się wokół najwyższych wskazań na skali tj. ocen 4 i 5. 

Na zakończenie drugiego dnia Forum zapytano o najbardziej wartościową informację usłyszaną tego dnia podczas sesji. Tutaj w odpowiedziach odzwierciedlone były indywidualne doświadczenia z uczestnictwa w poszczególnych sesjach, gdyż każdy mógł dowolnie zmieniać ścieżki tematyczne, w których brał udział. Na plan pierwszy, jako najbardziej wartościowe, wysuwają się wskazówki odnoszące się do rozwoju i pracy edukatora (w tym inwestowanie w siebie, dostosowywanie udzielanego wsparcia do potrzeb uczącego się) oraz organizacji pracy, w tym szczególnie dotyczące pracy głębokiej. Istotne w kontekście organizacji pracy okazały się zagadnienia ważności odpoczynku i zadbania o siebie. Ciekawe dla uczestników były również treści dotyczące fake newsów i radzenia sobie z sytuacjami, gdy takie pojawiają się w przestrzeni edukacyjnej. Wartościowe były również podpowiedzi, jak skutecznie uczyć o katastrofie klimatycznej i jak w tej edukacji „zarządzać” emocjami.  

Wykres kołowy prezentujący odpowiedzi na pytanie o wrażenia pod drugim dniu Forum

Drugi dzień Forum zakończył się krótką refleksją – uczestnicy zostali poproszeni o wskazanie, która  charakterystyka najlepiej oddaje ich wrażenia po tym dniu, mając do wyboru następujące odpowiedzi: czuję się zainspirowany/a do działania; czuję się zaciekawiony/a; chętnie pogłębię poruszane tematy; nie znalazłem/am nic dla siebie, co mógłbym/mogłabym wykorzystać; czuję się znudzony/a; żaden z opisów nie oddaje moich wrażeń. Najwięcej uczestników scharakteryzowało siebie jako zaciekawionych i chętnych do pogłębienia poruszanych tematów. Połowa osób, które odpowiedziały na to pytanie, opisuje siebie jako zainspirowane do działania. Tylko jeden uczestnik nie znalazł w puli zaproponowanych charakterystyk pasującej do siebie. Pozostałe charakterystyki tj. nie znalazłem/am nic dla siebie, co mógłbym/mogłabym wykorzystać; czuję się znudzony/a – nie znalazły się wśród udzielanych odpowiedzi.

Podsumowując trzeci dzień Forum, uczestnicy wskazywali, czy był on dla nich interesujący – odpowiadając, mogli wybrać z gotowej kafeterii oceny: bardzo ciekawy, raczej ciekawy, ani ciekawy ani nieciekawy, raczej nieciekawy, bardzo nieciekawy lub nie mam zdania. Zdecydowana większość uczestników, która na to pytanie odpowiedziała, wybrała odpowiedź bardzo ciekawy, reszta zaś oceniła trzeci dzień jako ciekawy, tylko jedna – ani ciekawy ani nieciekawy. Nikt nie ocenił trzeciego dnia jako nieciekawego – choć prawdopodobnie jeżeli dla kogoś taki był – to nie wziął już udziału w podsumowaniu końcowym, tylko opuścił wydarzenie wcześniej.

Wykres słupkowy prezentujący oceny trzeciegoo dnia Forum

Na zakończenie uczestnicy Forum mieli możliwość przekazania swoich komentarzy organizatorom i prelegentom w otwartej formule wpisywania dowolnych wypowiedzi. Najwięcej wśród wpisywanych komentarzy pojawia się podziękowań za ciekawe i inspirujące wydarzenie, z wartościowymi przykładami i użytecznymi pomysłami, oferujące różnorodność poruszanej tematyki. Uczestnicy wykorzystali tę przestrzeń również do sformułowania swoich potrzeb – nadziei na dostępność nagrań, aby obejrzeć sesje, w których nie brali udziału.

Jako element ewaluacji traktowano również wpisy na czacie – dzięki takiej formie komunikacji organizatorzy Forum mogli natychmiast odpowiadać na zgłaszane problemy techniczne czy też wyjaśniać, co aktualnie się dzieje podczas poszczególnych sesji. Czat był również miejscem, gdzie uczestnicy mogli komentować oglądane sesje, dzielić się uwagami, a nawet emocjami, których doświadczali. Pojawiały się zatem komentarze wyrażające bardzo duże zadowolenie z omawianych treści, a nawet te treści rozwijające np. w postaci podawanych przykładów czy odniesień literaturowych. Ale pojawiały się również takie wpisy, które świadczyły o rozczarowaniu sposobem prezentacji (zbyt szybkim lub mało atrakcyjnym) czy też stanowiące polemikę z aktualnie prezentowanymi zagadnieniami.

Podsumowując: ewaluacja VI FED okazała się wyzwaniem – merytorycznym i organizacyjnym. Jednak zakres uzyskanych informacji potwierdza, że przyjęte założenie o tym, żeby zrealizować ją w formule „ewaltainment” był dobrym pomysłem, a pierwszy cel ewaluacji, czyli zebranie informacji zwrotnej od uczestników, został osiągnięty. Zgromadzone dane pogłębione, refleksyjne, nie tylko skupione na ocenie wydarzenia, ale mówiące o towarzyszących uczestnikom wrażeniach i emocjach, a tym samym bardziej użyteczne dla planowania kolejnych tego typu konferencji. Obraz VI FED, jaki wyłania się dzięki przeprowadzonej ewaluacji pokazuje, że było to wydarzenie inspirujące dla uczestników, z perspektywą praktycznego wykorzystania pozyskanej wiedzy. Wskaźnik „otwierania nowych przestrzeni”, ale również użyteczności dla samorozwoju edukatorów staje się zatem wyróżnikiem dobrze ocenianego wydarzenia edukacyjnego kierowanego do praktyków edukacji dorosłych. Jako rekomendacje na przyszłość warto uwzględnić oczekiwania dotyczące proponowania sesji o bardzo specjalistycznym charakterze, pogłębiającym zagadnienia omawiane dotychczas jedynie ogólnie.

Czy drugi cel ewaluacji VI FED, czyli edukacja w zakresie ewaluacji został osiągnięty? Tutaj trzeba byłoby zrobić ewaluację… Niech każdy uczestnik Forum, który planuje prowadzić ewaluację realizowanych przez siebie konferencji, spróbuje sobie sam na to pytanie odpowiedzieć…


Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. W latach 2017-2020 Ambasadorka EPALE.


 

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE! 


Zobacz także:

 

Ewaluacja na V Forum Edukacji Dorosłych

Wydeptywanie nowych ścieżek ewaluacyjnych w trudnych czasach

Wydeptywanie nowych ścieżek ewaluacyjnych w trudnych czasach – cz. II – czyli bez ewaluacji ani rusz

Gadająca ściana - sposób na aktywną ewaluację

Login (3)
Schlagwörter

Users have already commented on this article

Loggen Sie sich ein oder registrieren Sie sich, um zu kommentieren.

Want to write a blog post ?

Don't hesitate to do so! Click the link below and start posting a new article!

Neueste Diskussionen

EPALE 2021 Schwerpunktthemen. Fangen wir an!

Das vor uns liegende Jahr wird wahrscheinlich wieder sehr intensiv, und daher laden wir Sie ein, es mit Ihren Beiträgen und Ihrer Expertise zu bereichern. Beginnen Sie doch einfach, indem Sie an unserer Online-Diskussion teilnehmen. The Online-Diskussion findet am Dienstag, dem 09. März 2021 zwischen 10.00 und 16.00 Uhr statt. The schriftliche Diskussion wird mit einem vorgeschalteten Livestream eröffnet, der die Themenschwerpunkte für 2021 vorstellt. Die Hosts sind Gina Ebner und Aleksandra Kozyra von EAEA im Namen der EPALE Redaktion. 

Zusätzlich

EPALE Diskussion: Vermittlung von Grundkompetenzen

Grundkompetenzen sind transversal. Sie sind nicht nur relevant für die Bildungspolitik,  sondern auch für Beschäftigungs-, Gesundheits-, Sozial- und Umweltpolitiken. Der Aufbau schlüssiger Politikmaßnahmen, die Menschen mit Grundbildungsbedürfnissen unterstützen, ist notwenig, um die Gesellschaft resilienter und inklusiver zu gestalten. Nehmen Sie an der Online-Diskussion teil, die am 16. und 17. September jeweils zwischen 10.00 und 16.00 Uhr auf dieser Seite stattfindet. Die Diskussion wird von den EPALE Thematischen Koordinatoren für Grundkompetenzen, EBSN, moderiert. 

Zusätzlich

EPALE Diskussion: Die Zukunft der Erwachsenenbildung

Am Mittwoch, dem 8. Juli 2020, lädt EPALE von 10.00 - 16.00 Uhr zu einer Online Diskussion zur Zukunft der Erwachsenenbildung ein. Wir wollen über die Zukunft des Bildungssektors Erwachsenenbildung sowie die neuen Chancen und Herausforderungen diskutieren. Gina Ebner, EPALE-Expertin und Generalsekretärin der EAEA, moderiert die Diskussion.

Zusätzlich