Ręka w górę, który z trenerów nie opracowywał i nie rozdawał po szkoleniu ankiety ewaluacyjnej? Ale czy na pewno umiemy opracować dobrą ankietę, dzięki której uzyskamy interesujące i użyteczne dla nas informacje?

Od dłuższego czasu popularyzuję na EPALE różne, alternatywne dla ankiety ewaluacyjnej narzędzia ewaluacji szkoleń i projektów rozwojowych (zainteresowanych odsyłam do poprzednich moich wpisów na blogu EPALE i dyskusji prowadzonych na Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”). Jednak ankieta ewaluacyjna realizowana po szkoleniu (jak również podczas badania potrzeb czy zbierania bieżącej informacji zwrotnej) jest nadal bardzo popularnym narzędziem. Jest i będzie – gdyż ma wiele zalet. Ja także stosuję ją bardzo często. Jako uczestniczka wielu szkoleń i konferencji sama również wypełniam mnóstwo ankiet. To doświadczenie skłoniło mnie do zebrania kilku wskazówek, jak opracować dobrą ankietę – dobrą to znaczy taką, dzięki której zbierzemy wartościowe informacje i nie zamęczymy naszego respondenta.

Po pierwsze: cel

Rozdając z ankietę należy podać cel badania i określić, w jaki sposób i przez kogo zostaną wykorzystane uzyskane dane. Warto tutaj podkreślić użyteczność informacji, szczególnie powołując się na jakiś przykład wskazówki udzielonej przez uczestników szkolenia, która została wykorzystana do poprawy jakości szkolenia czy projektu. To pokazuje, że ankieta jest ważnym elementem pracy nad jakością, a nie żmudnym obowiązkiem do odfajkowania (a tak często myślą uczestnicy).

Po drugie: sens

Zadawajmy tylko takie pytania, na które potrzebujemy odpowiedzi i na które odpowiedzi nie znamy. Jeżeli pytamy o jakość cateringu, a budżet projektu przewidywał 3 zł na uczestnika, zatem na stole pojawił się „susz konferencyjny” i kawa rozpuszczalna, to opinie uczestników są łatwe do przewidzenia. Czy jest sens o to pytać (chyba że chcemy mieć twardy argument za zwiększeniem „stawki żywieniowej”)? Dlatego, w odniesieniu do każdego pytania w ankiecie, powinniśmy sami sobie zadać pytanie – czy znamy na nie odpowiedź, zanim jeszcze wypowiedzą się uczestnicy? Czy możemy na to pytanie odpowiedzieć, stosując inne metody badawcze? Często w ankietach pojawiają się pytania o obserwowalne fakty, np. czas realizacji zajęć, obecność materiałów szkoleniowych, posługiwanie się prezentacją przez prowadzącego szkolenie. Na takie pytania możemy odpowiedzieć, prowadząc obserwację (to jest również metoda badawcza). Z mojego doświadczenia z tego typu pytaniami wynika, że uczestnicy niekiedy odpowiadając na takie pytania, „mijają się z faktami” i dostajemy zaskakującą i trudną do zinterpretowania informację, że 70% ankietowanych dostało materiały szkoleniowe, 20% nie dostało, a 10% nie wie, czy dostało czy nie. Kiedyś dopytałam respondentów, o co chodzi – okazało się, że część gdzieś „posiała” otrzymane materiały, a część w ogóle nie zrozumiała, o jakie materiały chodzi, bo dostali „coś w płóciennej torbie”.

Po trzecie: reguła jednej kartki

Ankieta nie powinna być długa - to zniechęca do jej wypełnienia. Im dłuższa ankieta – tym bardziej  fundujemy sobie zwiększoną liczbę „braków danych”, czyli pytań pominiętych, niekompletnie wypełnionych. Jeżeli jest to ankieta papierowa - najlepiej, gdy mieści się na jednej kartce.

Czas wypełniania przez respondenta również powinien być możliwie krótki – szczególnie gdy ankieta jest wypełniana za zakończenie szkolenia, gdy wszyscy są już zmęczeni i chcą jak najszybciej wyjść. Angażując uczestników na koniec szkolenia w kilkudziesięciominutową pracę nad wypinaniem ankiety, otrzymujemy informacje zdawkowe i nieprzemyślane.

Po czwarte: pytania otwarte

Pytania otwarte to takie, w których respondent samodzielnie wpisuje swoją odpowiedź (w odróżnieniu od pytań zamkniętych, w których wybiera odpowiedź z gotowej „kafeterii” lub pytań półotwartych, gdzie obecna jest kafeteria odpowiedzi do wyboru oraz opcja „inne”, gdzie respondent może wpisać własną odpowiedź). Zazwyczaj pokładamy duże nadzieje w pytaniach otwartych i półotwartych – że respondenci okażą się wylewni we własnych wywodach, a my dowiemy się wielu ciekawych informacji. I tu przychodzi rozczarowanie – jeżeli kilka osób odpowie, to możemy odtrąbić to jako sukces. Generalnie nikomu, szczególnie po wielogodzinnym szkoleniu, nie chce się wypisywać elaboratów. Czasem jako odpowiedzi otrzymujemy równoważniki zdań, które trudno zinterpretować. Dlatego pytaniami otwartymi warto posługiwać się oszczędnie - jedno lub dwa takie pytania powinny wyczerpać tę pulę. Jeżeli nie mamy pomysłu na zamkniętą kafeterię odpowiedzi, to warto posłużyć się wcześniej wypełnionymi ankietami, jako swego rodzaju pilotażem, i na podstawie wcześniej zgromadzonych wyników (z odpowiedzi otwartych, wypełnień opcji „inne”, ale również w wywiadów) opracować kafeterię możliwych odpowiedzi i „pozamykać” tak dużo pytań, jak się da (zostawiając ewentualnie opcję „inne” jako furtkę dla tych, którzy nie odnajdą swojej odpowiedzi w zaproponowanych gotowych sformułowaniach).

CDN…

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Jak zrobić dobrą ankietę ewaluacyjną? Część II

„Dziecięce" metody ewaluacji

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia