Kontynuuję wakacyjne refleksje nt. realizacji ankiet zapoczątkowane w poprzednim miesiącu (Zobacz Część I).

W lipcu pisałam o:

1. Celu realizacji ewaluacji i jego jawności dla respondentów;
2. Sensie prowadzenia badań ewaluacyjnych – szczególnie w formie ankiety;
3. Regule „jednej kartki”;
4. Pytaniach otwartych.

W sierpniu przyglądam się kolejnym kwestiom – pytaniom, które często pojawiają się w ankietach (czasem niepotrzebnie) i stosowanym skalom odpowiedzi.

Niepotrzebna metryczka

Większość ankiet zawiera tzw. metryczkę czyli pytania o wiek, płeć, miejsce zamieszkania i ewentualnie inne informacje o cechach społeczno-demograficznych respondenta. I tu od razu pojawia się pytanie - po co nam takie informacje? Czy będziemy wyniki ankiet analizować porównując wypowiedzi mężczyzn i kobiet? lub osób ze wsi lub miasta? Jeżeli tak – to w porządku. Ale patrząc realnie, czy nasza oferta szkoleniowa będzie różnicowała wsparcie z uwagi na te cechy? Z mojego doświadczenia wynika, że takie pytania mocno irytują respondentów, budzą zdziwienie po co takie informacje są zbierane i jak będą wykorzystane. A w rzeczywistości autorzy ankiet włączają pytania metryczkowe bezrefleksyjnie – ot, tylko dlatego, że taka ankieta wygląda „poważniej”. Zatem jeżeli pytamy o cechy społeczne czy demograficzne – warto pomyśleć co dadzą naszej analizie, czy rzeczywiście będą użyteczne? Czy wpłyną na zróżnicowanie podejścia do pracy z osobami o określonych cechach? Tylko wtedy pytania takie mogą być ważne i użyteczne.

Uwaga na pytanie: czy poleciłbyś szkolenie…

Często w ankietach pojawia się pytanie – czy poleciłbyś szkolenie np. swoim kolegom z pracy albo np. znajomym? Zadając takie pytanie zakładany, że polecenie szkolenia innym świadczy o tym, że szkolenie jest wartościowe. I tu pojawiają się wątpliwości, które zrodziły się u mnie po wnikliwszej analizie odpowiedzi na tego typu pytanie i (szczerej) rozmowie z uczestnikami szkoleń. Okazuje się bowiem, że (szczególnie, gdy szkolenie było wysoce specjalistyczne) wcale niechętnie uczestnicy  poleciliby je innym współpracownikom – ponieważ traktują je jako sposób na uzyskanie przewagi do awansu zawodowego, do którego również aspirują inni. Niedawno prowadziłam ewaluację szkoleń i studiów podyplomowych – okazało się, że aż ok. 1/3 słuchaczy uczestniczy w nich w tajemnicy (!) przed przełożonymi i współpracownikami, aby nie budzić podejrzeń, że chcą zająć ich miejsce lub zmienić pracę.  W świetle tych spostrzeżeń raczej unikam zadawania pytania: czy poleciłbyś szkolenie… i staram się zastąpić je innymi pytaniami oceniającymi wartość szkolenia.

Precyzyjna i krótka skala odpowiedzi

Popularne w ankietach są pytania, w których odpowiedź zaznacza się na skali. Takie pytanie może brzmieć:  Proszę ocenić stopień spełnienia przez szkolenie Pani/Pana oczekiwań, używając skali ocen od 1 do 5. Skala jednak, po pierwsze, musi być opisana w taki sposób, by respondent wiedział, który koniec skali oznacza ocenę najniższą, a który najwyższą. Dla nas może to być oczywiste, ale dla respondenta już nie – czy 1 oznacza najniżej, czy najwyżej? O ile w Polsce można polegać na skojarzeniu z ocenami szkolnymi, to jednak, jeżeli mamy do czynienia z osobami, które mają doświadczenie uczenia się w szkołach za granicą (a takich osób jest coraz więcej), to 1 może kojarzyć się z oceną najwyższą. Dlatego konieczne jest precyzyjne oznaczenie definicji poszczególnych stopni skali np. 5 – bardzo dobrze, 4 – dobrze, 3 – ani dobrze, ani źle, 2 – źle, 1 – bardzo źle. Definicje można formułować w zależności od potrzeb – ważne jest jednak by były one podane i jednoznaczne. Czasem można posłużyć się jedynie skalą opisową, a dopiero podczas analizy przekształcić skalę opisową na stopniową. Po drugie, skala powinna być symetryczna tzn. tyle samo stopni powinno być po stronie „pozytywnej” i „negatywnej” (tak jak powyżej). Można również posługiwać się skalą ocen szkolnych, która co prawda nie jest symetryczna, jednak jej powszechność i znajomość przemawia na jej korzyść – jest to skala od 1 do 6, gdzie tylko 1 jest w pełni oceną negatywną (6 - celujący, 5 - bardzo dobry, 4 - dobry, 3 – dostateczny, 2 – dopuszczający, 1 – niedostateczny). Skala ta może być skrócona od 1 do 5 – zawsze jednak należy podać, jak poszczególne stopnie są definiowane.

Po trzecie, skala nie powinna być rozbudowana, najlepiej gdy będzie pięcio-, najwyżej sześciopunktowa. Czasem spotykam w ankietach skalę 10-cio, a nawet 12-punktową. Jaka jest tak naprawdę różnica jakościowa pomiędzy 8 a 9, albo 6 a 7 w takiej skali? To pytanie, które zadają sobie respondenci wypełniając ankietę (ciekawe - co mają na myśli zaznaczając 8 lub 9, szczególnie, że przy zastosowaniu takiej skali zazwyczaj jej poszczególne punkty nie są zdefiniowane). A później podobne wątpliwości mają ci, którzy analizują wyniki. Dlatego nie warto stosować zbyt rozbudowanej skali, gdyż ona oprócz większego skomplikowania, nie daje nam w rzeczywistości żadnych korzyści analitycznych.

Po czwarte, zastosowana skala w ankiecie powinna być w każdym pytaniu taka sama i podana w tej samej kolejności tzn. jeżeli zaczynamy od 1 – to w każdym pytaniu powinniśmy zaczynać od 1 lub jeżeli zaczynamy od 6 – to w każdym kolejnym powinniśmy zacząć od 6 a nie od 1. Musimy mieć świadomość, że respondenci tylko przy pierwszym pytaniu zapoznają się z definicją skali – w kolejnych pytaniach wypełniają je mechanicznie nie patrząc na nagłówek, w którym zazwyczaj podajemy definicje skali. Jeżeli nie chcemy zbierać sensowne wyniki – musimy się kierować logiką respondenta, który raczej nie jest wnikliwym czytelnikiem…

CDN…

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

 

Być może zainteresuje Cię także:

Jak zrobić dobrą ankietę ewaluacyjną? Część I

„Dziecięce" metody ewaluacji

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia