Pasar al contenido principal
Blog
Blog

Jak zrobić dobrą ankietę ewaluacyjną? Część IV

Dzisiaj ostatni artykuł z cyklu Jak zrobić dobrą ankietę ewaluacyjną? Kończę ten temat z nadzieją, że moje doświadczenie okaże się użyteczne i przybliży Was do stworzenia „dobrej ankiety ewaluacyjnej”.

  

Dzisiaj ostatni artykuł z cyklu Jak zrobić dobrą ankietę ewaluacyjną? Kończę ten temat z nadzieją, że moje doświadczenie okaże się użyteczne i przybliży Was do stworzenia dobrej ankiety ewaluacyjnej. Do tej pory (na Blogu EPALE w lipcu, sierpniu i wrześniu) poruszyłam następujące zagadnienia:

  1. Cel ewaluacji i jego jawność dla respondentów;
  2. Sens prowadzenia badań ewaluacyjnych – szczególnie w formie ankiety;
  3. Reguła jednej kartki;
  4. Stosowanie pytań otwartych w ankiecie;
  5. Wykorzystanie metryczki;
  6. Wątpliwości dotyczące pytania: Czy poleciłbyś szkolenie…;
  7. Stosowanie precyzyjnej i krótkiej skali odpowiedzi;
  8. Problemy z pogodzeniem języka, jakim posłuje się respondent z językiem, jakiego używają badacze;
  9. Często popełniany błąd zadawania pytań „dwa w jednym”, czyli pytanie o kilka kwestii w jednym pytaniu.

Dzisiaj kilka słów na temat analizy i interpretacji wyników badań ankietowych.

  

Analiza ilościowa a analiza jakościowa

Wyniki ankiet zazwyczaj podsumowujemy, zliczając odpowiedzi na poszczególne pytania – dzięki temu uzyskujemy wgląd w to, ile osób miało takie samo zdanie na zadany temat. W uproszczeniu można powiedzieć, że najbardziej interesuje nas, czy większość czy też mniejszość osób wychodzi zadowolona ze szkolenia. Analizę taką nazywamy ilościową – możemy dzięki niej poznać rozkłady częstości wybierania danej odpowiedzi, ale również dokonywać mniej lub bardziej skomplikowanych analiz statystycznych. Analiza ilościowa odpowiada na pytania: Ile? Jak często? Jaki odsetek? Dzięki niej można policzyć odpowiedzi na pytania zamknięte, ale również można zastosować ją przy analizie pytań otwartych. O ile w pytaniach zamkniętych mamy ustalone w ankiecie kategorie odpowiedzi, o tyle w pytaniach otwartych sami dokonujemy kategoryzacji na podstawie wypowiedzi respondentów i również możemy je następnie poddać analizie ilościowej. Zatem dane jakościowe możemy przekształcić w dane ilościowe po zakończeniu zbierania danych.

Jednakże w badaniach ewaluacyjnych bardzo ważne (o ile nie ważniejsze) są informacje jakościowe – uzyskiwane w pytaniach półotwartych i otwartych. Ankieta nie jest jednak najlepszym narzędziem do zbierania danych jakościowych – tutaj lepiej sprawdzają się badania oparte na wywiadach czy dyskusjach. Dane jakościowe dotyczą opisu, poznania, a przede wszystkim zrozumienia badanych zjawisk, np. uzasadnienia ocen dokonywanych przez uczestników szkolenia. Takie dane są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych. Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w sensie ilościowym. Najważniejsze są tu bowiem odpowiedzi na pytania: Co? Jak? Dlaczego? Analiza jakościowa może być wieloznaczna i wielowymiarowa, trudno na jej podstawie formułować uogólnienia. Ale jeżeli chcemy w wynikach ewaluacji szukać inspiracji do zmiany i rozwoju – to nie ma nic bardziej inspirującego niż właśnie dane jakościowe. Analizując mnóstwo ankiet ewaluacyjnych nabrałam przekonania, że dane ilościowe rozleniwiają – zazwyczaj bowiem większość uczestników szkoleń wyraża pozytywne opinie (chyba że naprawdę coś ewidentnie zawalimy), natomiast to informacje jakościowe dają paliwo i inspiracje do rozwoju.

Inspirujące może być również analizowanie tzw. marginesów (są to wyniki skrajnych odpowiedzi np. bardzo pozytywnych lub bardzo negatywnych, niewchodzących do puli większości, wyrażającej podobną opinię). Często pomijamy je z uwagi na ich jednostkowość (na zasadzie – w grupie zawsze znajdzie się ktoś niezadowolony, pieniacz, przypadkowy uczestnik), a czasem to właśnie tej jednej czy dwóm osobom „chciało się” podzielić swoimi spostrzeżeniami, a ich uwagi mogą być istotne i pomocne.

  

Co nam mówią wyniki ankiet ewaluacyjnych?

Analiza wyników ankiet ewaluacyjnych prowadzi nas do konkluzji o jakości szkolenia – pytamy w niej bowiem zazwyczaj o dobór tematyki, jakość materiałów, pracę trenera i wiele innych kwestii związanych z tym, co wydarzyło się w sali szkoleniowej. Często również pytamy o użyteczność szkolenia poprzez perspektywę wykorzystania nabytej wiedzy i umiejętności w miejscu pracy. Zachęcam jednak, by spojrzeć na interpretację wyników ankiet poszkoleniowych nieco szerzej – na procesy promocyjne i rekrutacyjne do szkolenia. Jeżeli pojawiają się w ocenach uczestników szkolenia niskie oceny doboru tematyki, materiałów czy wiedzy zaprezentowanej przez trenera, to może nie jest to kwestia zawartości merytorycznej szkolenia, ale faktu, że trafiły na nie osoby, które mają zbyt wysokie lub zbyt niskie kompetencje wyjściowe, by w pełni ze szkolenia skorzystać. Zatem przyczyna ich niezadowolenia nie tkwi w słabej ofercie szkoleniowej, ale w tym, że ich potrzeby i kompetencje nie zostały właściwie rozpoznane na etapie rekrutacji. To, co nam mówią wyniki ankiet poszkoleniowych, może więc również dotyczyć jakości procesów informowania o szkoleniu, jego promocji oraz doboru grupy szkoleniowej.

Osobom zainteresowanym zapoznaniem się z zagadnieniami analizy i interpretacji danych ilościowych i jakościowych polecam publikacje:

Wasilewska E., Statystyka opisowa nie tylko dla socjologów, Wydawnictwo SGGW, 2008 oraz Miles B.M., Huberman A.M., Analiza danych jakościowych, Trans Humana, Białystok 2000.

  

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować?

Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji?

Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE! 

    

Być może zainteresuje Cię także:

Jak zrobić dobrą ankietę ewaluacyjną? Część I

Jak zrobić dobrą ankietę ewaluacyjną? Część II

Jak zrobić dobrą ankietę ewaluacyjną? Część III

„Dziecięce" metody ewaluacji

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia

Login (0)

Users have already commented on this article

Inicia sesión o Regístrate para publicar comentarios.

Want to write a blog post ?

Don't hesitate to do so! Click the link below and start posting a new article!

Últimos debates

Enfoques temáticos de la EPALE 2021. ¡Empecemos!

Os invitamos a enriquecer con vuestras aportaciones y conocimientos lo que va a ser un año intenso. Empecemos por participar en este debate en línea. El debate en línea tendrá lugar el martes 9 de marzo de 2021 de 10 a 16 horas CET. La discusión escrita será introducida por un directo con una introducción a los focos temáticos de 2021, y será presentada por Gina Ebner y Aleksandra Kozyra de la AEEA en nombre del Consejo Editorial del EPALE.

Más

Discusión de EPALE: Aprendizaje mixto en la educación de adultos

En este contexto, el jueves 26 de noviembre de 2020, a partir de las 10.00 horas hasta las 16.00 horas CET, EPALE acogerá un debate en línea sobre el aprendizaje mixto en la educación de adultos. El debate tendrá un nuevo formato, comenzando a las 10 con una transmisión en vivo de 30 minutos, acompañado y seguido por el debate sobre los comentarios de la plataforma.

Más

Debate en EPALE: inclusión social de la población envejecida y aprendizaje intergeneracional

El miércoles 28 de octubre, a partir de las 10 a.m. CEST, EPALE acogerá un debate en línea sobre la inclusión social de la población envejecida y el aprendizaje intergeneracional. Los comentarios estarán abiertos el 19 de octubre para que los participantes puedan presentarse y enviar sus comentarios con antelación. ¡Únete a nuestro debate en línea!

Más