chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE

Pjattaforma Elettronika għat-Tagħlim għall-Adulti fl-Ewropa

 
 

Blog

Jak zrobić dobrą ankietę ewaluacyjną? Część IV

08/10/2019
by Beata Ciężka
Lingwa: PL

/es/file/african-34763711920jpg-0african-3476371_1920.jpg

  

Dzisiaj ostatni artykuł z cyklu Jak zrobić dobrą ankietę ewaluacyjną? Kończę ten temat z nadzieją, że moje doświadczenie okaże się użyteczne i przybliży Was do stworzenia dobrej ankiety ewaluacyjnej. Do tej pory (na Blogu EPALE w lipcu, sierpniu i wrześniu) poruszyłam następujące zagadnienia:

  1. Cel ewaluacji i jego jawność dla respondentów;
  2. Sens prowadzenia badań ewaluacyjnych – szczególnie w formie ankiety;
  3. Reguła jednej kartki;
  4. Stosowanie pytań otwartych w ankiecie;
  5. Wykorzystanie metryczki;
  6. Wątpliwości dotyczące pytania: Czy poleciłbyś szkolenie…;
  7. Stosowanie precyzyjnej i krótkiej skali odpowiedzi;
  8. Problemy z pogodzeniem języka, jakim posłuje się respondent z językiem, jakiego używają badacze;
  9. Często popełniany błąd zadawania pytań „dwa w jednym”, czyli pytanie o kilka kwestii w jednym pytaniu.

Dzisiaj kilka słów na temat analizy i interpretacji wyników badań ankietowych.

  

Analiza ilościowa a analiza jakościowa

Wyniki ankiet zazwyczaj podsumowujemy, zliczając odpowiedzi na poszczególne pytania – dzięki temu uzyskujemy wgląd w to, ile osób miało takie samo zdanie na zadany temat. W uproszczeniu można powiedzieć, że najbardziej interesuje nas, czy większość czy też mniejszość osób wychodzi zadowolona ze szkolenia. Analizę taką nazywamy ilościową – możemy dzięki niej poznać rozkłady częstości wybierania danej odpowiedzi, ale również dokonywać mniej lub bardziej skomplikowanych analiz statystycznych. Analiza ilościowa odpowiada na pytania: Ile? Jak często? Jaki odsetek? Dzięki niej można policzyć odpowiedzi na pytania zamknięte, ale również można zastosować ją przy analizie pytań otwartych. O ile w pytaniach zamkniętych mamy ustalone w ankiecie kategorie odpowiedzi, o tyle w pytaniach otwartych sami dokonujemy kategoryzacji na podstawie wypowiedzi respondentów i również możemy je następnie poddać analizie ilościowej. Zatem dane jakościowe możemy przekształcić w dane ilościowe po zakończeniu zbierania danych.

Jednakże w badaniach ewaluacyjnych bardzo ważne (o ile nie ważniejsze) są informacje jakościowe – uzyskiwane w pytaniach półotwartych i otwartych. Ankieta nie jest jednak najlepszym narzędziem do zbierania danych jakościowych – tutaj lepiej sprawdzają się badania oparte na wywiadach czy dyskusjach. Dane jakościowe dotyczą opisu, poznania, a przede wszystkim zrozumienia badanych zjawisk, np. uzasadnienia ocen dokonywanych przez uczestników szkolenia. Takie dane są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych. Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w sensie ilościowym. Najważniejsze są tu bowiem odpowiedzi na pytania: Co? Jak? Dlaczego? Analiza jakościowa może być wieloznaczna i wielowymiarowa, trudno na jej podstawie formułować uogólnienia. Ale jeżeli chcemy w wynikach ewaluacji szukać inspiracji do zmiany i rozwoju – to nie ma nic bardziej inspirującego niż właśnie dane jakościowe. Analizując mnóstwo ankiet ewaluacyjnych nabrałam przekonania, że dane ilościowe rozleniwiają – zazwyczaj bowiem większość uczestników szkoleń wyraża pozytywne opinie (chyba że naprawdę coś ewidentnie zawalimy), natomiast to informacje jakościowe dają paliwo i inspiracje do rozwoju.

Inspirujące może być również analizowanie tzw. marginesów (są to wyniki skrajnych odpowiedzi np. bardzo pozytywnych lub bardzo negatywnych, niewchodzących do puli większości, wyrażającej podobną opinię). Często pomijamy je z uwagi na ich jednostkowość (na zasadzie – w grupie zawsze znajdzie się ktoś niezadowolony, pieniacz, przypadkowy uczestnik), a czasem to właśnie tej jednej czy dwóm osobom „chciało się” podzielić swoimi spostrzeżeniami, a ich uwagi mogą być istotne i pomocne.

  

Co nam mówią wyniki ankiet ewaluacyjnych?

Analiza wyników ankiet ewaluacyjnych prowadzi nas do konkluzji o jakości szkolenia – pytamy w niej bowiem zazwyczaj o dobór tematyki, jakość materiałów, pracę trenera i wiele innych kwestii związanych z tym, co wydarzyło się w sali szkoleniowej. Często również pytamy o użyteczność szkolenia poprzez perspektywę wykorzystania nabytej wiedzy i umiejętności w miejscu pracy. Zachęcam jednak, by spojrzeć na interpretację wyników ankiet poszkoleniowych nieco szerzej – na procesy promocyjne i rekrutacyjne do szkolenia. Jeżeli pojawiają się w ocenach uczestników szkolenia niskie oceny doboru tematyki, materiałów czy wiedzy zaprezentowanej przez trenera, to może nie jest to kwestia zawartości merytorycznej szkolenia, ale faktu, że trafiły na nie osoby, które mają zbyt wysokie lub zbyt niskie kompetencje wyjściowe, by w pełni ze szkolenia skorzystać. Zatem przyczyna ich niezadowolenia nie tkwi w słabej ofercie szkoleniowej, ale w tym, że ich potrzeby i kompetencje nie zostały właściwie rozpoznane na etapie rekrutacji. To, co nam mówią wyniki ankiet poszkoleniowych, może więc również dotyczyć jakości procesów informowania o szkoleniu, jego promocji oraz doboru grupy szkoleniowej.

Osobom zainteresowanym zapoznaniem się z zagadnieniami analizy i interpretacji danych ilościowych i jakościowych polecam publikacje:

Wasilewska E., Statystyka opisowa nie tylko dla socjologów, Wydawnictwo SGGW, 2008 oraz Miles B.M., Huberman A.M., Analiza danych jakościowych, Trans Humana, Białystok 2000.

  

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

  

Być może zainteresuje Cię także:

Jak zrobić dobrą ankietę ewaluacyjną? Część I

Jak zrobić dobrą ankietę ewaluacyjną? Część II

Jak zrobić dobrą ankietę ewaluacyjną? Część III

„Dziecięce metody” ewaluacji – użyteczne również wśród dorosłych!

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia

Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn
Refresh comments Enable auto refresh

Qed jintwerew 1 - 1 minn 1
  • Rafał Żak's picture
    Hej.
    Dopiero teraz odkryłem ten cykl (wstyd). Mocno takich brakuje. Zaraz się zajmę dzieleniem się tym z trenerami, których zdarza mi się rozwijać. Dzięki!