ok. 6 minut czytania - polub, linkuj, komentuj!

W sierpniu na Blogu EPALE pisałam o generacjach ewaluacji wg Egona Guby i Yvonny Lincoln zaczerpniętych z książki Fourth Generation Evaluation, zastanawiając się, jak obecna sytuacja pandemiczno-kryzysowa wpłynie na rozwój koncepcji ewaluacyjnych. Według spostrzeżeń Guby i Lincoln - rozwój ewaluacji napędzały kryzysy i pojawienie się nowych okoliczności zewnętrznych, stawiających przed badaniami ewaluacyjnymi nowe wyzwania. Opisałam wtedy dwie pierwsze generacje ewaluacji, tj.: pomiar i opis. Dzisiaj kontynuacja tego zestawienia, czyli dwie kolejne generacje ewaluacji: ocena i dialog.

III generacja: ocena

Druga generacja ewaluacji, opierająca się na opisowym podejściu skupionym na identyfikacji okoliczności sprzyjających osiąganiu założonych celów, choć nie pozbawiona wad, przetrwała mniej więcej do roku 1957. Był to pamiętny rok, w którym Rosjanie umieścili pierwszy sputnik na orbicie okołoziemskiej. Jak podaje Wikipedia:

„Wystrzelony przez ZSRR 4 października 1957 o godzinie 19:28:34 czasu uniwersalnego. Wyniesienie Sputnika 1 na orbitę stało się początkiem wyścigu kosmicznego między ZSRR a USA”.

Wtedy to rząd federalny USA wygłosił opinię na temat nieadekwatności przeprowadzanych ewaluacji, które nie pozwalały wykryć braków amerykańskiej edukacji pozwalających Rosjanom na zdobycie przewagi w podboju Kosmosu. Krytyka poziomu edukacji zapoczątkowała wprowadzenie szeregu programów narodowych mających za zadanie udoskonalenie nauczania przedmiotów ścisłych i humanistycznych. Zaś ich ewaluacje miały za zadanie oceniać jakość oraz dawać jednoznaczne rekomendacje pokazując kierunek doskonalenia tych programów. Tym samym ewaluacja zmienia swój charakter z opisowego na bardziej krytyczny. Zaczęto oczekiwać od ewaluatorów bycia ekspertami w ocenianych dziedzicach oraz twardych osądów, co jest dobre, a co złe. Pojawiają się w ewaluacjach odwołania do określonych standardów, w stosunku do których można tej oceny dokonać. Standard wymaga zawsze jednoznacznej definicji i określenia ewentualnych dopuszczalnych odchyleń.

W ślad za takim pojmowaniem ewaluacji pojawiają się nowe jej modele włączające aspekty oceniania (choć o różnym natężeniu) - poczynając od modelu zorientowanego na podejmowanie decyzji, w którym ewaluator współpracuje z decydentami i dostarcza im potrzebnych do podjęcia decyzji informacji, poprzez analizę rozbieżności w osiąganiu określonych standardów, aż po jednoznacznie wyrażany osąd w modelu eksperckim, w którym ewaluator występuje z pozycji specjalisty w dziedzinie, która poddawana jest ewaluacji.

IV generacja: ewaluacja dialogiczna

Nowe spojrzenie na ewaluację wywołały zmiany społeczne i ruchy emancypacyjne końca lat 60. Duże znaczenie miał również rozwój nauk społecznych, szczególnie w zakresie podejść postpozytywistycznych. Guba i Lincoln są zdania, że ewaluacje do tego czasu miały wspólne wady:

• tendencję do menedżeryzmu przejawiającą się w zbytnim uleganiu klientom i osobom zamawiającym ewaluację oraz agendom rządowym zainteresowanym przeprowadzaniem ewaluacji, a w konsekwencji brakiem dostępu do informacji – w szczególności gdy ewaluowane są programy finansowane z funduszy publicznych;
• nieuwzględnianie pluralizmu wartości (dyskusje na temat pluralizmu wartości zapoczątkowane pod koniec lat 60. XX wieku – żywe i aktualne są do dziś);
• zbytnie uleganie pozytywistycznemu paradygmatowi badawczemu, co prowadzi do „utraty kontekstu” ewaluowanego przedsięwzięcia, nadużywania metod statystycznych i złudnego poczucia, że ewaluator jest nieomylny i zwolniony z jakiejkolwiek „moralnej odpowiedzialności” za to, co wyłoni się z ewaluacji czy wobec kogokolwiek, kogo wyniki te dotyczą.

Sposobem na przezwyciężenie tych wad może być ewaluacja dialogiczno-konstruktywistyczna (responsive constructivist evaluation), którą Guba i Lincoln nazywają IV generacją ewaluacji. Pojęcie dialogiczny (responsive) oznacza inny sposób decydowania o parametrach ewaluacji. W pierwszych trzech generacjach ewaluacji parametry te były ustalone a priori. Ich precyzowanie zwykle dokonywane było na drodze negocjacji między zamawiającym ewaluację a ewaluatorem. W ewaluacji dialogicznej bierze się również pod uwagę żądania, obawy i inne kwestie dotyczące ewaluowanych, których traktuje się jako uczestników i zainteresowanych ewaluacją. Zadaniem ewaluatora zaś jest identyfikowanie potrzeb „interesariuszy” (stakeholders) i branie ich pod uwagę przy przeprowadzaniu ewaluacji.

Termin „konstruktywistyczny” (constructivist) używany jest przez autorów Fourth Generation Evaluation dla określenia metodologii badań stosowanej w tym typie ewaluacji. Można go również nazywać wyjaśniającym (interpretive) lub hermeneutycznym. Nieco upraszczając sprawę – można powiedzieć, że chodzi tu o szarsze niż dotychczas stosowanie metod jakościowych i bardziej krytyczne podchodzenie do interpretacji wyników.

Założenia ewaluacji, w której bierze się pod uwagę różne punkty widzenia, stosuje triangulację metod ilościowych i jakościowych, czy szeroko konsultuje ewaluacyjne ustalenia, mogą być teraz dla nas oczywistością, ale w swoim czasie takie podejście mocno zmieniło oblicze ewaluacji.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Generacje ewaluacji – czyli jak kryzysy napędzają rozwój ewaluacji? Część I

Jak zrobić dobrą ankietę ewaluacyjną? Część I

Jak zrobić dobrą ankietę ewaluacyjną? Część II

Jak zrobić dobrą ankietę ewaluacyjną? Część III

„Dziecięce" metody ewaluacji

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Źródła:

Ciężka B. Koncepcja metodologiczna ewaluacji… w kontekście czterech generacji ewaluacji … w: Jak być jeszcze lepszym? Ewaluacja w edukacji, red. Mazurkiewicz G. https://www.npseo.pl/data/documents/3/272/272.pdf

Guba E.G., Lincoln Y.S., Fourth Generation Evaluation, Sage, Newbury Park–London–New Delhi 1989