W ślad za upowszechnianiem się prowadzenia badań ewaluacyjnych szkoleń i innych form doskonalenia, ruszył ruch opracowywania (i publikowania w Internecie) poradników i „gotowych pakietów uniwersalnych narzędzi ewaluacyjnych” do stosowania na każdą okoliczność. Wspomniane poradniki oferują głównie najróżniejsze „szablony” ankiet, scenariuszy wywiadów, a czasem nawet arkusze do analizy dokumentów. Ich pozyskanie (lub zakupienie) daje poczucie, że nie będzie trzeba „tracić czasu” na żmudne przygotowania własnych narzędzi badawczych. Jednak próba ich wykorzystania w prawdziwym badaniu prowadzonym na potrzeby własnej instytucji często kończy się rozczarowaniem.

Wadą gotowych narzędzi jest:

• uniwersalność – dająca złudzenie, że pasują do wszystkich szkoleń i typów instytucji – ale obietnica uniwersalności w rzeczywistości mści się tym, że tak naprawdę nie pasują do końca do żadnego szkolenia i nie uwzględniają specyfiki instytucji;
• ogólność pytań – jest to konsekwencją próby zbudowania uniwersalnego narzędzia – ogólnie zadane pytanie np. w ankiecie, daje ogólnie sformowaną odpowiedź – w konsekwencji niewiele nowego dowiadujemy się z badań;
• brak zakorzenienia w rzeczywistych potrzebach informacyjnych dotyczących konkretnego szkolenia czy instytucji – w konsekwencji badamy jakiś problem czy zagadnienie, dlatego że mamy do niego gotowe narzędzie, a problemy, które wymagają objaśnienia, zrozumienia i w konsekwencji rozwiązania, nie są podejmowane, gdyż praca nad przygotowaniem ich badania wydaje się nam zbyt trudna lub niewspółmierna do korzyści, które z badania moglibyśmy odnieść.

W niniejszym artykule będę chciała zachęcić Czytelników do stosowania dwóch strategii postępowania przy realizacji ewaluacji. Obie strategie opierają się na założeniu minimalizowania wysiłku ponoszonego na rzecz realizowania ewaluacji i maksymalizowania korzyści z niej osiąganych. Jednocześnie zakładają, że cały proces ewaluacji – od początku do końca (a wiec również zastosowane narzędzia badawcze) – są w pełni autorskie i „szyte na miarę” własnej instytucji. Możliwe do zastosowania w tych strategiach metody badawcze nie wymagają pogłębionej i popartej wieloletnimi studiami wiedzy metodologicznej – wystarczy zachowanie otwartości na informacje (nawet zaskakujące i niezgodne z naszymi oczekiwaniami) oraz rzetelność i uczciwość w braniu ich pod uwagę w procesie zmiany. To niewiele – ale wystarczająco. Ale również wbrew pozorom wcale niełatwo w pełni taką otwartość zachować.

Oczywiście obie z poniżej opisanych strategii można, a nawet warto, traktować łącznie – zachęcam tym samym do budowania WŁASNYCH strategii na ewaluację, tutaj kreatywność jest jak najbardziej pożądana – byleby taka ewaluacja służyła rozwojowi instytucji, a nie była jedynie „sztuką dla sztuki”.

Strategia Pierwsza – MINIMALISTYCZNA

Strategia ta opiera się na założeniu, że punktem wyjścia dla uruchomienia procesu ewaluacji jest zaobserwowanie jakiegoś problemu, który wymaga rozwiązania bądź lepszego rozpoznania, zrozumienia przyczyn, objaśnienia znaczenia czy rozpoznania efektów realnych (które już „się dzieją”), bądź potencjalnych - w sytuacji, gdy nie podejmiemy żadnej interwencji. Taka ewaluacja jest zatem pierwszym krokiem do rozwiązania tego problemu. By jednak problem rozwiązać skuteczne i właściwe, konieczne jest jego dobre rozpoznanie, a temu służy właśnie uruchomienie procesu ewaluacji.

W nomenklaturze ewaluacyjnej mówi się o takich ewaluacjach, jako o ewaluacjach ad-hoc. „Minimalistyczność” tej strategii nie zakłada jednak, że mamy do czynienia z ewaluacjami błahymi - wręcz przeciwnie, są to ewaluacje bardzo ważne, gdyż usprawniają bieżące funkcjonowanie instytucji bądź są w stanie „uratować” niejeden projekt czy szkolenie. Minimalistyczność, którą próbuję nieco Czytelnika zaintrygować, polega na tym, że są to ewaluacje zakładające realizację bardzo szybkich, mało skomplikowanych metodologicznie badań, a zmaksymalizowanie ich aktualności i użyteczności wyników. Zatem taka ewaluacja trwa dni lub najwyżej tygodnie, ale już nie miesiące. Skupia się na ściśle określonym, raczej wąskim wycinku rzeczywistości instytucjonalnej, precyzyjnie identyfikując kwestię do zbadania. W takim rozumieniu problem – to rzeczywiście problem do rozwiązania tu i teraz, a ewaluacja skupia się na wspomaganiu procesu jego rozwiązywania.

Takiej ewaluacji oczywiście nie da się zaplanować z wyprzedzeniem tj. nie da się określić jaki problem będzie rozpatrywany, jakie postawimy pytania kluczowe, ani jakie zastosujemy metody badawcze. Jedynie co można zrobić, to założyć, że gdy taka konieczność się pojawi – to po prostu będziemy ewaluację robić, a jej celem będzie szybkie dostarczenie informacji, która pomoże nam działać.

Strategia Druga – PROCESUALNA

Podstawą do realizowania tej strategii jest odwołanie się do popularnej obecnie metodologii „badania w działaniu”. Zbieranie informacji ma tu na celu nie tylko opisanie jakiejś sytuacji czy problemu, ale przede wszystkim wywołanie określonej zmiany w tej sytuacji. Ewaluacja zatem, przy przyjęciu takiej podstawy jej realizowania, byłaby elementem zarządzania instytucją, czy węziej – zarządzania projektem szkoleniowym.   

Podstawową wartością realizowaną dzięki „badaniom w działaniu” jest partycypacyjność całego procesu, która oznacza analizowanie działań i ich efektów w oparciu o społeczność zaangażowaną w dane przedsięwzięcie oraz zorientowanie na aktywność tej społeczności w całym procesie.

Badania w działaniu (action research) można więc zdefiniować jako „studium sytuacji społecznej nakierowane na poprawę jakości działania w jej obrębie”. Ich celem jest dostarczenie praktycznych informacji w konkretnych sytuacjach, a w konsekwencji bardziej inteligentne i sprawne działanie (John Elliott „Praktyczny poradnik prowadzenia „action research” w (1991) Action research for educational change, Milton Keynes, Open University Press, ss. 69 – 89, materiały dostępne na stronie www.npseo.pl).

Kluczowym elementem „badań w działaniu” jest cykliczność, wyłanianie się kolejnych pytań badawczych, współtworzenie kolejnych kroków badania w trakcie samego badania, wywoływanie zmiany poprzez badanie, nieustające wprowadzenie zmiany. Stałej ewolucji ulega tu zarówno środowisko badane, jak też początkowa idea a także sama ewaluacja.

Ewaluacja przy takim jej ujęciu nie stanowiłaby niezależnego procesu, ale byłaby integralnym elementem zarządzania projektem, a w szczególności zarządzania zmianą i skupiałaby się na analizowaniu efektów tych zmian i wspomaganiu tego procesu, poprzez identyfikację, czy określone działanie przynosi pożądane efekty czy też nie. W takim ujęciu ewaluacja skupiałaby się z jednej strony na identyfikacji efektywności procesu zmiany, z drugiej zaś na analizowaniu jego skuteczności. Z punktu widzenia ewaluacji szkoleń podejście to może być bardzo wartościowe do uchwycenia rzeczywistych efektów szkoleń i ich realnej użyteczności.

Proces ewaluacji – uczestnictwo i dialog

Metodologia „badania w działaniu” zakłada, że jest to proces respektujący następujące wartości: demokratyczność, refleksyjność, współpracę i nastawienie na zmianę. (Źródło: materiały dostępne na stronie www.npseo.pl).

Podobne wartości przyświecają ewaluacji ad-hoc. Obie z tych strategii zakładają, że ewaluacja stele towarzyszy podejmowanym działaniom i jest procesem cyklicznie powtarzalnym.

Jeżeli chcemy, by proces ewaluacji był akceptowany i szanowany przez jego uczestników, a nie traktowany jako męczący obowiązek (bez względu na to jaką strategię jej realizacji wybierzemy – czy którąś w wyżej zaproponowanych, czy też bardziej „standardową”), musimy zadbać o kilka ważnych kwestii związanych z jakością samego procesu ewaluacji.

Po pierwsze proces inicjowania ewaluacji (wyboru celu i przedmiotu ewaluacji postawionych pytań kluczowych, wyboru kryteriów) powinien opierać się o dialog  w gronie osób, które będą użytkownikami jej wyników – w projekcie szkoleniowym powinny być to nie tylko osoby decyzyjne ale również realizatorzy projektu w tym trenerzy.

Przedmiotem dyskusji powinna być identyfikacja kwestii, które warto poddać ewaluacji bądź problemów, które wymagają rozwiązania w związku z realizowanym projektem, a ewaluacja mogłaby być pomocna w poszukaniu tych rozwiązań. Jest to punkt wyjścia do sformułowania celu danej ewaluacji i funkcji jaką w odniesieniu do tego problemu ma pełnić. Wyjście od zdefiniowania celu ewaluacji w bezpośredni sposób poprowadzi do wskazania sposobu wykorzystania wyników ewaluacji i uzasadnienia użyteczności jej przeprowadzenia. Tym sposobem, angażując szerokie grono, budujemy zainteresowanie ewaluacją, szczególnie, gdy za jej przedmiot wybierzemy kwestię ważną dla wszystkich czy też większość zaangażowanych w tę dyskusję. Takie zaangażowanie już na początkowym etapie procesu ewaluacji służy budowaniu „poczucia własności” ewaluacji tj. jest tego, że jest on prowadzony dla konkretnych osób w odpowiedzi na ich konkretne potrzeby informacyjne.

Po drugie, ważne jest aby osoby, które uczestniczą w procesie ewaluacji (czy to jako realizatorzy badań, czy to jako informatorzy tj. osoby, które udzielają informacji, uczestniczą w wywiadach czy wypełniają ankiety) miały poczucie sensu tego procesu tj. przekonanie, że ich zaangażowanie (czas, uwaga, namysł nad udzielanymi informacjami) nie idą na marne – muszą widzieć, że ich zaangażowanie rzeczywiście owocuje, najlepiej korzystną dla nich, zmianą. Że owocuje jakąkolwiek zmianą, a jeżeli jest ona niezgodna z ich propozycjami – to oczekują wyjaśnienia dlaczego tak się dzieje, czy chociaż informacji zwrotnej, że ich komunikat został odebrany i zrozumiany, a inne argumenty (i tu trzeba wskazać jakie) powodują, że wyartykułowane przez nich opinie, nie mogą pociągnąć za sobą oczekiwanej zmiany. Brak szacunku dla uczestników procesu ewaluacji mści się niestety spadkiem jakości kolejnych ewaluacji – jeżeli nic się nie zmienia, to po co ponosić ten trud?

Kolejna kwestia, nie mniej istotna, dotyczy zarządzania procesem wykorzystania wyników ewaluacji. Jeżeli przyjmiemy, że ewaluacja ma faktycznie wspomóc wprowadzenie zmian, musimy założyć, że rekomendacje sformułowane w wyniku ewaluacji będą dotyczyły nie tylko nas samych, ale również i innych, którzy zazwyczaj nie do końca są zachwyceni faktem, że ktoś im coś proponuje czy nawet bardziej stanowczo skłania do zmiany ich postępowania, działania czy stylu pracy. Tym sposobem możemy wywołać reakcje sprzeciwu przejawiające się kontestowaniem i dyskredytowaniem wyników ewaluacji, często padają wtedy argumenty o nierzetelności badania czy też „niereprezentatywności” wyników. Jest to w rzeczywistości mechanizm obronny przed zmianą czy też podjęciem trudu np. doskonalenia się. Przeciwdziałaniem konfliktowi, który na tym tle może się pojawić, jest włączenie w proces opracowywania rekomendacji z ewaluacji wszystkich, których potencjalnie te rekomendacje mogą dotyczyć. Nawet gdy taka praca nad rekomendacjami może wydać się żmudna i długotrwała, to efekty w postaci wywołanej tym partycypacyjnym procesem akceptacji, a nawet internalizacji przekonania o słuszności inicjowania procesu zmiany będą dużo lepsze, niż gdy zostaną wprowadzone „nakazowo”.

Wymienione zasady - demokratyczności, współpracy i budowania nastawienia na zmianę można wzmocnić wykorzystaniem w procesie badawczym metod, które nastawione są przede wszystkim na dialog i refleksję.

W ewaluacjach ad-hoc czy też „badaniu w działaniu” nie zawsze potrzeba stosować standardowe metody badawcze. Tutaj często w ogóle bezzasadne są szeroko zakrojone badania ankietowe. Partycypacyjność procesu ewaluacji może przejawiać się również w zastosowaniu mniej „standardowego” instrumentarium badawczego. Do metod, które w tak rozumianej ewaluacji sprawdzają się najlepiej należą różne metody indywidualne, interpersonalne i wizualne (Źródło: materiały na stronie www.npseo.pl). Ich zasadniczą cechą, ale jednocześnie zaletą, jest to, że są mocno zindywidualizowane i subiektywne – ale jednocześnie nie ma lepszych metod by pobudzić prawdziwą refleksję, zaangażowanie, a w ślad z za tym i skutecznie doprowadzać do prorozwojowej i projakościowej zmiany.

Metody indywidualne opierają się o autorefleksję, tutaj podstawowym elementem powodzenia procesu ewaluacji, jest zaangażowanie i przekonanie o wartości prowadzonej ewaluacji oraz akceptacja inicjowanych tym procesem zmian. Do najbardziej zindywidualizowanych metod należy pisanie „listu do siebie”, można również prowadzić osobisty dziennik lub każdy dzień szkolenia kończyć napisaniem jednego zdania podsumowującego. Wyniki ewaluacji z zastosowaniem tej metody mogą być wykorzystane indywidualnie lub być przedmiotem dalszej dyskusji w szerszym gronie i zyskać uogólnienie na całe ewaluowane przedsięwzięcie.

Metody interpersonalne z definicji oparte są o partycypację co najmniej dwóch osób. Można jako główną aktywność grupy przyjąć dialog – np. w formule grup dyskusyjnych (tzw. fokusowych, gdzie dyskusja grupy skupia się (jest „sfokusowana”) na określonej kwestii), ale też można dyskusję prowadzić w diadach (para) czy triadach (trzy osoby) – wtedy można np. zadbać, by w dyskusji każda z osób prezentowała stanowisko jakieś grupy (np. pracowników danego działu). Inny rodzaj metod interpersonalnych opiera się o obserwację – tutaj sprawdzają się techniki obserwacji naprzemiennych, obserwacje eksperckie czy też koleżeńskie. Aby taką metodę zastosować z powodzeniem, konieczny jest wysoki stopień zaufania i otwartość obu stron, jeżeli te warunki zostają spełnione – jest to metoda przynosząca bardzo dobre efekty.

Coraz większe zastosowanie w ewaluacji zyskują metody wizualne. Mogą być oparte o analizę (lub samoanalizę) materiału fotograficznego czy filmowego. Taki materiał może być również impulsem do zainicjowania dyskusji grupowej. Powodzeniem (ale i dużą skutecznością) cieszą się wszelkie wizualizacje, na kanwie której można analizować ewaluowany problem jest np. gadająca ściana czy „róża wiatrów”, której „kierunki” oznaczają różne analizowane kategorie, a przyjęta skala np. od 1 do 5 oznacza ważność, istotność problemu. Oczywiście liczbę osi, skalę i ich definicje można modyfikować w zależności od przedmiotu ewaluacji. Generalna zasada metod wizualnych polega tu na tym, że impulsem do refleksji jest obraz – zdjęcie, nagrana scena, obrazek, schemat.  

W prowadzeniu ewaluacji, szczególnie projektów szkoleniowych, warto również wykorzystywać wszelkie metody aktywizujące stosowane w dydaktyce dorosłych (z tym, że przedmiotem pracy jest zagadnienie wybrane jako przedmiot ewaluacji). Praca w grupach, sesje plakatowe, burza mózgów, warsztaty kreatywne a nawet praca projektami – praktycznie nieograniczona oferta dydaktyki aktywizującej może zostać z powodzeniem zastosowana w ewaluacjach ad-hoc i „badaniu w działaniu”.

Zachęcam Czytelników do samodzielnego opracowywania takich strategii badawczych i testowania różnych metod  – założeniem jest tu chęć zainicjowania refleksji i dialogu – a więc każda z metod, o ile będzie skuteczna, będzie metodą właściwą.

---

Beata Ciężka – ewaluatorka programów i projektów (w tym projektów szkoleniowych), jest autorką i realizatorską szkoleń z zakresu ewaluacji, była wieloletnim wykładowcą na studiach podyplomowych z ewaluacji na Uniwersytecie Warszawskim oraz w Szkole Głównej Handlowej. Specjalizuje się w badaniach jakościowych i analizach eksperckich. Jest Ambasadorką EPALE.

---

W jaki sposób prowadzić użyteczną ewaluację? Jakie metody i narzędzia stosować? Jak pracować z wynikami ewaluacji? Potrzebujesz inspiracji? Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE!

---

Zobacz także: