ok. 7 minut czytania - polub, linkuj, komentuj!

Najkrócej ewaluację można zdefiniować jako ocenę wartości działania z zastosowaniem określonych kryteriów w celu usprawnienia tego działania.

Bardziej opisowe definicje akcentują aspekty uspołeczniające ewaluacji oraz kluczowe elementy tego procesu, ale wartościowanie jest również główną kategorią.

• Ewaluacja to proces gromadzenia, opracowywania i komunikowania informacji na temat wartości przypisywanej podejmowanym działaniom (H. Mizerek).

• Ewaluacja to refleksyjne rozpoznanie wartości konkretnego działania lub obiektu na podstawie przyjętej metody i kryteriów, w wyniku uspołecznionego procesu, którego celem jest jego poznanie, zrozumienie i rozwój (L. Korporowicz)        

^{Obraz ds_30 z Pixabay}            

Jakąkolwiek definicję przyjmiemy, warto pamiętać, że mówiąc o ewaluacji zawsze mamy do czynienia z:

• procesem badawczym, a więc gromadzeniem informacji, analizą tych informacji oraz ich interpretacją;

• wyciąganiem wniosków odnoszących się do wartości badanego obiektu czy działania. To „wartościowanie” oparte jest o kryteria zdefiniowane na początku procesu ewaluacji;

• wykorzystaniem wyników ewaluacji, jest to bowiem badanie typowo utylitarne.

Dlaczego podkreślam tutaj kwestie wartości i wartościowania? Dlatego, że często zapomina się o kryteriach ewaluacji w ewaluacji!

Ewaluacja wychodzi poza proste stwierdzenie wystąpienia jakiegoś faktu, dokonując wartościowania („oceny”) zdiagnozowanych w badaniu kwestii (procesów, efektów). Jest to podstawowa różnica pomiędzy badaniami ewaluacyjnymi i innymi badaniami osadzonymi w metodologii badań społecznych – ewaluatorzy bowiem nie ograniczają się do odpowiedzi „jak jest” i „dlaczego tak jest”, ale mogą mówić również „czy to, że tak jest, to dobrze czy źle”. By jednak takiego „wartościowania” dokonać, muszą wiedzieć, jakimi kryteriami mają się kierować. „Ocena” ta nie ma więc charakteru zdroworozsądkowego czy też uznaniowego, ale jest oparta na kryteriach wskazanych w projekcie ewaluacji i odpowiedziach na pytania badawcze dokonanych na podstawie danych empirycznych. Kryteria ewaluacji stanowią rodzaj standardów, według których dokonuje się „wartościowania”.

Poniżej wymieniam najczęściej stosowane kryteria ewaluacji w kontekście projektów i działań edukacyjnych:

• Skuteczność – kryterium to pozwala ocenić, do jakiego stopnia cele ewaluowanego przedsięwzięcia zostały osiągnięte. Jeżeli zatem przedsięwzięcie osiągnęło założone cele – możemy powiedzieć o nim, że „zostało zrealizowane skutecznie”, bądź po prostu, że „jest skuteczne”.

• Efektywność – kryterium to pozwala ocenić poziom „ekonomiczności” zrealizowanego przedsięwzięcia również szkoleniowego, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas na realizację działań prowadzących do osiągnięcia założonego celu. Zatem, jeżeli nakład środków był właściwie zbilansowany (ani zbyt wysoki, ani za niski), a cele zostały osiągnięte, możemy powiedzieć, że „działania zrealizowano efektywnie”. Jeżeli natomiast można było te same efekty osiągnąć angażując w to mniejsze zasoby, wtedy mówimy o „działaniu nieefektywnym”, podobnie jest w przypadku gdy, angażując te same zasoby, można było osiągnąć lepsze efekty. 

• Użyteczność – kryterium to pozwala ocenić, w jakim stopniu realizacja ewaluowanych działań rzeczywiście przyczyniła się do rozwiązania zidentyfikowanego problemu w obszarze objętym interwencją i/lub przyniosła korzyści beneficjentom. Zatem jeżeli przedsięwzięcie przyniosło pożytek odbiorcom działań – możemy mówić, że było użyteczne. Co istotne nie zawsze użyteczność definiowana jest poprzez cele działań – z mojego doświadczenia wynika, że w wielu projektach szkoleniowych użyteczność koncentruje się nie tylko na zdobyciu nowej wiedzy czy umiejętności, ale również na nawiązaniu kontaktów czy aktywizacji społecznej (czego nie ujęto w celach projektu, a co powinniśmy wykazać wskazując na skuteczność projektu).  

• Trafność – kryterium to pozwala ocenić, w jakim stopniu przyjęte cele i metody realizacji przedsięwzięcia odpowiadają zidentyfikowanym problemom i/lub realnym potrzebom beneficjentów. Zatem jeżeli dobrze dobrano metody działań, aby rozwiązać określony problem – mówimy o ich trafności. 

• Trwałość – kryterium to pozwala ocenić, czy pozytywne efekty ewaluowanego przedsięwzięcia/interwencji mogą trwać po zakończeniu wsparcia/stymulowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu interwencji w dłuższej perspektywie czasowej.

Biorąc pod uwagę powyższe kryteria i dokonując określenia wartości ewaluowanego przedsięwzięcia, możemy powiedzieć na przykład, że projekt szkoleniowy/rozwojowy jest skuteczny, gdyż przynosi założone efekty, ale nieefektywny, bo realizowany ogromnym, niewspółmiernym do efektów wysiłkiem i środkami, a ponadto nietrwały, bo problem nie został rozwiązany do końca; co prawda wykazuje użyteczność dla adresatów, ale nie wszystkie metody interwencji okazały się równie trafne. 

Katalog przedstawionych wyżej kryteriów nie jest ani wyczerpujący, ani właściwy dla każdego badania ewaluacyjnego obejmującego projekty rozwojowe. Każda ewaluacja powinna wykorzystywać adekwatny do swojego przedmiotu zestaw kryteriów, który każdorazowo powinien zostać zdefiniowany.

Również definicje kryteriów mogą podlegać modyfikacji czy doprecyzowaniu w zależności od tego, czemu ewaluacja ma służyć i co badać, na przykład w ewaluacji współpracy z partnerami społecznymi możemy mieć podobne kryteria jak zaprezentowane powyżej, ale inaczej zdefiniowane. Przykładowo: trafność zastosowanej metodyki wyboru partnerów społecznych do realizacji projektu rozwojowego; użyteczność zastosowania zasady partnerstwa jako instrumentu polepszającego jakość realizacji zajęć rozwojowych czy trwałość powstałych struktur współpracy pomiędzy parterami i wykorzystanie ich w realizacji innych przedsięwzięć.

Kryteria ewaluacji  sformułowane na etapie planowania ewaluacji służą nie tylko wskazaniu, co będzie podlegało wartościowaniu - podpowiedzą również na etapie analizowania wyników, w jakim kierunku prowadzić analizy i wyciągać wnioski.

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Cztery generacje ewaluacji – czyli czy walka o podbój kosmosu i ruchy hipisowskie przyśpieszyły rozwój ewaluacji? Część II

Generacje ewaluacji – czyli jak kryzysy napędzają rozwój ewaluacji? Część I

Czy nasi Przodkowie robili ewaluację?

„Dziecięce" metody ewaluacji

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Źródła:

Ciężka B. Planowanie ewaluacji wewnętrznej… w: Jak być jeszcze lepszym? Ewaluacja w edukacji, red. Mazurkiewicz G. https://www.npseo.pl/data/documents/3/272/272.pdf

Mizerek H. Ewaluacja edukacyjna, Wyd. Impuls, Kraków 2017

Ewaluacja w edukacji, red. L. Korporowicz, Oficyna Naukowa, Warszawa 1997