chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE

Elektroniczna platforma na rzecz uczenia się dorosłych w Europie

 
 

Blog

Żniwa ewaluacyjne – podejście wcale nie rolnicze

14/08/2018
by Beata Ciężka
Język: PL

Jadąc przez Polskę wszędzie widać koszenie zboża – a więc żniwa na całego! Przypominało mi to jedną z koncepcji ewaluacji odwołującą się właśnie do żniw. Znacie ją? To Outcome Harvesting.

W ramach tego podejścia ewaluacyjnego gromadzone są dowody („plony”) wskazujące co się zmieniło („efekty”), a następnie wnioskuje się wstecz czyli określa czy i w jaki sposób interwencja (projekt, program) przyczyniła się do tych zmian. Takie podejście ewaluacyjne jest szczególnie przydatne w złożonych sytuacjach, gdy nie jest możliwe precyzyjne określenie, co konkretnie interwencja ma osiągnąć, a nawet jakie konkretne działania zostaną podjęte w ciągu kilku lat. Czyli trzymając się metafory żniw patrzymy co wyrosło, nie będąc pewni jakie ziarno rozsialiśmy i jak warunki zewnętrzne wpłynęły na to co nam obrodziło.

Outcome Harvesting to podejście ewaluacyjne, w którym ewaluatorzy, twórcy grantów i/lub menedżerowie programów oraz personel identyfikują, formułują, weryfikują, analizują i interpretują "wyniki" w kontekście programowania, w którym relacje przyczyny i skutku nie są w pełni zrozumiałe.

Wyniki definiowane są zazwyczaj jako zmiany w „na dużą skalę" (takie jak działania, polityki, praktyki) jednego lub więcej podmiotów społecznych, na które wpływ ma interwencja. Może to być np. taka „gruba” kategoria, jak „zmiana kultury organizacji”, do której tak często odwołujemy się właśnie w programach rozwojowych albo „uczynienie organizacji bardziej empatyczną” - nie mając precyzyjne zdefiniowane co pod tą zmianą właściwie się kryje.

/pl/file/summer-2404769960720jpg-0summer-2404769_960_720.jpg

W przeciwieństwie do niektórych modeli ewaluacji, Outcome Harvesting nie mierzy postępów w kierunku z góry określonych celów lub wyników, ale raczej gromadzi dowody na to, co się zmieniło, a następnie działa wstecz, określa, czy i w jaki sposób interwencja przyczyniła się do tych zmian. Wyniki mogą być pozytywne lub negatywne, zamierzone lub niezamierzone, bezpośrednie lub pośrednie, ale związek między interwencją a wynikami powinien być wiarygodny.

Outcome Harvesting można wykorzystać do monitorowania, a także do ewaluacji (w tym rozwojowej, formatywnej lub podsumowującej) interwencji lub organizacji. To podejście jest szczególnie przydatne, gdy wyniki, a nawet nakłady i podejmowane działania, nie są wystarczająco konkretne ani mierzalne w momencie planowania interwencji. Przydaje się podczas prowadzenia ewaluacji dynamicznych (ad-hoc), w niepewnych lub mocno złożonych sytuacjach.
Jest zalecany, gdy:

1. Nacisk kładziony jest przede wszystkim na wyniki, a nie działania. Outcome Harvesting przeznaczony jest do sytuacji, w których decydenci (jako "użytkownicy zbiorów") są najbardziej zainteresowani poznaniem tego, co zostało osiągnięte i w jaki sposób. Innymi słowy, nacisk kładziony jest na efekty, a nie wydajność. Podejście to jest również dobre, gdy celem jest zrozumienie procesu zmian i tego, jak każdy wynik przyczynia się do tej zmiany.

2. Kontekst programowania jest złożony. Outcome Harvesting jest odpowiedni dla kontekstów programowania, w których relacje przyczyny i skutku nie są w pełni zrozumiałe. Konwencjonalne monitorowanie i ewaluacja mają zazwyczaj na celu ustalenie wyników poprzez porównanie planowanych rezultatów z tym, co faktycznie zostało osiągnięte oraz sprawdzenie czy planowane działania rzeczywiście zostały wykonane. W złożonych sytuacjach cele i ścieżki ich osiągnięcia są w dużej mierze nieprzewidywalne, a zdefiniowane cele i teorie zmian muszą być z czasem modyfikowane, aby reagować na zmiany sytuacji. Outcome Harvesting jest szczególnie odpowiedni w tych bardziej dynamicznych i niepewnych środowiskach, w których dominują niezamierzone skutki, w tym negatywne. W związku z tym podejście to jest szczególnie odpowiednie do oceny interwencji w zakresie zmiany społecznej lub działań innowacyjnych i rozwojowych.

3. Celem jest sama ewaluacja. Outcome Harvesting może służyć do śledzenia zmian zachowań podmiotów społecznych, na które wpływa interwencja. Jest jednak zaprojektowany tak, aby wyjść poza to i wspierać zdobywanie wiedzy na temat tych osiągnięć. W związku z tym wynik „zbierania” jest szczególnie użyteczny w odniesieniu do bieżących, rozwojowych, średnioterminowych formatywnych i końcowych ewaluacji podsumowujących.

Czas "żniw" zależy od tego, jak ważne są wyniki „żniw”, aby zapewnić, że interwencja zmierza we właściwym kierunku. Jeśli pewność jest względnie duża, że ​​wykonanie A spowoduje B, zbiory mogą być zsynchronizowane z czasem, w którym oczekiwane są wyniki. I odwrotnie, jeśli istnieje duża niepewność co do rezultatów, jakie osiągnie interwencja, zbiory powinny zostać zaplanowane tak szybko, jak to możliwe, w celu określenia wyników, które faktycznie są osiągane.

Źródło: https://www.betterevaluation.org/en/plan/approach/outcome_harvesting

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE.

Zobacz także:

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja metodą Success Story/ Success Case

Ewaluacja wchodzi do ukraińskich samorządów

Ewaluacja codzienności - ewaluacyjna codzienność

Webinarium EPALE: Ewaluacja nie musi być nudna! - nagranie

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

STRATEGIE EWALUACJI SZYTEJ NA MIARĘ

Praktyczne wskazówki do planowania i projektowania ewaluacji

Dołącz do Społeczności Praktyków „Ewaluacja zorientowana na użyteczność”!

EWALUACJA SZKOLEŃ TO NIE TYLKO ZADOWOLENIE UCZESTNIKA PO SZKOLENIU

Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn