ok. 9 minut czytania - polub, linkuj, komentuj!

Coraz bardziej doceniam społeczne funkcje ewaluacji, a nie tylko jej badawczą rolę. Pracując z zespołami realizującymi różne projekty edukacyjne, dostrzegam, że ewaluacja spełnia ważną rolę wzmacniania współodpowiedzialności za efekty projektu. Widzę również, że ewaluacja może mieć znaczenie „zespołotwórcze” kadry zarządzającej takim projektem. Niedawno miałam okazję ewaluować projekt dot. animacji aktywności w środowisku lokalnym. Elementem tej ewaluacji było przyjrzenie się jakości współpracy w zespole realizującym projekt. Projekt realizowany był w partnerstwie kilku organizacji.

Photo by Jonas Svidras on Unsplash

Nie ustaję w poszukiwaniu ciekawych metod ewaluacji, dzięki którym można nie tylko zbierać informacje, ale również wzmacniać efekty edukacyjne. W przypadku ewaluowanego przeze mnie projektu, efektem (oprócz oddziaływania na beneficjentów) miało być zbudowanie, możliwie trwałych, mechanizmów współpracy pomiędzy biorącymi w nim udział organizacjami. Aby uchwycić kluczowe kategorie dotyczące współpracy (z perspektywy samych zaangażowanych w realizację projektu) i podyskutować o jakości i skuteczności współpracy, posłużyłam się metodą hex’ów. Heksy to sześciokąty, które pełnią funkcję kart moderacyjnych do dyskusji. Z hex’ów uczestnicy układają mapę, która jest pretekstem do dyskusji – w mojej ewaluacji była to dyskusja o mechanizmach skutecznej (i nieskutecznej) współpracy między partnerami.

Po co stosować hex’y?

Po to, żeby po pierwsze, zdefiniować najważniejsze dla samych zainteresowanych kategorie opisujące ewaluowaną rzeczywistość (w przypadku mojej ewaluacji było to środowisko współpracy), a po drugie prowadzić uporządkowaną wg tych kategorii dyskusję, wyłapującą połączenia logiczne i przyczynowo-skutkowe pomiędzy omawianymi kategoriami (zjawiskami).

Jak taka ewaluacja wyglądała?

Ewaluacja ta składała się z kilku kroków.

• W pierwszym kroku uczestnicy ewaluacji (w moim przypadku byli to przedstawiciele organizacji wchodzących w skład partnerstwa) wymienili (zapisując je niezależnie na małych karteczkach) wszystkie skojarzenia ze słowem „współpraca”. W ten sposób sformułowane zostały kategorie do hex’ów. Pojawiło się kilkanaście takich kategorii np. „podział zadań”, „odpowiedzialność”, „jawność”, „przepływ informacji”, „doświadczenie”, „gramy do tej samej bramki”, „czy leci z nami pilot?”, „atmosfera”, „decyzja”, „zaufanie”, „organizacja pracy”, „ograniczone zasoby”, „uczenie się”, „rywalizacja”, „pieniądze”, „ale o co chodzi?”. Jak widać kategorie były bardzo zróżnicowane, ale de facto ich sformułowanie pełniło już funkcję pierwszego etapu definiowania i selekcji zagadnień, które są najistotniejsze z punktu widzenia ewaluowanej kwestii (w naszym przypadku - jakości współpracy).

• W drugim kroku kategorie te zapisywane są na hex’ach. Każdy uczestnik dyskusji losuje kilka sześciokątów z gotowymi kategoriami (hexy odwrócone są czystą stroną do góry). Każdy uczestnik dostaje również jeden sześciokąt pusty - do wpisania własnej kategorii, jeżeli uzna, że brakuje istotnej kwestii, która jeszcze się nie pojawiła lub z kontekstu dyskusji uczestnik uzna, że powinna się pojawić.

• W trzecim kroku uczestnicy tworzą mapę (w przypadku naszej ewaluacji – mapę środowiska współpracy, która miała miejsce podczas realizacji projektu). Mapa powinna składać się z przystających do siebie bokami sześciokątów. Każde położenie sześciokąta wymaga uzasadnienia: Dlaczego kładę ten sześciokąt w tym właśnie miejscu? Jak on się łączy z innymi sześciokątami do niego przylegającymi? W jaki sposób kategorie z przylegających sześciokątów na siebie oddziałują?

W wyniku tak przeprowadzonej ewaluacji okazało się wiele ciekawych i nieoczywistych kwestii dotyczącej współpracy i, jak powiedzieli uczestnicy, jeszcze nigdy ewaluacja nie podpowiedziała im tyle użytecznych rozwiązań, które mogą zastosować w kolejnych wspólnie realizowanych projektach.

Jednym z takich nieoczywistych dla uczestników kwestii było skonstatowanie, że dobry przepływ informacji pomiędzy partnerami realizującymi projekt jest skorelowany z dobrym przygotowaniem realizacji projektu już na etapie jego planowania (o czym nie myślano zastanawiając się raczej nad działaniami projektu, a nie tym, jak wspólnie będą działać partnerzy) i, co istotne, dobry przepływ informacji, nie odnosi się to jedynie do podziału zadań pomiędzy zaangażowane organizacje, ale wymaga nauczenia się „stylu” pracy partnerów. Bardzo ważnym wydarzeniem w budowaniu mechanizmów współpracy było „spotkanie rozpoczynające” – które posłużyło ustaleniu zasad zarządzania projektem i budowaniu zespołu (choć początkowo większość członków partnerstwa uważała, że jest to strata czasu i uczestniczyła w nim niechętnie). Podczas ewaluacji zrozumieli, że „spotkanie rozpoczynające” było „fundamentem”, na którym zbudowali praktycznie cały mechanizm współpracy w projekcie, a ustalone wtedy zasady stały się „dekalogiem”, do którego odwoływali się wszyscy członkowie partnerstwa (co okazjo się bardzo efektywne z uwagi na to, że personel projektu zmieniał się wielokrotnie w jego trakcie).

Takich refleksji i lekcji podczas tej ewaluacji było jeszcze całe mnóstwo. Miałam również wrażenie, że ta ewaluacja miała również funkcję „spuszczenia pary” z czasem trudnych doświadczeń partnerów ze współpracy ze sobą, bo na koniec zaczęli wspólnie planować kolejne przedsięwzięcia…

Beata Ciężka – ewaluatorka, autorka i realizatorka szkoleń z zakresu ewaluacji. Posiada bogate doświadczenie w realizacji projektów badawczych i ewaluacyjnych prowadzonych m.in. dla Komisji Europejskiej. Specjalizuje się w programach i projektach edukacyjnych. Współzałożycielka Polskiego Towarzystwa Ewaluacyjnego. Ambasadorka EPALE. 

Zobacz także:

Ewaluacja szkoleń to nie tylko zadowolenie uczestnika po szkoleniu

Praktyczne wskazówki do planowania i projektowania ewaluacji

Ewaluacja wewnętrzna – szybko, łatwo, przyjemnie i użytecznie

Ewaluacja metodą Success Story/ Success Case

Strategie ewaluacji wspomagające jakość usług rozwojowych

Ewaluacja ex-ante to nie tylko badanie oczekiwań uczestników szkolenia