ARVIOINNIN KOHDE

Euroopan unionin rahoitusohjelma Erasmus+ luo mahdollisuuksia koulutus-, nuoriso- ja urheilualoille. Tutkielmani keskipisteenä olivat aikuiskoulutuksen hankkeet, jotka ovat hakeneet rahoitusta Erasmus+ -ohjelmasta ohjelmakaudelle 2014–2020, ja jotka on aloitettu vuosina 2014–2018. Tälle aikavälille osui 23 hanketta, joita arvioin kokonaisuutena voidakseni muodostaa kokonaiskuvan hankkeiden vaikuttavuudesta.

VAIKUTTAVUUS

Suomessa Opetushallitus määrittelee vaikuttavuuden pitkän aikavälin muutokseksi tietyllä alueella tai yhteiskunnassa yleisesti. Vaikutukset taas ovat lyhyemmällä aikavälillä, mahdollisesti jo toiminnan aikana tai heti sen jälkeen, ilmeneviä muutoksia. Hankkeiden vaikuttavuutta voidaan tarkastella myös saavutettujen tavoitteiden ja muiden tulosten kautta.

ARVIOINTI

Vaikuttavuuden arviointi on monisyistä ja omalla tavallaan loppujen lopuksi vain arvioijan oma, mahdollisimman puolueeton, näkemys hankkeen toiminnasta ja sen saavutuksista. Vaikuttavuuden arviointi voi olla monin tavoin haastavampaa, kuin esimerkiksi budjetin tehokkaan hyödyntämisen tarkastelu, koska vastaukset eivät ole yksiselitteisesti ”kyllä” tai ”ei”.

Arvioinnin tulosten tarkastelussa on muistettava, että toteutuneiden tulosten takana voi olla arvioidun toiminnan ohella myös muita tekijöitä. Arviointi on myös muusta tieteellisestä tutkimuksesta poikkeavaa, sillä se arvottaa tutkimuksen kohdetta, mitä perinteisesti pyritään tutkimuksessa välttämään.

Valittu arviointimalli sekä konteksti vaikuttavat vaikuttavuuden määrittelyyn. Hyödynsin arvioinnissa Daniel Stufflebeamin kehittämää CIPP-arviointimallia, joka koostuu kontekstista (Context), panoksesta (Input), prosessista (Process) ja lopputuloksesta (Product). Arviointimalli on viitekehys, jonka avulla voidaan tuottaa arviointitietoa esimerkiksi hankkeista.

ARVIOINNIN TOTEUTUS JA TULOKSET

Tutkielmassani tutkimustehtäväni oli hankkeiden vaikuttavuuden arviointi. Sitä vastaavaksi muotoilin itselleni kolme tutkimuskysymystä:

1. Millaisia vaikutuksia kumppanuushankkeilla on ollut kohderyhmälle ja toteuttajaorganisaatioille?

2. Vastaavatko hankehakemuksissa asetetut tavoitteet loppuraporteissa esitettyjä tuloksia?

3. Millaista vaikuttavuutta hankkeet ovat saaneet aikaan?

Ensimmäinen kysymys pyrki tunnistamaan hankkeiden aikaansaamia pienempiä, lyhyen aikavälin vaikutuksia. Aineiston arvioinnin aikana huomasin, että tietyt vaikutukset toistuivat useammissa hankkeissa. Näitä vaikutuksia olivat: Käsi-/ ohjekirjat hankkeen aiheesta, verkkomateriaali, nettisivut/ some, vieraan kielen käyttö, verkostoituminen, koulutustoiminta, digiosaaminen sekä henkilöstön oppiminen. Useimmin hankkeissa vaikutuksena ilmaistiin erilainen oppiminen joko hankkeen aiheesta tai digi- ja/tai kielitaidon karttuminen.

Toisen kysymyksen kohdalla tarkastelin hankkeiden asettamien tavoitteiden sekä saavutettujen tulosten vastaavuutta. Hankkeiden tavoitteet ja tulokset olivat pitkälti linjassa keskenään, enkä huomannut suuria eroja suunnitelmien ja lopputulosten välillä.

Jokaisen hankkeen suunnitelmissa ilmeni tavoite levittää tietoa ja lähes kaikissa hankkeiden loppuraporteissa tuotiin ilmi, että tietoa ja hankkeen tuotoksia oli levitetty. 

Verkostoitumiseen ja yhteisöllisyyteen liittyviä suunnitelmia löysin 19 hankkeen hankehakemuksista. Vastaavasti loppuraporteissa toiminnasta oli maininta 17 hankkeen osalta.

20 hanketta ilmaisi tavoitteistaan edistää henkilökunnan oppimista hankkeen aikana. 18 hanketta toi esille loppuraporteissaan, että henkilökunnan oppimista oli havaittu. Uskonkin, että ihmisen on erittäin vaikeaa osallistua hankkeiden kaltaiseen toimintaan ja lopuksi todeta, että hän ei ole oppinut mitään tai kehittänyt yhtäkään olemassa olevaa taitoaan

Aineiston perusteella ei voi sanoa täysin varmaksi faktaksi, mitkä kaikki tulokset tai vaikutukset ovat johtaneet laajempaan vaikuttavuuteen. Kolmannen, hankkeiden vaikuttavuutta arvioivan, kysymyksen kohdalla kävin läpi aiemmin havaitsemiani vaikutuksia ja arvioin niiden mahdollista osuutta hankkeiden vaikuttavuudessa. Tiivistin hankkeiden tuottamat vaikutukset kolmeen mahdollisesti vaikuttavuutta tuottaneeseen kategoriaan hankkeissa, jotka olivat tiedon levittäminen, yhteisöllisyys/ verkostoituminen ja henkilökunnan oppiminen.

Arvioni mukaan hankkeet ovat kokonaisuutena saavuttaneet tiedon levittämisen tavoitteita kattavasti ja näin saaneet aikaan vaikuttavuutta käsikirjoilla, muulla verkkomateriaalilla, julkaisuilla sekä verkkosivuilla ja sosiaalisen median sisällöillä.

19 hanketta oli hankehakemuksissaan ilmaissut tavoittelevansa verkostoitumista tai yhteisöllisyyden lisäämistä. Yhteensä 17 hankkeessa oli maininta, että hanke on edistänyt joko organisaatioiden henkilökunnan verkostoitumista ja yhteisöllisyyttä tai hankkeiden koulutuksiin tai työpajoihin osallistuneiden yksilöiden tai yhteisöjen yhteisöllisyyttä tai yksilöiden verkostoitumista ja ystävyyssuhteita. Tavoitteet ja saavutukset ovat olleet yhtenevät hankkeissa ja arvioni mukaan hankkeiden tavoitteet verkostoitumisen ja yhteisöllisyyden osalta on saavutettu hyvin.

Partneriorganisaatioiden henkilöstön osaamisen kehittyminen on merkittävä vaikuttavuuteen johtava tulos hankkeissa. Kouluttajat ovat oppineet lisää opetettavista aiheistaan, mutta etenkin uusista ja innovatiivisista opetusmenetelmistä, joita soveltaa omassa työssään. Pedagogisesti toimiva ja oppijoiden oppimista edistävä koulutus on pitkällä aikavälillä vaikuttavaa toiminta etenkin paikallisella tasolla, mutta voi johtaa vaikuttavuuteen myös valtakunnallisesti, jos heidän osaamisensa leviää myös muille toimijoille ja muihin organisaatioihin.

Oman arvioni mukaan hankkeet ovat olleet kokonaisuutena vaikuttavia. Ne ovat tavoittaneet ihmisiä koulutusten, työpajojen, käsikirjojen, verkossa julkaistun materiaalin, nettisivujen, sosiaalisen median ja tapahtumien kautta. Hankkeet ovat lisänneet yhteisöllisyyttä ja inkluusioita yhteisöissä. Hankkeissa organisaatioiden työntekijät ovat oppineet hankkeen aiheesta sekä pedagogisia ja menetelmällisiä taitoja, jotka kantavat organisaatioiden asiakkaiden elämään koulutusten ja muun toiminnan kautta. Ohjelmakaudella on tuotettu arvioni mukaan vaikuttavuutta, joka on todennäköisesti kantanut organisaatioiden ulkopuolelle ja kestänyt useamman vuoden ajan.