Miten arvioida tuloksia, joita ei voi mitata vain numeroina?

Kun Sitran vaikuttavuusarvioinnin lähestymistapaa määriteltiin vuonna 2016, oli keskeisenä lähtökohtana ymmärrys toimintamme luonteesta – tulevaisuusorientaatiosta, yhteiskunnallista vaikuttavuudesta ja laaja-alaisesta yhteistyöstä.

Arviointimallimme rakennettiin sen ajatuksen ympärille, että systeemiset muutokset, jota toiminnallamme tavoittelemme, syntyvät aina yhteistyössä ja useiden eri tekijöiden yhteisvaikutuksesta. Vahvistaaksemme tätä ajattelua myös omassa toiminnassamme, otimme arvioinnin lähtökohdaksi kaikelle toiminnallemme yhteiset vaikuttavuustavoitteet. Niiden kautta vaikuttavuuttamme arvioidaan läpileikkaavasti, kunkin tavoitteen näkökulmasta vuorollaan. Tämä on edellyttänyt arvioinneilta uudenlaista menetelmällistä otetta ja siirtymää perinteisistä projekti-ja ohjelma-arvioinnista kohti kokonaisvaltaisempaa tarkastelua.

Huomio Sitran rooliin ja merkitykseen

Yksittäisen organisaation vaikuttavuus vaikuttavuus suomalaiseen yhteiskuntaan on harvoin määrämuotoisesti mitattavissa tai indikaattorein todennettavissa. Ei ole olemassa sellaista dataa, johon pohjautuen arviointi voisi uskottavasti todeta, että Sitra hidasti ilmastonmuutosta Suomessa x %, tai että lisäsimme x ihmisen kokonaisvaltaista hyvinvointia y:n verran. Voimme mitata panoksia ja tuotoksia hyvin tarkasti sekä arvioida konkreettisia määrällisiä ja laadullisia vaikutuksia (joskin huomioiden, että nekin ovat usein monen tekijän tulosta).  Mutta miten saada otetta vaikuttavuudesta, joka näkyy pitkäkestoisina seurauksina ja monimutkaisina yhteiskunnallisina muutoksina?

Arvioinnin lähestymistavassamme keskeinen kysymys kohdistuu Sitran rooliin ja merkitykseen. Arviointijargonissa tästä puhutaan kontribuutiona. Sen todentamiseksi arvioinneissamme on analysoitu, miten muutokset ovat syntyneet ja mikä on ollut Sitran rooli ja merkitys vaikutusten syntymisessä. Olennaista on kysymys, mitä todennäköisesti olisi tapahtunut ilman Sitraa.

Mitä monimutkaisemmista ilmiöistä arvioinnissa on kyse, sitä tärkeämpää on tarkastella miten ja miksi -kysymyksiä osana vaikuttavuutta. Niihin vastaamiseksi tarvitaan laaja-alaista ymmärrystä toimintaympäristöstä, eri tekijöiden vuorovaikutuksesta ja keskinäisistä suhteista. Kontekstin merkitystä korostetaan nyt myös kansainvälisissä keskusteluissa, joissa on herätty pohtimaan arvioinnin suhdetta kompleksiseen maailmaan.

Sitran vaikuttavuusarvioinneissa analysoidaan vaikuttavuustavoitteen alueella tapahtunutta kehitystä niin Suomessa kuin kansainvälisesti. Tämä on välttämättömänä Sitran toiminnan ja valintojen merkityksen arvioimisen kannalta – syntyyhän toimintamme merkitys ja arvo suhteessa muihin. Tarvitsemme kokonaisvaltaista ymmärrystä niin nykytilasta ja siihen johtaneista poluista (ja tietysti Sitran ja muiden toimijoiden ja tekijöiden merkityksestä niihin), myös tulevaisuuden kehitystarpeista. Arvioinnin lähestymistavan ja käytettyjen menetelmien kannalta ohjaavaa on lopulta myös se, millaista tietoa pidetään luotettavana ja hyödyllisenä. Arviointiemme tarkoituksena on tuottaa paitsi oppeja jo tehdystä työstä, myös eteenpäin katsovaa ja tulevaisuustyötämme kehittävää tietoa.

Sitran kolmas vaikuttavuusarviointi julkaistiin tänään. Tästä pääset tutustumaan siihen.