sisällön esikatselussa tai sisältösivulla.
Artikkeli on julkaistu alun perin Kanava-lehdessä 7/2019.
Legitimoinnista eli olemassaolon oikeuttamisesta kumpuavat arviointikäytännöt ovat vanhanaikaisia eivätkä tuota riittävästi tietoa yhä monimutkaistuvassa maailmassa. Parempien päätösten tekemiseksi tarvitaankin laaja-alaisempaa tietopohjaa ja kokonaisvaltaisempaa ymmärrystä yksittäisten toimijoiden ja eri tekijöiden roolista osana isompaa yhteiskunnallista kokonaisuutta ja erityisesti yhteispelin merkityksestä muutosten aikaansaamisessa.
Vaikuttavuuden vaade näkyy julkisella sektorilla ja lisääntyvässä määrin myös järjestöissä ja säätiöissä sekä tieteen ja tutkimuksen johtamisessa ja toiminnan ohjauksessa. Viime vuosina yhteiskunnallinen vaikuttavuus on ollut kasvava trendi myös yksityisellä sektorilla, muun muassa globaalien kestävän kehityksen tavoitteiden (Sustainable Development Goals, SDG) myötä.
Perinteisesti vaikuttavuusarvioinnilla on haluttu vastata siihen, käytetäänkö julkisia varoja tarkoituksenmukaisesti ja tehdäänkö asiat oikein. Monimutkaistuvassa yhteiskunnassa ja viheliäisiä yhteiskunnallisia ongelmia, kuten ilmastonmuutosta ja terveydenhuollon palvelujen saatavuutta, ratkaistaessa tämä ei kuitenkaan riitä. Panos-tuotos-tarkastelu on tärkeää jo vastuullisuuden nimissä, mutta se ei kerro vaikuttavuudesta. Vaikuttavuuden kuvaamiseksi tarvitaan lähestymistapoja, jotka tekevät näkyväksi myös monimutkaiset vaikutuspolut ja sen, mitä lyhyen ja pitkän aikavälin vaikutuksia eri toimijoiden yhteispelillä saadaan aikaan.
Vaikuttavuusajattelun vahvistuminen johtamisessa ja toiminnan ohjaamisessa on erittäin tervetullutta. Vaikuttavuus on asiana haastava ja siihen liittyvä keskustelu on monimerkityksellistä. Siksi on hyvä tarkentaa, että vaikuttavuus toiminnan lähtökohtana ja painopisteenä suuntaa huomion pitkän aikavälin tavoitteisiin. Vaikuttavuudessa on kyse arvoketjun loppupäästä, toiminnan ja toimijoiden tuottamista muutoksista, lisäarvosta ja yhteiskunnallisesta hyödystä. Vaikuttavuudesta ja vaikutuksista puhutaan sekaisin, mutta molemmilla käsitteillä on oma paikkansa: pitkän tähtäimen päämääriä, vaikuttavuutta, ei saavuta ilman konkreettisia tuloksia ja vaikutuksia.
Vaikuttavuuteen liittyy todentamisen vaade, ja sen osoittamisessa organisaatiot ovat usein pulassa. Arviointitoiminta on kehittynyt osana tilivelvollisuusraportointia ja siihen liittyvää mittaamista. Siksi siitä on tullut toimijoiden ja toimenpiteiden olemassaolon oikeuttamisen väline. Arvioinneilla pyritään yhä vakuuttamaan, että julkisia varoja käytetään tarkoituksenmukaisesti ja että kansalaiset saavat vastinetta verorahoilleen. Usein se tehdään tuottavuutta ja tehokkuutta kuvaavilla mittareilla.
Jos mittaamme vain panostuksia ja tuotoksia, emme saa riittävästi tietoa siitä, miten onnistumme kehittämään vaikuttavia ratkaisuja tai tuuppaamaan isoja yhteiskunnallisia muutoksia liikkeelle.
Julkisten varojen käytön seuraaminen on erittäin tärkeää, mutta kun halutaan tietoa vaikuttavuudesta, perinteiset arviointikäytännöt ovat riittämättömiä. Tyypillisesti mittaaminen keskittyy panoksiin ja korkeintaan tuotoksiin todellisten vaikutusten ja vaikuttavuuden kustannuksella. Jos mittaamme vain panostuksia ja tuotoksia, emme saa riittävästi tietoa siitä, miten onnistumme kehittämään vaikuttavia ratkaisuja tai tuuppaamaan isoja yhteiskunnallisia muutoksia liikkeelle. Monimutkaisten ratkaisujen levittäminen eroaa yksinkertaisten innovaatioiden levittämisestä siinä, että tarvitaan tietoa myös olosuhdetekijöistä. Minkä edellytysten tulee toteutua, jotta innovatiiviset ratkaisut toimivat myös uudessa ympäristössä?
Kun puhutaan isojen, kansallisesti tai jopa globaalisti merkittävien haasteiden ratkaisemisesta, on tosiasia, että yksittäiset toimijat, toimenpiteet tai projektit eivät saa aikaan muutoksia maailmassa. Myöskään vanhat tehokkuuden ja tuottavuuden mittaamisen tavat eivät kuvaa toimijoiden tai toimenpiteiden merkitystä nykypäivän ilmiöitä ja monimutkaisia, yhteenkietoutuneita niin sanottuja ilkeitä ongelmia ratkottaessa. Maailman muuttuessa organisaatioilta vaaditaan uudenlaista kyvykkyyttä vaikuttavuuden kuvaamiseksi ja toiminnan yhteiskunnallisen merkityksen ja arvon osoittamiseksi osana ympäröivää yhteiskuntaa.
Jotta vaikuttavuusajattelu ja arviointi tukevat johtamista ja toiminnan kehittämistä, pitää panostaa neljään asiaan: 1) katse eteenpäin sekä huomio suuntaan ja vauhtiin, 2) kytkentä isoon kuvaan, 3) fiksummat mittarit ja monenlaiset menetelmät, 4) laaja-alaiseen tietopohjaan perustuva päätöksenteko.
1. Katse eteenpäin ja huomio suuntaan ja vauhtiin
Vaikuttavuusajattelu tarkoittaa katseen suuntaamista pitkälle tulevaisuuteen. Monimutkaisten ja kompleksisten ongelmien ratkaisemiseksi tarvitaan kunnianhimoista tavoitetilaa, joka voi olla tarkoin mitattavissa (esim. 75%:n työllisyysaste, 0 syrjäytynyttä nuorta). Rinnalla on kuitenkin seurattava, millä ehdoin tavoitteet toteutuvat (esim. työllisyyden nosto tehdään hiilineutraalisti, nuorten osallisuus ja hyvinvointi aidosti lisääntyvät). Vaikuttavuuden arviointi on ollut tyypillisesti taaksepäin katsovaa ja painottunut seuraamaan sitä, miten toiminnalle ennalta asetetut tavoitteet ja mittarit on saavutettu.
Isoja ongelmia ratkaistaessa saatuja tuloksia on arvioitava suhteessa siihen, onko valittu suunta oikea ja vauhti sopiva sekä missä määrin toiminta vastaa muuttuvan maailman vaatimuksiin. Tarvitaan ymmärrystä niin kutsutusta muutosteoriasta, joka tekee näkyväksi ja testaa oletuksia siitä, miten ja millä aikajänteellä vaikutukset syntyvät.
Ajatus tavoitteiden (kvantitatiivisesta) mitattavuudesta on syvälle juurtunut. Mutta mitä kauemmas visio ulottuu ja mitä dynaamisemmasta ilmiöstä on kyse, sitä sumeampi tavoite voi olla. Vaikka tietäisimme tarkasti, millaista tulevaisuutta tavoittelemme, emme välttämättä voi etukäteen yksityiskohtaisesti määritellä, millaiset ratkaisut siihen vievät tai miten ne käytännössä toteutuvat.
Systeemiset muutokset tapahtuvat ympäristössä, jossa maali voi liikkua matkan varrella, pelikentän toimijoista puhumattakaan, ja kun toiminnan konteksti muuttuu, on myös tavoitteita ja toimenpiteitä syytä tarkistaa. Keskinäisriippuvuuksien ja monimutkaisten syy-seuraussuhteiden vuoksi vaikuttavuuden tarkastelussa on huomioitava myös ei-toivotut ja ennakoimattomat vaikutukset.
Systeemisille ja kompleksisille ongelmille on tyypillistä, että ymmärrys niiden luonteesta lisääntyy niitä ratkaistaessa. Siksi tarvitaan kokeilevaa kehittämistä ja sitä systemaattisesti tukevaa arviointia, joka lisää ymmärrystä onnistumisedellytyksistä ja auttaa tarvittaessa muuttamaan suuntaa.
2. Toimenpiteiden merkitystä pitää arvioida suhteessa isoon kuvaan
Yksittäisten toimenpiteiden, ohjelmien ja organisaatioiden toimintaan kohdistuvat arvioinnit eivät riittävästi tarkastele vaikutuksia isojen järjestelmätason muutosten kannalta. Ilkeät ongelmat ovat systeemisiä, eli niiden ratkaisemiseksi tarvitaan rakenteiden, toimintakulttuurin ja niiden välisen vuorovaikutuksen samanaikaista muutosta.
”Yksittäisten temppujen” eli panosten, tuotosten ja tulosten seuraamisen lisäksi tarvitaan toimenpiteiden merkityksen arviointia suhteessa isoon kuvaan, muihin toimijoihin ja niiden tekemisiin. Yhteiskunnallista vaikuttavuutta arvioitaessa onkin olennaisempaa kysyä, tehdäänkö oikeita asioita oikealla tavalla kuin keskittyä pelkästään asioiden oikeellisuuden todistamiseen ja tehostamiseen.
Järjestelmätason vaikutusten tarkastelussa tulee huomioida asioiden keskinäisriippuvuudet, toisin sanoen se, miten hyvin toimijat pelaavat yhteen yhteisten tavoitteiden saavuttamiseksi.
Järjestelmätason vaikutusten tarkastelussa tulee huomioida asioiden keskinäisriippuvuudet.
Vaikuttavuuden systeemistä luonnetta havainnollistaa esimerkki ennaltaehkäisevistä sosiaali- ja terveydenhuollon palveluista. Tulevaisuudessa kansalaisille suunnatuista palveluista tulee yhä monimutkaisempia systeemejä, jotka rakentuvat yhdistelmästä uusia digitaalisia terveysteknologioita, niihin kytkeytyneitä palveluita ja monien eri inhimillisten ja materiaalisten tekijöiden välistä vuorovaikutusta. Yksi muutosta kuvaava trendi on, että uudet terveydenhuoltopalvelut kehittyvät enenevässä määrin kokonaisratkaisuina, jotka edistävät kansalaisten aktiivista osallistumista ja vastuuta.
Uudenlaiset palvelut, liiketoimintamallit ja erilaisten toimijoiden välinen integraatio ovat tulevaisuuden terveydenhuoltojärjestelmissä keskeisiä. Tulevaisuuden ratkaisuja kehitettäessäei pärjätä pelkällä insinööritaidolla, eikä niitä ratkaista yksin tutkimuksella tai yksittäisten yritysten liiketoimintakärjellä.
Tarvitaan teknologioiden ja palvelujen yhdistämiseen pohjautuviaratkaisuja ja ennen kaikkea yritysten, julkisen ja kolmannen sektorin sekä tutkijoiden ja kansalaisten yhteistyötä. Lisäksi ratkaisujen kehittäminen, käyttöönotto ja levittäminen yhteiskunnallisiksi uudistuksiksi edellyttävät päätöksentekoympäristön ja erilaisten liiketoimintavaihtoehtojen tuntemista laajasti. Yhteiskunnallisen vaikuttavuuden arvioinnin tulee tapahtua suhteessa koko tähän järjestelmään ja kansalaisten hyvinvointiin.
3. Tarvitaan fiksummat mittarit ja monenlaisia menetelmiä
Vaikuttavuuden arviointia ei tule sitoa tiettyihin menetelmiin. Arvioinnissa menetelmien hyvyys ja luotettavuus riippuvat arvioitavan toiminnan luonteesta ja tavoitteesta. Ymmärrys yhteiskunnallisten ongelmien viheliäisestä luonteesta on lisääntynyt johtamispuheessa kiitettävästi muun muassa Dave Snowdenin kehittämän Cynefin-viitekehyksen myötä. Se on auttanut ymmärtämään yksinkertaisten, monimutkaisten, kompleksisten, kaoottisten ja epäjärjestyksessä olevien tilanteiden piirteitä ja tunnistamaan nämä hyvin erilaiset päätöksentekotilanteet. Myös arvioinnin ammattilaisten keskuudessa kompleksisuus- ja systeemiajattelusta on tulossa vähitellen valtavirtaa.
Kun puhutaan vaikuttavuuden arvioinnista ja mittaamisesta, unohdetaan silti yhä helposti toiminnan luonteen asettamat reunaehdot. Toivotaan, että kun vain löydetään oikeanlaiset menetelmät, ilmiöt voidaan kesyttää ja saada täydellisesti hallintaan.
Mittaamiseen keskittyvä vaikuttavuuspuhe voi olla yksinkertaistavaa, eikä se huomioi vaikutusten syntymistä monimutkaisten ja pitkäjänteisten prosessien tuloksena. Siksi laaja-alaisen ja kokonaisvaltaisen ymmärryksen tuottaminen edellyttää monin eri menetelmin tuotettua tietoa ja arvioivaa ajattelua.
4. Päätöksenteon pitää perustua laaja-alaiseen tietopohjaan
Jotta ratkaisuja monimutkaisiin ongelmiin voidaan vauhdittaa, on myös kehittämistä tukevan päätöksenteon perustuttava nykyistä laaja-alaisempaan ja moniulotteisempaan tietopohjaan. Nyt päätöksenteko perustuu lähes yksinomaan teknis-taloudelliseen tietoon ja mittareihin, jotka eivät riitä kuvaamaan yhteiskunnan muutosta ja kasvua ja niitä vauhdittavien innovaatioiden merkitystä ja vaikuttavuutta.
Pahimmillaan kapea-alaiset mittarit johtavat epätarkkoihin tai jopa vääriin johtopäätöksiin. Helposti todennettavat, kvantifioitavissa olevat toimet ovat usein myös houkuttelevampia kuin vaikeammin mitattavat, aineettomaan ja laadulliseen kehitykseen tähtäävät toimet. Vaikuttavuudessa on lopulta kyse siitä, mikä on arvokasta ja miten se voidaan tavoittaa.
Vaikuttavuudessa on lopulta kyse siitä, mikä on arvokasta ja miten se voidaan tavoittaa.
Yhteiskunnan palveluvaltaistuminen on oiva esimerkiksi haasteista, joihin vaikuttavuuden arvioinnin on vastattava. Palvelualat muodostavat kaksi kolmasosaa kehittyneiden maiden elinkeinorakenteesta. Digitalisaation myötä palvelujen rooli korostuu entisestään osana eri teknologioiden kehittämistä ja käyttöä sekä kokonaisten järjestelmien uudistumista. Palveluissa arvioinnin haaste liittyy erityisesti indikaattoreihin, jotka on viritetty tunnistamaan innovaatioiden arvo yksinomaan teknis-taloudellisesta näkökulmasta. Mittarit eivät riitä kuvaamaan yhteiskunnan muutosta ja kasvua, eivätkä ne tee näkyväksi ratkaisuihin liittyvää aineetonta tai sosiaalista arvoa. Siksi koko järjestelmän uudistamista koskevien ratkaisujen merkitys ja asiakkaiden saama hyöty jäävät näkymättömiksi.
Vastaavaa keskustelua tarkoituksenmukaisten toimien ja mittarien suhteesta on käyty hiljattain esimerkiksi työllisyystoimista. Ajanmukaisen ja relevantin päätöksenteon tietopohjan takaamiseksi tulisi arviointi- ja seurantakäytännöt päivittää nykyistä moniulotteisemmiksi, reaaliaikaisemmiksi ja joustavimmiksi. Tieto tulee virittää havaitsemaan uudistusten systeeminen luonne: isot järjestelmätason muutokset syntyvät yhdistelmästä erilaisia innovaatioita, monien eri toimijoiden yhteisvaikutuksesta ja monimutkaisten, pitkäjänteisten prosessien tuloksena. Tarvitsemme kokonaisvaltaista ymmärrystä niin nykytilasta kuin tavoitetilasta sekä siihen johtavista poluista.
Tuotetun tiedon tulisi olla jatkuvaluonteista, kehityskulkuja ennakoivaa ja kehittämistä tukevaa, ja se tulisi kytkeä entistä tiiviimmäksi osaksi johtamista ja päätöksentekoa. Tämä lisäisi toimijoiden herkkyyttä ja ennakointikykyä jatkuvasti muuttuvassa toimintaympäristössä ja tukisi sellaisten ratkaisujen kehittämistä, joilla on todellista vaikutusta kansalaisten elämään.
Suosittelemme
Tästä eteenpäin.