Sitran arvioinnin lähestymistapa 2025

1. Johdanto

Sitra uudisti strategiansa kesäkuussa 2024. Strategian mukaan Sitra on tulevaisuustalo, joka auttaa Suomea uudistumaan ennakoimalla tulevaa ja etsimällä yhdessä kumppaneiden kanssa ratkaisuja huomisen haasteisiin. Sitran perustehtävänä on edistää Suomen hyvinvointia ja vauhdittaa talouden kasvua luonnon kantokyvyn rajoissa.

Strategiassa linjatun uuden toimintamallin mukaisesti Sitra tunnistaa ja ennakoi yhteiskunnallisia haasteita, kehittää niihin ratkaisuja ja vie ratkaisuja käytäntöön yhteiskunnan hyödyksi. Eduskunnan alaisena rahastona työmme rahoitetaan valtiolta aikoinaan saadun peruspääoman sijoitustuotoilla.

Sitran lakisääteisenä tehtävänä on edistää Suomen vakaata ja tasapainoista kehitystä, talouden määrällistä ja laadullista kasvua sekä kansainvälistä kilpailukykyä ja yhteistyötä. Työskentelemme vastuullisesti ja riippumattomasti Suomen hyväksi. Työmme pyrkii olemaan kansallisesti ja kansainvälisesti vaikuttavaa, myös arviointityön osalta.

Sitran arviointitoiminnalla on vahvat perinteet. Vanhimmat Sitran ulkoiset, riippumattomat arvioinnit löytyvät 1970-luvun alusta. Sitran arviointitoiminnan kehittäminen on vuosikymmenien varrella seurannut tiiviisti kotimaista ja kansainvälistä arviointikehitystä ja keskustelua. Viime aikoina Sitran ennakoiva arviointi on ollut kansainvälisesti uraauurtavaa.

Sitran arvioinnin tehtävänä on ollut, ja on edelleen, tuottaa luotettavaa, laadukasta ja riippumatonta tietoa tuloksista niin hallintoelimille kuin laajemmalle yleisölle, ja tukea Sitran strategista johtamista, toiminnan kehittämistä ja oppimista.

2. Sitran arviointitoiminnan lähtökohdat

Arvioinnin tulee olla muutosvoimaista

Muutosvoimaisella arvioinnilla tarkoitetaan arvioinnin potentiaalia ymmärtää ja kirittää muutosta ja muutoksen tekemistä.  Sitran rooli yhteiskunnallisen muutoksen vauhdittajana edellyttää myös arvioinnilta muutosvoimaisuutta (kts. esim. IDEAS, 2021).

Sitran vaikuttavuutta tulee enenevissä määrin arvioida muutoksen tasojen ja Sitran myötävaikuttamien vaikutusten kautta. Kompleksisessa maailmassa muutosvoimaisuus haastaa perinteistä taaksepäin katsovaa arviointia. Tulevaisuuden ongelmia ratkaistaan yhä harvemmin vain menneeseen tietoon ja oppeihin nojaamalla ja Sitran arviointi tähtääkin tasapainoon taaksepäin katsovan ja eteenpäin katsovan arvioinnin suhteen.  Lisäksi toimintaympäristön kompleksisuus merkitsee toiminnan ja arvioinnin suunnittelun (onnistumisen mittaaminen) kannalta siirtymistä lineaarisista muutosteorioista ja tulosmalleista dynaamisempiin teorioihin systeemisistä muutoksista (transformaatiosta). Systeemiset muutokset sisältävät useampia muutosteorioita, eri toimijoita, eri muutoksen tasoilla.

Myös arviointien tulisi haasteiden monimutkaistuessa olla yhä enemmän yhteistoiminnallisia, ja niihin tulisi osallistua eri alojen (julkinen, yksityinen, kansalaisyhteiskunta) ja tieteenalojen edustajia. Tämä lähestymistapa auttaa saamaan kokonaisvaltaisemman ymmärryksen toimista ja niiden tuloksista. Koska Sitra pyrkii toiminnassaan myös yhteiskehittämään tavoitteita kumppaneidensa kanssa, on arvioinnissakin pyrittävä yhteistoiminnallisuuteen.

Kuva 1. Sitran arvioinnin muutosvoimaisuuden tekijät

Tulevaisuusfokus: Arvioinnin on huomioitava toimintaympäristön kehityskulut ja muutosten systeeminen ja keskinäisriippuvainen luonne, jotta se voi tuottaa päätöksenteossa ja toiminnan ohjaamisessa hyödynnettävää tietoa (vrt. utilization-focused evaluation). Sitran arviointityössä ennakointitietoa ja tulevaisuusorientaatiota on tarkoituksenmukaista käyttää aiempaa tietoisemmin toimintaympäristön taustoitukseen sekä lähtötilakartoitukseen, muutostarinan kehittämiseen, arviointikehyksiin ja etenkin arviointien suosituksiin.

Sitra on ollut jo pitkään kansainvälisestikin merkittävä tulevaisuustyön arvioinnin suunnannäyttäjä. Osallistumme kansainväliseen arviointikehitykseen ja -keskusteluun (mm. Association of Professional Futurists Evaluation Task Force/Steering Committee 2021–2025) ja integroimme tulevaisuusajattelua ja ennakointia yhä tiiviimmin osaksi muutosvoimaista projektisuunnittelua, toiminnan seurantaa, arviointia sekä institutionaalisia oppimisprosesseja. Viimeisten vuosien aika Sitra on toteuttanut useampia ulkoisia arviointeja ennakointimenetelmiä hyödyntäen.

Oppiminen: Sitran uuden strategian mukaisesti toimintaa on tarkoitus jatkuvasti sopeuttaa toimintaympäristön muutoksiin, ennakoitaviin ja ennakoimattomiin riskeihin ja haasteisiin vaikutusten ja vaikuttavuuden optimoimiseksi. Tähän liittyy iteratiivinen, oppimiseen perustuva lähestymistapa arviointiin, jossa jatkuvat palautesilmukat tukevat päätöksentekoa koko projektin elinkaaren ajan. Vertikaalinen ja horisontaalisen oppiminen vahvistaa Sitraa instituutiona pysymään reagoivana ja joustavana nopeasti muuttuvissa ympäristöissä.

Strategian mukaisesti Sitra edesauttaa Suomen talouskasvun ja hyvinvoinnin kasvua innovaatiokykyä kehittämällä ja tuottamalla merkittäviä yhteiskunnallisia innovaatioita. Innovaatioihin ja kokeiluihin kuuluu elimellisesti epäonnistumiset ja niistä oppiminen. Toiminnan arvioinnissa tullaan analysoimaan systemaattisemmin, mikä ei ole toiminut, miksi ja miten toimimalla eri tavalla tulevaisuudessa vaikutuksia voidaan tuottaa tehokkaammin. Tähän liittyy myös arviointikulttuurin kehittäminen, jossa epäonnistumisista oppimista arvostetaan toimintamallin osana.

Tilivelvollisuus: Sitran arvioinnin vastuullisuus ja tilivelvollisuus perustuvat avoimeen tulosraportointiin sidosryhmille ja hallintoelimille, mukaan lukien sekä onnistumiset että epäonnistumiset. Arvioinneissa hyödynnetään kolmansien osapuolten suorittamia tarkastuksia ja riippumattomia arvioitsijoita sisäisen seurantadatan keräämisen tueksi ja täydentämiseksi.

Objectives and Key Results (OKR), suomeksi tavoitteet ja avaintulokset, on vakiintunut tavoitejohtamisen menetelmä, johon myös Sitrassa on siirrytty uudessa toimintamallissa (ks. Kuva 2). OKR tukee vastuullisuutta asettamalla selkeitä, mitattavissa olevia tavoitteita ja varmistamalla tiheän seurannan avulla tuotettavan arviointidatan. OKR-menetelmä yhdistää tiimien työtehtävät organisaation prioriteetteihin, luoden avoimen ja yhdenmukaisen ympäristön, jossa vastuullisuus ja tilivelvollisuus ovat keskeisellä sijalla.

Tulosvastuullinen tavoitteenasetanta tukee vaikuttavuutta

Sitran strategia ja sitä tukeva IOOI-malli ohjaavat arviointikehyksiä ja -kysymyksiä. Toiminnan vaikuttavuuden arviointi kohdistuu Sitra-tasolle kokonaisarviointien muodossa, mutta vaikutus- ja tulostasojen arviointeja toteutetaan (ks. kuva 2), mikäli se nähdään tarkoituksenmukaiseksi.

Vaikuttavuusarvioinnin (impact evaluation) lähtökohtana ovat Sitran vaikuttavuustavoitteet, jotka vuonna 2024 voimaan astuneessa strategiassa ovat kyvykkyyslähtöisiä. Tällä tarkoitamme tavoitteellista toimintaa, joka tähtää yhteiskunnallisella tasolla innovaatio- ja ennakointikyvykkyyden kehittämiseen. Muutokset ovat luonteeltaan systeemisiä ja syntyvät pitkällä aikajänteellä, tyypillisesti useiden eri toimijoiden ja toimenpiteiden yhteisvaikutuksella. Sitran yhteiskunnallisen lisäarvon ja vaikuttavuuden arvioinnin kannalta on oleellista ymmärtää ja todentaa, millaisten strategisten valintojen kautta Sitra on edistänyt yhteiskunnallista muutosta ja millaista näyttöä on Sitran myötävaikutuksista ja merkityksestä (kontribuutio) muutoksen isoon kuvaan pidemmällä aikavälillä.

Vaikutusten arviointi (outcome evaluation) keskittyy siihen, millaisia vaikutuksia toiminnalla on saatu aikaan, etenkin ohjelmatoiminnassa tehtävän skaalauksen avulla. Millaisia ei-tavoiteltuja, positiivisia tai negatiivisia vaikutuksia on syntynyt? Nämä kysymyksenasettelut osaltaan vastaavat tilivelvollisuuden ja tulosvastuullisuuden vaatimuksiin.

Kuva 2. IOOI-malli ja tavoitteet vuoden 2024 strategian pohjalta

Vaikuttavuusmallin tueksi otetaan vuosina 2024 ja 2025 asteittain käyttöön OKR-ajatteluun pohjautuvan toiminnan suunnittelun, tavoitteenasetannan ja seurannan työvälineet. Vaikuttavuusajattelun, tulosohjauksen ja arvioinnin tasojen keskinäinen suhde on esitetty yllä olevassa kuvassa 2. OKR -menetelmä on otettu työkaluksi vaikuttavuusajattelun rinnalle, mikä helpottaa tavoitteiden saavuttamisen todentamista konkreettisen tavoiteasetannan kautta.

3. Sitran arviointia ohjaavia periaatteita

Sitran arvioinnin normit ja periaatteet nojaavat kansainvälisesti sovittuihin (esim. OECD, UNEG, kv. arviointiyhdistykset) hyviin arviointikäytänteisiin (eettiset normit, periaatteet, laatustandardit). Sitran tulevaisuusorientaatio ja kokeilutoiminta edellyttävät luovuutta ja joustavuutta periaatteiden soveltamisessa, luotettavuudesta, hyödynnettävyydestä ja arvioijien integriteetistä tinkimättä. Lisäksi Sitran arviointia ohjaavat:

• Vaikuttavuuden aikajänne ja arvioinnin oikea-aikaisuus. Sitran toiminnassa pyritään pitkän aikavälin yhteiskunnalliseen muutokseen, mutta uuden strategian mukaisesti toiminnan- ja toimintaympäristön aikajännettä tarkastellaan myös eri aikahorisonteilla. Jotta organisaation toiminnan relevanssia voidaan tarkastella ja validoida, tuloksia on voitava arvioida myös nykyhetkessä, koska syvien yhteiskunnallisten muutosten validoiminen ja Sitran työn kontribuution osoittaminen on haasteellista. Aikajänne, jolla vaikutukset ja vaikuttavuus syntyvät, tulee huomioida sekä muutoksen kypsyystasojen tunnistamisen että arvioinnin oikea-aikaisuuden näkökulmasta.
• Avoimuus ja läpinäkyvyys. Julkisena organisaationa Sitra on jo lähtökohtaisesti sitoutunut arviointimetodien ja -tulosten laajaan avoimuuteen ja läpinäkyvyyteen, myös jakamiseen ja julkaisemiseen, kuitenkin eettisiä periaatteita noudattaen. Sitra edistää toiminnallaan suomalaisen arviointikentän ja -toimintakulttuurin kehittymistä sekä tieteen ja tutkimusdatan avoimuutta ja siihen liittyviä hyviä käytänteitä.
• Menetelmällinen tarkoituksenmukaisuus ja ennakoinnin arvioinnin menetelmien kehittäminen. Arvioinnissa on hyödynnettävä tarkoituksenmukaisia ja eteenpäin katsovia menetelmiä, joiden avulla arviointikysymyksiin voidaan vastata luotettavalla tavalla (rigour). Arviointilähestymistavan ja -metodien on oltava riittävän joustavia, jotta ne vastaavat arvioitavan toiminnan ja toimintaympäristön muutoksiin.  Metodologiset innovaatiot arviointitarpeisiin (ennakoinnin arviointi ja ennakoiva arviointi) ja kustannustehokkuuteen vastaamiseksi (esim. tietosuojaturvallisten tekoälyavusteisten data-analyysien käyttö) kuuluvat myös Sitran työhön.
• Arvioitavuus. Arvioitavuudella viitataan siihen, miten hyvin arvioinnin kohteena olevaa toimintaa tai projektia voidaan analysoida ja mitata. Arvioitavuus edellyttää systemaattista tietopohjaa ja seurantadataa projektien koko elinkaaresta sekä selkeitä arviointikäytäntöjä. Arvioitavuuteen liittyy keskeisesti myös itsearviointivälineiden sekä arvioivan- ja tulosvastuullisen arviointikulttuurin kehittäminen.

4. Strategiakauden mukaiset arvioinnin kohteet

Vaikutusten skaalautumisen ja skaalauspotentiaalin arviointi

Arviointi kohdistuu projektien ja ohjelmien kumppanien kanssa yhteistyössä saavuttamiin muutoksiin ja vaikutuksiin skaalaustoiminnan avulla. Skaalautumisella voidaan tarkoittaa sekä horisontaalista (monistaminen, levittäminen jne.) että vertikaalista (muutoksen syvyys ja laatu jne.) skaalautumista.

Innovaatiotoiminnassa uusien ideoiden kokeilun lisäksi arvioidaan myös niiden skaalautumispotentiaalia. Tähän sisältyy sen arviointi, voidaanko innovaatiota mukauttaa ja laajentaa eri yhteyksiin, alueille tai aloille.  Skaalautuvuutta tarkastellaan kriittisenä menestyksen mittarina innovatiivisille kokeiluille. Skaalautuvuuden arviointi voi olla sisäistä arviointia, tai tarvittaessa siihen voidaan käyttää myös ulkoista arvioivaa asiantuntijanäkemystä.

Kyvykkyyksien kehittämisen arviointi

Sitran 2024 strategiassa keskiössä on mission mukaisesti yhteiskunnan muutos- ja uudistumiskyvyn vahvistaminen. Kyvykkyyslähtöisellä strategialla on kaksi vaikuttavuustavoitetta:

• Vahvistamme tulevaisuusajattelua yhteiskunnassa ja kykyä ennakointiin päätöksenteossa.
• Tuotamme merkittäviä yhteiskunnallisia innovaatioita ja vahvistamme Suomen innovaatiokykyä.

Vaikuttavuustavoitteissa onnistumisen todentaminen arvioinnin ja seurantatiedon avulla ohjaa Sitran strategiakauden arviointisuunnitelmaa. Vaikuttavuustavoitteiden keskinäinen vuorovaikutus tullaan myös huomioimaan arviointisuunnitelmaa laadittaessa. Ennakointikyvyllä on keskeinen rooli julkisen sektorin ja Sitran strategisten kumppanien innovaatiovalmiuksien- ja kyvykkyyksien kehittämisessä ja ylläpitämisessä. Kyvykkyyksien kehittymisen mittaaminen on tärkeä, joskin metodisesti haastava osa Sitran tulevaa arviointityötä.

Tulosten saavuttaminen edellyttää Sitran oman dynaamisen kyvykkyyden ylläpitämistä ja uudistumiskyvyn vahvistamista, joita seurataan koko taloa läpileikkaavien tavoitteiden kautta.

Edellä esitetyn mukaisesti arvioinnin kohteena on siten haettujen vaikutusten skaalautuminen, Suomen julkishallinnon/strategisten toimijoiden ja yhteisöjen ennakointi- ja innovaatiokyvykkyys, kansalaisten kyvykkyys tulevaisuusajatteluun sekä Sitran oma organisatorinen/dynaaminen kyvykkyys.

Lähteet

Lynn, J., Vataja, K., & Thompson Coon, R. (2024). ”Chapter 33: Bringing a futures mindset to evaluation”. In Research Handbook on Program Evaluation. Cheltenham, UK: Edward Elgar Publishing. https://doi.org/10.4337/9781803928289.00043

OECD/DAC Network on Development Evaluation. 2019. Better Criteria for Better Evaluation. Revised Evaluation Criteria Definitions and Principles for Use. (pdf)

Patton, Michael Quinn. 2020. Evaluation Criteria for Evaluating Transformation: Implications for the Coronavirus Pandemic and the Global Climate Emergency. American Journal of Evaluation, 42 (1), 53–89.

Thompson Coon, R., Vataja, K., & Parkkonen, P. (2024). Fusing foresight and futures thinking for a new transformative evaluation paradigm. New Directions for Evaluation, 2024(182), 91–101.

UNEG. 2016. Norms and Standards for Evaluation. (verkkosivu)

Van den Berg, Rob D., Magro, Cristina & Adrien, Marie-Hélène (eds.). 2021. Transformational Evaluation for the Global Crises of Our Times. IDEAS, Exeter.

VM. 2019. Parlamentaarisen Sitra-työryhmän loppuraportti. Valtiovarainministeriön julkaisuja 2019:29. (pdf)

Liite 1. Sitran arviointitoiminnan kehitys ja muuttuva toimintaympäristö

Sitran arviointikokonaisuutta on toteutettu ja kehitetty Sitran perustamisesta lähtien. Vuoden 2016 jälkeen Sitra siirtyi kohti systemaattisempaa ulkoista ja riippumatonta vaikuttavuusarviointia.

Ennen vuotta 2016 arvioinnin pääpaino oli ohjelma- ja projektiarvioinnissa, säännöllisissä kokonaisarvioinneissa (2002; 2011) sekä sisäisessä tarkastuksessa ja itsearvioinnissa. Vuonna 2016 hyväksyttiin lähestymistapa yhteiskunnallisen vaikuttavuuden arviointiin, vastineeksi laajenevalle keskustelulle vaikuttavuuden mittaamisen tärkeydestä, julkisten organisaatioiden tilivelvollisuudesta sekä päätöksenteon näyttöperustaisuudesta.

Lähestymistapaa päivitettiin vuonna 2021 vastaamaan muutoksiin kansainvälisellä arviointikentällä, linjaten Sitran arvioinnin lähestymistapaa esimerkiksi vuonna 2019 päivitettyihin mm. OECD/DAC-kriteereihin. Samassa yhteydessä otettiin huomioon vuodesta 2020 vaikuttanut koronapandemia, jonka myötä myös arvioinnin rooli alettiin nähdä laajalti uudessa valossa. Sen seurauksena varsinkin arviointimetodien joustavuus korostui, samoin kuin kompleksisemman toimintaympäristön, strategisemman oppimisen ja eteenpäin suuntautumisen näkökulmat vahvistuivat.

Vuoden 2021 päivityksessä vaikuttavuuden arviointia lähestyttiin aiempaa kokonaisvaltaisemmin ja perustuen siihen havaintoon, että vaikuttavuuden johtamisen ja arvioinnin pohjaksi tarvitaan systemaattista tietoa ja analyysia koko vaikuttavuuden ketjusta (IOOI) – niin resursseista (Input), toiminnasta ja tuotoksista (Output), vaikutuksista (Outcome) ja pitkän aikavälin vaikuttavuudesta (Impact). Vuoden 2021 päivityksen keskiössä oli näkemys siitä, että Sitran arviointi voisi olla muutosvoimaisempaa, jos arvioinnissa peruspilarien (tilivelvollisuus ja oppiminen) lisäksi olisi voimakkaammin vaikuttamassa ennakointi ja tulevaisuusfokus.

Vuosina 2016–2024 Sitra on julkaissut seitsemän ulkoista vaikuttavuusarviointia keskeisiltä toiminta-alueilta (ts. vaikuttavuustavoitteet), sekä vuonna 2019 kokoavan arvioinnin. Tämä arviointikokonaisuus osoittautui projektien suunnittelun ja johtamisen kannalta hyödylliseksi ja arviointien tuloksia ja suosituksia on hyödynnetty laajasti Sitran strategiatyössä sekä toimintatapojen kehittämisessä. Metodisesti vaikuttavuusarvioinnit pystyivät kuitenkin vain osittain nojaamaan systemaattiseen ja pitkäjänteiseen seurantatietoon, minkä vuoksi projektien tuloksellisuuden ja vaikutusten seuranta ja arviointi ei vielä optimaalisesti tukenut Sitra-tason yhteiskunnallisen vaikuttavuuden analyysia ja ulkoista arviointia. Tästä kumpusi tarve vahvistaa edelleen Sitran projektien ja tiimien työn arvioitavuutta (evaluability) ja sen kautta vaikuttavuuden arvioinnin metodista jykevyyttä (rigour). Myös parlamentaarinen työryhmä korosti 2019 lausunnossaan tarvetta systemaattiselle pohjalle Sitran arvioinneissa.ⁱⁱ

Vuoden 2024 kokonaisarviointi toteutettiin Sitran strategista asemointia koskevana arviointina . Siinä tarkasteltiin Sitran sisäisen ja ulkoisen toiminnan johdonmukaisuutta (coherence) ja Sitra-lakiin perustuvan perustehtävän toteutumista. Se oli osaltaan vaikuttamassa uuden strategian ja toimintatavan syntyyn. Samalla se viitoitti tietä nyt käsillä oleviin arvioinnin lähestymistavassa tarvittaviin päivityksiin.