i innehållslistor eller på en innehållssida.
Lagstiftningsarbetet är en tung process i flera steg som inkluderar omfattande datainsamling, analys av material och utarbetande av promemorior. Generativ AI kan i framtiden ge betydande effektivitetsvinster för lagstiftningsarbetet. I försökprojekt inom generativ AI finansierade av Sitra utvecklades AI-lösningar baserade på finska språkmodeller som testades som stöd i lagstiftarnas arbete med att granska lagstiftning och sammanfatta utlåtanden.
Försöken utfördes av kommunikationsministeriet (KM), statsrådets kansli (SRK) och justitieministeriet (JM). Försöken var det första steget mot att använda ett generativt AI-verktyg som är skräddarsytt för utmaningarna med lagstiftningsarbetet i Finland.
Liknande projekt har redan genomförts i flera europeiska länder. I vissa av dem har statsförvaltningen tagit på sig en roll som vägvisare när det gäller användningen av lösningar som bygger på europeiska språkmodeller. I Tyskland har teknikföretaget Aleph Alpha, en pionjär inom generativ AI, utvecklat AI-lösningar för statsförvaltningen, till exempel F13-assistenten som lanserades i år. F13 är ett AI-verktyg som är skräddarsytt för myndigheters behov och som hjälper tjänstemän att bland annat sammanfatta dokument. Frankrike å andra sidan utvecklar aktivt AI-lösningar baserade på språkmodeller med öppen källkod, till exempel AI-systemet Albert för tjänstemän.
AI-debatten omges som bekant av mycket hajp. Samtidigt är många offentliga aktörer och företag osäkra på hur de ska använda generativ AI på ett effektivt och säkert sätt. I denna artikel sammanfattas de viktigaste resultaten av de Sitra-finansierade försöken samt förutsättningarna och utmaningarna med att införa finska språkmodeller.
Fyra förutsättningar för användningen av generativ AI
Försöken utgick direkt från mycket krävande tillämpningsområden, även om tillämpningar av generativ AI utvecklades för första gången för finsk lagstiftning. Samtidigt var de utvalda tillämpningsområdena mycket lämpliga för AI, eftersom de data som används i dem till stor del är offentliga filer, vilket underlättade behandlingen av data under projektet. Dessutom finns det många möjligheter till effektivitetsvinster och mindre manuellt, tungt arbete i lagstiftningens förberedelse- och utlåtandeprocess.
Vi listade de viktigaste förutsättningarna som identifierats i försöken och som måste beaktas när generativ AI används inom utmanande tillämpningsområden.
1. En tillförlitlig tillämpning kräver tillgång till högkvalitativa, hanterbara och aktuella data
De data som krävs för att utföra uppgiften måste vara av hög kvalitet och hanterbara så att AI:n kan använda dem på ett smidigt sätt. Så aktuella och tillförlitliga data som möjligt är också en viktig förutsättning för att verktyget ska vara användbart.
Bristen på aktuella lagstiftningsdata minskade verktygets användbarhet i försöket
Den finska lagstiftningen är en viktig datakälla för lagstiftningstillämpningar. Den behövdes också i den lösning som skapades för att stöda lagberedningen i KM-försöket. Finlex publicerar Finlands författningssamling i digitalt format, men dess användarvillkor förbjuder användningen av samlingen i andra tillämpningar genom nedladdning eller via öppna gränssnitt.
I försöket användes därför lagtexter från projektet Semanttinen Finlex, som inte är uppdaterade. Denna begränsning visade sig ha en betydande inverkan på lösningens tillförlitlighet.
AI presterade bättre vid bearbetning av strukturerad utlåtandedata
Utlåtandet kan ges på ett ”strukturerat” sätt uppdelat i olika ämnen eller ”ostrukturerat” i ett fält. Enskilda utlåtanden kan också innehålla beskrivningar och hänvisningar till information utanför utlåtandets sammanhang, till exempel debatter som förts i media eller befintlig lagstiftning. Utlåtanden lämnas inte heller alltid enbart i tjänsten Utlåtande.fi, utan vissa kan lämnas till exempel via e-post. Att samla in utlåtanden från olika datakällor gör datahanteringen mer utmanande för AI. AI-systemet kunde till exempel kopplas till tjänsten Utlåtande.fi så att det hämtar utlåtanden direkt från tjänsten.
I KM-försöket testades användningen av språkmodellen i både strukturerade och ostrukturerade utlåtandeomgångar. De ostrukturerade utlåtandena delades först in enligt ämne med hjälp av AI, varefter den generativa AI:n producerade en sammanfattning. AI var mer effektiv när det gällde att bearbeta strukturerad utlåtandedata.
Försöken visade också att för att göra utlåtandena mer enhetliga och undvika svävande berättelser bör en tydlig uppställning av frågor användas när utlåtandeomgångar skapas.
2. Omfattande och högkvalitativa exempeldata krävs ofta som stöd för att lära AI att utföra en krävande uppgift
För att lära AI en utmanande uppgift kan omfattande och högkvalitativa exempeldata krävas som vägledning för språkmodellerna. För närvarande finns det inte mycket finskt utbildningsmaterial som delas öppet och som kan användas för att finjustera förtränade språkmodeller för praktiska tillämpningar.
Utbildningsmaterialet kan även tränas med påhittade exempel
Att skapa sammanfattningar av utlåtanden är en komplex uppgift för AI. Språkmodellen sammanfattar inte bara materialet, utan måste också identifiera ståndpunkten (för eller emot) i utlåtandet utifrån kommentarerna i det. Modellen ska även sammanfatta ändringsförslagen och motiveringarna till dem.
För att göra detta behövde språkmodellen tränas i hur man gör en korrekt sammanfattning med hjälp av exempel. I försöket tränades språkmodellen med hjälp av både exempel som samlats in från tidigare utlåtandeomgångar och fiktiva och egenskrivna exempel för att ge ett så omfattande utbildningsmaterial som möjligt.
3. De AI-metoder som ska användas bör väljas utifrån tillämpningen
Fungerande AI-tillämpningar kräver ofta att olika språkmodeller och metoder används tillsammans. Det kan vara bra att dela upp en komplex uppgift i olika delar och börja med att tydligt definiera vilken eller vilka utmaningar som ska hanteras med vilken språkmodell.
Ibland kan även en ”traditionell” AI i stället för en generativ AI vara mer lämplig eller effektiv. Experter kan hjälpa till att förstå vilka uppgifter som lämpar sig bäst för just generativ AI att lösa.
Att gå igenom lagstiftningen är en uppgift i flera steg för språkmodellen
KM-försöket fokuserade på att hjälpa lagstiftaren att gå igenom befintlig lagstiftning och identifiera likheter mellan olika lagstiftningar. Ur språkmodellens synvinkel är en genomgång av lagstiftningen en uppgift i flera steg där den jämför, söker, sammanfattar och producerar text.
Olika språkmodeller användes i olika skeden av försöket: Språkmodellen Finnish Sentence BERT användes för att jämföra och söka efter lagstiftning, medan generativa språkmodeller användes för att generera svar.
4. Språkmodellernas begräsningar måste beaktas vid planeringen
Informationen i språkmodellen är begränsad till de data som använts i utbildningen. Hur aktuell informationen är beror på tidpunkten för utbildningen. Språkmodellen kan dock förses med aktuell information på olika sätt, till exempel genom att integrera externa datakällor med den eller genom att mata in information direkt i sitt sammanhang.
Språkmodellens kontextfönster begränsar å andra sidan mängden text som kan bearbetas åt gången, dvs. mängden text som matas in i modellen och som produceras av modellen.
Inom lagberedningen finns ett behov av att hantera stora volymer av data som ständigt uppdateras
I båda försöken krävde lagberedningens tillämpningsområden bearbetning av så stora datamängder att de finska språkmodellernas kontextfönster inte räckte till för att bearbeta all text på en gång. Dessutom hade de finska språkmodeller som användes i försöken ingen förhandskunskap av finsk lagstiftning och finska lagtexters specifika egenskaper, eftersom dessa språkmodeller inte hade förtränats med lagtexter.
I båda försöken identifierades den så kallade RAG-metoden (retrieval augmented generation, generering med hjälp av sökning) som en användbar lösning på dessa utmaningar. RAG-metoden kombinerar en språkmodell med ett system för informationssökning.
Metoden hämtar först information som är relaterad till användarens fråga från datakällor som definierats för systemet (t.ex. webbplatser). Språkmodellen genererar sedan ett svar till användaren baserat på den information som hämtats. Med RAG-metoden kan man även förbättra svarens transparens med källhänvisningar. Det minskar språkmodellernas tendens att vara hallucinatoriska, dvs. att dra felaktiga slutsatser, och gör det möjligt att använda aktuell information utan att språkmodellen behöver tränas kontinuerligt.
Läs mer
Ytterligare en observation: besparingarna börjar synas först efter de första utmaningarna
Försöken har visat lovande exempel på användningen av generativ AI i lagberedningsarbetet.
Utvecklingen av ett produktivitetshöjande verktyg är en process i flera steg. Vidareutveckling och sammanställning av omfattande utbildningsmaterial måste ske i ett långsiktigt och nära samarbete med aktörer inom den privata sektorn.
Olika AI-försök har utförts inom statsförvaltningen redan i flera år. Det är mycket viktigt att de lärdomar som dras av försöken omsätts i praktiken och att försök som visat sig lovande främjas och skalas upp.
Effektiv användning av generativ AI i kombination med andra tekniker möjliggör betydande produktivitetsvinster, men besparingar börjar synas först efter de första utmaningarna.
