Temadag om Predictive Monitoring

AI-signaturprojektet ”En effektiv og helhedsorienteret indsats gennem AI-databaseret Process Mining” har i januar 2023 afholdt en temadag om Predictive Monitoring, hvor emnerne for dagen var følgende:

Teknologi og data, herunder forståelsen af, hvad prædiktive analyser er, hvilke krav er der til data ift. anvendelsen af Predictive Monitoring samt metoden og teknologien
Organisation og etik, herunder det menneskelige / organisatoriske aspekt og etik
Jura, herunder hvad må vi og hvad skal vi holde os fra, når det handler om Predictive Monitoring

På temadagen var der 3 kvalificerende indlæg fra 3 eksterne fagpersoner på hvert deres felt:

Thomas Hildebrandt, Professor KU vedr. teknologien og data
Asbjørn Flügge, Ph.d.-studerende, KU vedr. det organisatoriske og etiske
Martin Sønnersgaard, Poul Schmith, Kammeradvokaten vedr. jura

Slides fra temadagen findes her:

Formålet med dagen var at blive klogere på, hvad Predictive Monitoring teknologien kan og hvad der vil være muligt og ikke muligt, både teknologisk, organisatorisk, etisk og juridisk.

Konklusioner og anbefalinger fra temadagen

Teknologi og data:

Hav et klart scope og formål for den prædiktion I vil arbejde med
Identificér en proces, der er stationær og med få løbende lovændringer
Identificér jeres relevante data ud fra formålet
Brug data der er stabile

Organisation og etik:

Formålet med brugen af teknologien skal være utvetydigt
Motivationen er vigtig for en bedre forankring af ny teknologi.
Keep it simple – fremmer gennemsigtigheden
Teknologisk forståelse fremmer tilliden

Jura:

Sikring af hjemmel gennem målrettet bekendtgørelse, derfor bør der sidde en styrelse, her STAR, med omkring bordet
Digitaliseringsparat lovgivning er nødvendig
Sikring af relevans gennem dialog med fagfolk og ledelse
Mulighed for transparens og forklarlighed mod medarbejdere og borgere
Statistisk tilgang er der lovhjemmel til

Projektets styregruppe har på et efterfølgende møde d. 14.2.23 besluttet ikke at gå videre med anvendelse Predictive Monitoring på grund af de juridiske udfordringer med teknologien.

Forudsætninger og uddybning

Definition af Predictive Monitoring: En kombination af data mining (process mining), kunstig intelligens og machine learning. Ved at analysere historiske data kan en kunstig intelligens lære at forudse problemer eller hændelser i en given kontekst. Jo mere data AI´en har at arbejde med, jo mere præcise forudsigelser kan den lave.

Definition af profilering: enhver form for automatisk behandling af personoplysninger, der består i at anvende personoplysninger til at evaluere bestemte personlige forhold vedrørende en fysisk person, navnlig for at analysere eller forudsige forhold vedrørende den fysiske persons arbejdsindsats, økonomiske situation, helbred, personlige præferencer, interesser, pålidelighed, adfærd, geografisk position eller bevægelser.

Teknologi og data

Klart formål

”The Machine Learning Canvas” model handler om at få defineret et klart formål med anvendelsen af Predictive Monitoring inden man går i gang med teknologien og inden man ser på data. Pointen er, at det hurtigt bliver dyrt, hvis det viser sig, at teknologien eller data ikke er velegnet til det man ønsker at opnå med Predictive Monitoring. Derfor er anbefalingen, at have et klart scope og formål for den prædiktion man vil arbejde med, som det første inden man arbejder med teknologien og data.

Stabilitet

Når det handler om prædiktion vil det være en fordel, hvis processen ikke er omskiftelig, men er så stationær som mulig. Anbefalingen er derfor at bruge data, der er stabile, hvis muligt. Dvs. identificér en proces, der er stationær og med få løbende lovændringer.
Erfaringen viser, at data- og konceptskred netop sker ved skiftende praksis og lovgivning, derfor kan det være en udfordring at anvende Predictive Monitoring, hvis stabilitet i processen ikke er til stede.

Prædiktive analyser - modellen

At finde de relevante data kræver, at man kender både data og formålet med at lave den prædiktive model. Sporbarheden mellem faktisk hændelse i sagen og hændelse registreret i loggen kan være en udfordring. Desuden skal man tage højde for bias i data. Det kan være nødvendigt at forbedre data før prædiktion. Det kræver opmærksomhed på, hvad vi mister eller får, når vi forbedrer data. En anden opmærksomhed er, at jo mere præcision vi ønsker, jo svære bliver det at forklare modellen. Det går ud over gennemsigtigheden.

Apromore

Predictive Monitoring algoritmerne i Apromore platformen er velegnet til standardprocesser (supply chain) og fungere bedst, ved mindre varians i processen. Derfor er teknologien ikke så velegnet til processer med– høj varians. En måde at auditere algoritmerne på vil være at finde frem til best practice på en proces. Derfor er anbefalingen at starte med at forstå tidligere forløb via Process Mining, som Apromore platformen mestrer.

Organisation og etik

Motivation

Erfaringer fra tidligere projekter (f.eks. ASTA) viser, at brugere og borgere ofte inddrages for sent og det går ud over tilliden til teknologien og relevansen af parametrene til forudsigelserne. Derfor er anbefalingen, at sagsbehandlerne medtages fra starten både for at opnå motivation til at bruge modellen og for at sikre, at det er relevante faktorer, som medtages.

Simple beslutninger - liniær kontra cirkulær proces

Prædiktive analyser egner sig bedst til simple beslutninger. Erfaringer fra tidligere projekter (f.eks. ASTA) viser, at jo simplere beslutning, jo mere positiv over for algoritmen er sagsbehandlerne. Simple beslutninger kan dog hurtigt vise sig at være komplekse. Derfor har evnen og muligheden for forklaring af algoritmen stor betydning for resultatet.

Evidens

Det er anderledes at arbejde evidensbaseret i forhold til at arbejde ud fra best practice, hvor mavefornemmelse og fingerspidsfornemmelse ofte vægter tungt. Der er et dilemma mellem evidens og best practice, hvis vi begraver AI pga. dårlige algoritmer fremfor at optimere på algoritmer, modeller og data. Evnen og muligheden for forklaring af algoritmen har betydning for resultatet.

Etik

Projektet har fokus på dataetik – også i forhold til Predictive Monitoring. Dataetikken er sammen med persondatabeskyttelse og datasikkerhed med til at skabe begrebet dataansvarlig.

Dataetikken og dataansvarlighed skal kommunerne, jævnfør projektets erfaringer arbejde bevidst med for at sikre, at borgene har tillid til, at det faglige arbejde i kommunen sker til borgernes bedste. Der er i projektet identificeret tre fokusområder, der er med til at styrke fokus på dataetik og dataansvarlighed.

Fokusområde 1: Formål

Formålet med brugen af nye teknologier skal være utvetydigt! Formålet kan være at øge kommunes forståelse for en konkret ny teknologi eller at øge tempoet i sagsbehandlingen eller noget tredje. Det vigtigste er, at formålet er tydeligt både for borgene og for de ansatte i kommunen. Med et tydeligt formål kan arbejdet med teknologien også forankres i den politiske forståelse og dermed sikre, at alle aktører kender til muligheder og begrænsninger.

Fokusområde 2: Tillid

Borgernes tillid til at kommunen arbejder ud fra deres bedste, er et helt grundlæggende fundament i det faglige arbejde. Hvis kommunens medarbejdere kan formidle formålet, medvirker de også til at minimere den potentielle utryghed hos borgerne og dermed øge tilliden.

Fokusområde 3: Teknologisk forståelse

At kunne formidle, hvordan de konkrete teknologier og digitale løsninger er struktureret, syntes måske ikke som en kerneopgave for de kommunale medarbejdere. Men en grundlæggende forståelse og en evne til at formidle teknologisk viden er med til at mindske den mulige følelse af fremmedgjorthed hos borgerne og medarbejderne. Med brugen af nye teknologier i den borgernære forvaltning må det aldrig blive et ’fordi maskinen siger det ’-svar, borgerne får.

Jura

Lovhjemmel

Hjemmelskravet for det offentlige kendes fra den almindelige forvaltningsret:

Hvor direkte og indgribende er en afgørelse eller aktivitet for borgerne?
Intensitetskriterium – jo mere indgribende foranstaltning, jo større krav til hjemmelsgrundlaget.
Afgørelser og aktiviteter, der er begunstigende, kræver også hjemmel.

Det betyder, at jo mere byrdefuld kravet overfor borger er, jo tydeligere skal lovhjemmel være. Det er med andre ord afhængig af, hvor indgribende den pågældende behandling er for den registrerede.

Der hersker en stor tendens til at sikre klart lovgrundlag i seneste lovgivningspraksis for udvikling og drift at AI-løsninger, der indebærer profilering.

Dette skal også ses i lyset af eksisterende eksempler med profilering på beskæftigelseområdet, hvor STAR´s profilafklaringsværktøj netop havde lovhjemmel via en særlig bekendtgørelse i Særlovgivningen med det lovforslag fra 2014, som udmøntede den politiske aftale om etablering af et profilafklaringsredskab fra STAR.

Modsat viste en udtalelse af 5. juli 2022 fra Datatilsynet, at hverken ASTA eller OMAS formentlig ikke havde lovhjemmel til at anvende deres profileringsværktøjer til dagpengemodtagere og begge værktøjer er efterfølgende blevet lukket ned.

Derfor vil anvendelse af Predictive Monitoring forventeligt stille krav om udstedelse af bekendtgørelse fra STAR via et lovforslag til Særlovgivningen (beskæftigelsesindsatslovgivningen). Digitaliseringsparat lovgivning er nødvendigt før anvendelsen af Predictive Monitoring kan blive en realitet. Derfor bør STAR sidde med omkring bordet til sikring af hjemmel gennem målrettet bekendtgørelse, så anvendelsen af Predictive Monitoring kan blive en mulighed i fremtiden.

Projektet vurderer, at det vil kræve en specifik lovhjemmel via særloven at anvende Predictive Monitoring

Statistisk tilgang

Der er hjemmel til statistik / ledelsesinformation i artikel 6, stk. 1, litra e, og databeskyttelseslovens § 10 ved følsomme personoplysninger. Der er et bredt formålsbestemthedsprincip ved indsamling til den statistiske analyse, navnlig ved genbrug af egne oplysninger fra fagsystemerne. Resultatet af analysen eller personoplysninger må dog ikke anvendes til den individuelle sagsbehandling. Derimod er der krav om fastsættelse af passende sikkerhedsforanstaltninger, bl.a. pseudonymisering, kryptering, dataminimering, sletning etc.

Formålet med den statistiske tilgang kunne f.eks. være at hjælpe med at forudsige sagsbehandlingsforbruget. Eller en planlægningsalgoritme, der kan hjælpe med at danne overblik over, hvor og hvornår der kommer til at mangle sagsbehandlere. Eller at forudsige spidsbelastningstidspunkter og hvilke typer sager, som vi risikerer, at der vil være lang ventetid på.

Nyheder