Når teknologien tager styringen, skal nogen holde i rattet

Digitale agenter er hastigt på vej ind i kommuner og regioner. I modsætning til mere kendte værktøjer som ChatGPT og Copilot, der svarer på spørgsmål, kan en AI-agent selv udføre handlinger: hente oplysninger i fagsystemer, strukturere data, koordinere delopgaver og levere et færdigt resultat tilbage.

Man kan sammenligne AI-agenterne med en digital kollega, der – hvis de er sat rigtigt op – kan forberede en sag for dig og udføre administration efter klare regler. Det er netop denne handlekraft, som gør teknologien interessant, og som samtidig stiller høje krav til ansvarlighed.

– Det nye er, at teknologien ikke kun foreslår, men også handler. Derfor skal kommunerne være meget bevidste om, hvem der har ansvaret for resultatet, siger lektor ved DTU, Lars Sommer.

AI-agenter kan blandt andet bruges til at kontrollere oplysninger, oprette dokumenter, sende påmindelser, trække data på tværs af systemer og udarbejde sagsforberedelser med relevante oplysninger. Det kan give medarbejdere bedre overblik, mindre manuelt tastearbejde og mere tid til borgere og faglig vurdering. På papiret lyder det som en gevinst, men gevinsten afhænger af, hvordan teknologien bliver styret.

Ifølge lektor ved DTU Lars Sommer er det afgørende at afgrænse teknologien tydeligt.

– De opgaver, der egner sig bedst, er regelstyrede og gentagne. AI-agenter kan for eksempel udarbejde en sagsforberedelse, så medarbejderen kun skal foretage den endelige vurdering. Men de bør ikke træffe afgørelser selv. Her er menneskelig dømmekraft fortsat afgørende, særligt i komplekse borgersager, siger han.

Algoritmen kan ikke tage ansvaret

For administrative medarbejdere er potentialet stort, men det kræver klare retningslinjer. En AI-agent kan støtte, ikke afgøre.

– Medarbejderne skal fortsat tjekke resultaterne. Ansvaret kan og må aldrig lægges over på en algoritme, understreger Lars Sommer.

Han peger på, at teknologien skal udvikles i tæt dialog med dem, der kender praksis. Ellers kan små misforståelser vokse til store fejl, ofte uden at nogen opdager det i tide. Og netop risikoen for uopdagede fejl fremhæves af professor i softwareudvikling ved Københavns Universitet, Thomas Hildebrandt. Han advarer imod at lade AI-agenter glide ind i myndighedsansvar.

AI har ingen forståelse

– Problemet er, at agenterne kan lave fejl, uden at nogen opdager det. Og de fejl vil ofte ramme de borgere, som i forvejen har sværest ved at råbe op, siger han.

Sprogmodeller har ingen forståelse for retssikkerhed eller lovgivning. De arbejder med sandsynligheder, ikke forståelse. Når svarene lyder overbevisende, kan det give en falsk tryghed.

Thomas Hildebrandt fortæller om en sag i Norge, hvor automatiserede analyser var tæt på at udløse skolelukninger på fejlagtigt grundlag. Hvis fejl opstår i større omfang, kan konsekvenserne blive alvorlige og kræve langvarig oprydning.

– Det er ikke nok, at teknologien ”oftere end ikke” har ret. Den skal kunne dokumentere, hvordan den når frem til et svar. Ellers kan hverken medarbejdere eller borgere stille den til ansvar, siger han.

Derfor er gennemsigtighed helt centralt. Når en borger modtager et svar genereret af en AI-agent, skal det være tydeligt, hvem der står bag afgørelsen, og hvordan datagrundlaget er opbygget. Kommunerne skal kunne forklare dataveje både af hensyn til tillid og GDPR.

Medarbejderne har en nøglerolle

Medarbejdere er ikke blot brugere af teknologien, men også dem, der kan spotte uregelmæssigheder i praksis. Kommunale sagsgange rummer undtagelser og vurderinger, som ingen algoritme kender, og som kræver faglig erfaring. Medarbejdere kan hurtigt se, når noget ikke stemmer, og reagere, før det rammer borgere og systemer. Derfor opfordrer Lars Sommer til, at medarbejdere insisterer på at blive inddraget:

– Hvis faglig erfaring ikke bringes i spil, risikerer teknologien at udvikle sig uden vigtig praksisviden, siger han.

Thomas Hildebrandt mener samtidig, at medarbejdere skal uddannes i at genkende ”etiske røde flag”. Altså svar, der ændrer sig fra gang til gang, manglende forklaringer eller uforklarlige konklusioner. Og så skal ledelsen tage ansvar for organisering, kvalitetssikring og tydelig ansvarsplacering. Man kan ikke bare slippe teknologien løs, understreger han.

Begge eksperter er dog enige om én ting: Potentialet er enormt. AI-agenter kan reducere administrativt bøvl, højne kvaliteten og give mere tid til kerneopgaver. Men kun hvis fagligheden er med ved skrivebordet, og hvis der er tydelige rammer for brugen.

Som Lars Sommer formulerer det:

– Man kan ikke henvise til, at ”AI har sagt det”. Det er mennesket, der står til ansvar.

Og Thomas Hildebrandt afrunder:

– Den offentlige sektor er ikke et laboratorium for uprøvet teknologi. Vi skal bruge AI klogt og sikkert, især dér, hvor mennesker er afhængige af, at vi gør det rigtige.