Sjekkliste for å kvalitetssikre svar fra KI

Hvorfor bør du sjekke KI-svar?

KI kan finne på fakta, kilder, informasjon, tall og sitater.¹ Studie

Det kalles hallusinering.

Det skjer selv om svaret høres overbevisende ut.

Her er et eksempel på en hallusinasjon:

Helsedirektoratet advarer om feil

Flere studier viser at språkmodeller er selvsikre selv når de tar feil.²Studie #2

Helsedirektoratet advarer om at språkmodeller «kan generere feilaktig, mangelfull, unøyaktig eller misvisende informasjon med stor overbevisning».³ Helsedirektoratets KI-vettregler

Den norske KI-forskeren Daniel Kaiser sier til Forskning.no at «vi bør aldri stole blindt på hva store språkmodeller sier, selv om det virker sant eller overbevisende».⁴ Forskning.no

I fremtidens arbeidsliv blir det viktig å være en portvokter.

Derfor er det viktig å ha en rutine for å sjekke det KI produserer i jobbsammenheng.

AIavisens sjekkliste for å kvalitetssikre svar fra KI:

#1. Vær kritisk til svarene

Chatboter som ChatGPT, Copilot og Gemini er trent opp til å gi svar som er overbevisende.

De kan forsøke å fylle kunnskapshull ved å dikte opp informasjon.

Eller så kan de gjengi feilinformasjon som finnes i en kilde.

Derfor skal man bruke kritisk tenkning og være forberedt på at svarene kan inneholde feil.

#2. Sjekk kilder, fakta, tall, årstall og datoer

Kilder, fakta, tall, årstall og datoer er de vanligste feilkildene.

Det anbefales å klikke seg inn på kildene og verifisere informasjonen. Det kan gjøres med effektive søk.

Finn gjerne flere, uavhengige og troverdige kilder som bekrefter påstanden.

Du kan også be KI om å bare bruke konkrete kilder (mer info nedenfor).

#3. Sjekk sitater

Det er flere tilfeller på at KI har diktet opp sitater:

Et eksempel er en nyhetsmelding fra NTB som diktet opp sitater fra Telenor.

Saken måtte trekkes.

#4. Ta eierskap til innholdet (unngå copy-paste)

Studier viser at de som bruker KI til å skrive for seg, får mindre eierskap til arbeidet sitt.

Mange ender opp med å klippe og lime inn det chatboten produserer, uten å bearbeide innholdet.

Derfor anbefales det å bruke KI som en assistent, et støtteverktøy.

#5. Skriv bedre instrukser

Når du stiller spørsmål til chatboten, har formuleringen din mye å si.

For å få bedre svar, be chatboten om å bare bruke troverdige kilder som statlige nettsider, forskning, akademiske databaser, SSB, redaktørstyrte nettaviser, og så videre.

Si at den ikke skal bruke lavkvalitetskilder, som personlige blogger.

#6. Vurder alternative perspektiver

For å begrense bias, kan du be om at assistenten din finner motargumenter eller alternative synspunkter.

Du kan for eksempel lage en egen agent som er spesialisert på å finne motargumenter.

◆ Les guiden: Slik lager du AI-agenter i Microsoft Copilot

#7. Bruk resonneringsmodeller

I Microsoft Copilot, ChatGPT, Claude og Gemini kan du velge mellom ulike modeller.

Du har de som svarer raskt, og de som svarer grundig. Såkalte resonneringsmodeller.

Det anbefales å velge disse tenkemodellene, siden de gir bedre svar.

#8. Lag en KI-agent som sjekker fakta

Du kan enkelt lage agenter løser konkrete oppgaver. For eksempel, faktasjekking og research.

◆ Les guiden: Bruk KI til faktasjekk og research

Saken fortsetter under bildet.

Må du alltid sjekke svaret?

Ikke alle svar trenger kvalitetskontroll.

Idemyldring, kreativitet og brainstorming krever ikke nødvendigvis faktasjekking.

Men en rapport som skal publiseres eksternt, derimot…

Her er tre risikonivåer som kan brukes av virksomheter:

• Lav risiko: Rask gjennomlesning er nok, for eksempel ved idémyldring og notater
• Middels risiko: Gå gjennom sjekklisten.
• Høy risiko: Full kildeverifikasjon og dokumentasjon, for eksempel juridiske tekster og offentlige rapporter.

Om du ønsker full etterprøvbarhet, kan du dokumentere prosessen:

Noter ned hvilken chatbot du brukte og hvilken instrukser du skrev. Du kan også lagre svarene i sin helhet i et eget dokument.