1. ChatGPT kan «hallusinere» og lyve
En av ChatGPTs største svakheter er at den «hallusinerer». Det vil si at den kan i enkelte tilfeller gi svar som enten er irrelevante eller er rene faktafeil.1 Artificial Hallucinations in ChatGPT: Implications in Scientific Writing
ChatGPT kan med andre ord ha et løst forhold til sannheten.
Se for deg at du spør ChatGPT om hvor mange flytteesker det er plass til i bilen din. Her kan chatboten dikte opp et svar som den tror vil passe. 15 stykker sier den, men det er egentlig plass til 12.
Svaret kan fremstå som overbevisende og selvsikkert. Men det er fordi AI-en er kodet til å oppføre seg slik.
Hallusinasjoner kan oppstå hvis dataene som brukes til å utvikle modellen er utilstrekkelige.
AI-ens hovedmål er å svare på kommandoen du gir den. Selv om den ikke «forstår» spørsmålet, vil den prøve å svare.
ChatGPT forklarer hallusinasjonene sine på følgende måte:
Vil du vite mer om hallusinasjoner? Les: Hva er AI-hallusinasjoner? Når AI-en leker med sannheten
2. ChatGPT kan dikte opp referanser og sitater
Du kan få problemer om du ber ChatGPT finne vitenskapelige referanser. Her kan AI-en rett og slett dikte opp referanser som ikke eksisterer.
Dette skyldes at ChatGPT vil prøve å gi et svar som passer best til kommandoen du gir. At svaret inneholder feil er ikke så viktig for ChatGPT.
Det kan minne om måten Google prøver å gjette hva du vil skrive inn:
Men det stopper ikke med referansene. Hvis du spør chatboten om et sitat, kan du få følgende svar:
Her gjengir ChatGPT et feilaktig sitat. Den riktige kilden er William Makepeace Thackeray.2 9 Popular Quotes Commonly Misattributed to Abe Lincoln
Hvis vi utfordrer ChatGPT, vil vi få en anerkjennelse:
Om du Googler sitatet, vil mange av treffene oppgi at Abraham Lincoln er kilden. Men det er ikke riktig. Det er rett og slett en utbredt feilsitering.
Dette forteller oss at hvis datagrunnlaget til ChatGPT er feil, vil svarene bli feil. ChatGPT greier ikke å sammenligne kildene og resonere seg frem til sitatets egentlige opphav.
Det skal sies at det finnes AI-er som kombinerer språkmodeller med søkemotorer. Disse skal i teorien være mer nøyaktige enn ChatGPT (eksempelvis Perplexity.ai).
Fakta om Perplexity.ai
3. AI-en forteller vitser som ikke er morsomme
Her er et forsøk på humor fra ChatGPT:
Til tross for at ChatGPT forstår hvordan vitsen burde struktureres, sliter den med vitsens viktigste funksjon: å faktisk være morsom.
Det er ikke alltid lett å være morsom på sparket. Humor krever forståelse for timing, kultur og hva som er sosialt akseptabelt. Dette kan ikke ChatGPT… enda.
4. Se opp for faktafeil
ChatGPT sitter på en enorm mengde med informasjon. Likevel kan den gjøre faktafeil. Det kan gjelde historiske fakta, matematiske beregninger og andre ting.
Feilene skyldes at chatboten ikke har mulighet til å verifisere informasjonen den genererer.
Som jeg nevnte tidligere, genererer ChatGPT svaret som den tror du vil ha. Svaret lages basert på statistiske beregninger om hva det er du spør etter, ikke ulikt Google sin autofullfør-funksjon.3 SNL – Språkmodell
I tillegg er ChatGPT trent opp på et begrenset datagrunnlag. Den har altså ikke tilgang til all informasjon i verden.
Hvis datagrunnlaget inneholder feil, eller hvis AI-en feiltolker dataene, da får vi faktafeil. Av den grunn anbefaler jeg deg å dobbeltsjekke informasjonen du får fra ChatGPT.
Når fremtidens AI-er blir mer avanserte, vil vi få færre feil.
5. Du får generiske svar
ChatGPT har en tendens til å gi generiske eller vage svar. Svarene er ofte delvis korrekte, men mangler dybde eller presisjon. Samtidig er ChatGPT trent opp til å gi støttende og høflige svar.
Dette er spesielt merkbart når AI-en blir bedt om å dele sin mening. Siden chatboten ikke har egne meninger, genererer den svar basert på mønstre i dataene. Den kan til og med nekte å svare på forespørsler som kan oppfattes som støtende.
Det finnes per dags dato AI-er som du selv kan trene opp med egne data. Da blir svarene mindre generiske. Men jeg anbefaler å være forsiktig med disse inntil videre.
6. Svarene er ikke alltid nøytrale
Ved første øyekast fremstår ChatGPT som en nøytral, faktabasert AI. Men hvis vi ser nøyere etter, oppdager vi at det ikke er tilfellet.
Dette er noen av reglene som ChatGPT følger:4 OpenAI: How should AI systems behave, and who should decide?
- Ikke gjør narr av (enkelte) religiøse figurer
- Unngå svar som kan være støtende
- Unngå svar som kan gi farlig informasjon
Disse reglene gjør at ChatGPT kan nekte å svare, eller gi overfladiske svar.
Her tester jeg ut ChatGPT sine moralske regler:
AI-en er heller ikke politisk nøytral.
Flere kilder rapporterer at ChatGPT ligger på venstresiden av det politiske spekteret.5 1: More human than human: measuring ChatGPT political bias
2: The politics of AI: ChatGPT and political bias
3: ChatGPT and large language model bias
Det skjer mest sannsynlig på grunn av dataene som modellen er trent på.
«Vi vet at ChatGPT kan være partisk (…)»
– Sam Altman, administrerende direktør i OpenAI
Når det er sagt, jobber OpenAI nå med å lage en språkmodell som er friere.6 How should AI systems behave, and who should decide?
Betyr dette at vi ikke burde bruke ChatGPT?
Absolutt ikke!
Målet med denne artikkelen er å bygge kunnskapen og kompetansen din. Nå vet du mye mer om ChatGPT sine begrensninger. Dermed kan du unngå de vanligste fallgruvene.
Selv med dagens begrensninger er språkmodeller nyttige. De har trollbundet verden av en grunn.
Det skal også sies at AI-modellene utvikles i et svimlende tempo. Svakhetene til dagens AI-modeller vil ikke nødvendigvis eksistere i morgendagens modeller.
Slik vil AI-svakhetene utbedres i fremtiden:
- Det kommer nye AI-modeller som er bedre på faktasjekking (språkmodeller kombinert med søkemotorer)
- AI-modeller blir trent på nyere datasett
- Det er stor internasjonal konkurranse om å lage de mest nøyaktige modellene
