Sammendrag
- ChatGPT har en tendens til å overdrive, skrive langt og generisk.
- Studier viser at AI-detektorer er unøyaktige.
- Jeg viser seks måter å avsløre ChatGPT på.
Er teksten skrevet med ChatGPT?
Lurer du på om noen du kjenner kopierer og limer inn tekst fra ChatGPT?
Det kan være en kollega på jobb, eller en kontakt på LinkedIn. Kanskje er du lærer og lurer på om elevene dine jukser.
Eller jobber du i HR og lurer på om kandidatene har skrevet søknadene selv?
Ikke stol på AI-detektorer
Mange tyr til AI-detektorer for å finne ut av det. En AI-detektor sjekker om en tekst er skrevet av AI.
Du kopierer og limer inn teksten, også får du en score på hvor mye AI-innhold er oppdaget.
Det finnes en rekke AI-detektorer på markedet som lover gull og grønne skoger.
Eksempelvis: Ekte.ai og Smodin.io
Men…
AI-detektorer har blitt testet i flere studier, og konklusjonen er at de gjør for mye feil.1 Studie 1 (BMC) / Studie 2 (BMC)
AI-detektorer kan gjøre to typer feil:
- Falske negativer: den sier teksten er skrevet av mennesker når det er AI.
- Falske positiver: den sier teksten er AI når den er skrevet av mennesker.
Jeg har selv testet ut detektorer med norske tekster som ble skrevet før ChatGPT kom. I noen tilfeller ble de oppdaget som AI.
Kort sagt: Ta detektorene med en stor klype salt.
Slik avslører du ChatGPT
Jeg har gjort meg en rekke erfaringer med ChatGPT siden november 2022.
Etter å ha lest tusenvis av AI-genererte ord, har jeg lært meg å kjenne igjen kunstige tekster.
Det skal sies at tipsene under fungerer på AI-tekster som er lite redigerte. Jo mer teksten er bearbeidet, jo vanskeligere er det å oppdage AI.
Se etter disse seks tingene:
1. Overdrivelser, superlativer og klisjeer
ChatGPT elsker overdrivelser.
Har du noen gang lest en artikkel som starter i denne duren?
«ChatGPT har tatt verden med storm, som en banebrytende og revolusjonerende teknologi.»
– ChatGPT
Jeg har sannsynligvis lest denne klisjeen over 10 ganger i ulike nettaviser.
Disse «ChatGPT-ordene» bør du se etter: banebrytende, revolusjonere, transformere.
2. Mange ord, lite mening
Legg merke til hvordan ChatGPT har svart i bildet under.
Den skriver lange, innfløkte setninger. Det er mange ord med lite mening. Teksten blir overfladisk.
Teksten fremstår som om den er skrevet av en amerikansk selger.
Det skal sies at du kan justere måten den svarer på med bedre instrukser.
Du kan eksempelvis si at den skal svare nøkternt, med korte setninger og bruke en lesbarhetsindeks (LIX) på 40-45.
Dette bør du se etter: Lange setninger, mange ord og fyldige formuleringer. Overflatekunnskap.
3. Generisk struktur
Hvis du ber ChatGPT skrive en artikkel, vil strukturen ofte inneholde disse elementene:
- Introduksjon
- Definisjon
- Fordeler og ulemper (hvis det er relevant)
- Utfordringer og etikk
- Konklusjon
Det kan være nyttig å se etter denne strukturen når du prøver å avsløre ChatGPT.
4. «Norwenglish»
Har du sett formuleringen: «… det reiser spørsmål om …»
Dette er en klassisk ChatGPT-formulering. Det kommer fra det engelske idiomet: «it raises questions».
På engelsk, og spesielt på amerikansk, er dette en vanlig formulering. Men på norsk høres det rart ut.
Bare tenk deg om:
Har du noen gang hørt en kollega si at «budsjettet reiser spørsmål om fortjenesten?»
For det kan ChatGPT finne på å si.
Jeg mistenker at når ChatGPT skal skrive norsk, så skriver den først svaret på engelsk før det oversettes til norsk.
Den oversetter ofte ord for ord.
Eksempel:
Her spurte jeg ChatGPT om artikkel-ideer.
Legg merke til to ting:
- Hvert ord har stor forbokstav. Dette er vanlig i engelske titler, men ikke i norske.
- Se på ordstillingen og hvordan setningene er satt sammen.
5. AI-hallusinasjoner: faktafeil og oppdiktede kilder
Språkmodeller har en tendens til å finne på ting. De kan fremstille feilinformasjon som fakta, eller så dikter de opp kilder.
Dette kalles for AI-hallusinasjoner.
«I master-emnet var det blant annet oppgitt sitater som ikke stemte overens med kilden som var oppgitt.»
– Trd. By sitert i NRK2 NRK
Grunnen er at språkmodeller trenes opp til å gi svar som er overbevisende. Faktafeil eller ei.
Modellene fyller ofte kunnskapshull med å dikte opp ny informasjon.
For eksempel ble flere studenter tatt for AI-juks, fordi de leverte inn svar med oppdiktede kilder.3 NRK
Dette er også den enkleste måten å oppdage AI på.
6. Språket fremstår robotisk
Som jeg har nevnt ovenfor, blir språket ofte robotisk.
Av og til kan ChatGPT skinne, men oftest skriver den ikke som vi nordmenn skriver.
Det kan være vanskelig å sette fingeren på det. Men magefølelsen «reiser spørsmål» om teksten er skrevet av en AI.
Disse seks punktene er på ingen måte en garanti for å oppdage ChatGPT. Men de kan være et steg på veien.
Og bare så det er sagt: andre chatboter som Claude 3 skriver mye mer naturlig enn ChatGPT.
Jeg håper denne (menneskeskrevne) artikkelen er nyttig for deg!
