Språkrådet har testet hvor god ChatGPT egentlig er i bokmål og nynorsk.
Resultatene viser at chatboten skriver middelmådig bokmål og sliter med nynorsk.
«Vi kan konstatere at ChatGPT per oktober 2024 ikke skriver så godt norsk at du uten videre kan overlate skrivearbeidet til denne roboten.»
– Språkrådet1 Språkrådet
Testen avslører flere svakheter
Språkrådet gjennomførte en grundig test av GPT4o i oktober 2024.2 Språkrådet
De ba roboten skrive sammendrag av romaner og offentlige utredninger. Den skrev også fortellinger på både bokmål og nynorsk.
Fire ansatte i Språkrådet analyserte 157 sider med tekst.
Resultatet
På bokmål fant de i gjennomsnitt 2,6 feil per side. På nynorsk var tallet hele 8 feil per side.
To typer feil
På bokmål var 70 prosent av feilene knyttet til tegnsetting eller feil bruk av stor og liten forbokstav.
Dette er relativt enkle feil som ikke ødelegger teksten.
På nynorsk var feilene større.
Det ble brukt:
- 21 prosent gale bøyningsformer
- 20 prosent bokmålsord som ikke finnes i nynorsk
Konservativt og inkonsekvent
En annen utfordring er at ChatGPT velger konservative former og er inkonsekvent i formvalget.
Dette gjør at tekstene ofte føles stive og unaturlige ut.
Roboten foretrekker for eksempel «fremtid» fremfor «framtid», selv om begge former er tillatt i bokmål.
Mindre variasjon kan føre til at språket blir mer ensrettet, over tid.
Norsken får et engelsk preg
Det mest interessante funnet er kanskje hvordan engelsk påvirker språket.
ChatGPT skriver setninger som «Hans tok et øyeblikk før han svarte» og «han hadde ikkje møtt Mari i person enno».
Dette er direkte oversettelser fra engelsk som høres unaturlige ut på norsk.
Ikke alle anglisismene kan regnes som direkte feil, men KI-norsken er såpass prega av engelsk at den ofte kan virke fremmed eller pussig.
– Språkrådet
Mine egne tester
Jeg har også gjennomført flere tester som viser at ChatGPT skriver unaturlig…
Den skriver både svulstig og formelt. Chatboten reflekterer amerikansk kultur, holdninger og talemåte.
Eller «ChatGPTsk» som jeg kaller det.
For å demonstrere stilen, har jeg spurt GPT4o om å skrive en pressemelding:
Skriv en pressemelding om en ny teknologi som er blitt lansert for å effektivisere havvind.
Dette skrev ChatGPT 💬
Banebrytende Teknologi for Havvind Effektivisering Lansert
I dag annonserte [FIRMANAVN] lanseringen av en revolusjonerende teknologi som er designet for å maksimere effektiviteten og lønnsomheten i havvindindustrien. Teknologien, kalt WindSmart™, representerer et betydelig skritt fremover i bærekraftig energiproduksjon og er resultatet av flere års forskning og utvikling.
Legg merke til visse ord og uttrykk som høres unaturlige ut. For eksempel, «representerer et betydelig skritt fremover».
Hvem sier slikt på norsk?
Dette kaller jeg «AI-markører» som avslører ChatGPT.
AI-en elsker også uttrykk som «banebrytende» og «revolusjonerende». Ordene er svulstige og veldig amerikanske.
Legg også merke til at hvert ord har en stor forbokstav i overskriften: Banebrytende Teknologi for Havvind Effektivisering Lansert
Det er vanlig på engelsk, men ikke på norsk.
Gode instrukser er viktig 💡
Nå skal det sies at instruksen jeg brukte var generisk.
Du får mye bedre tekster hvis du skriver gode instrukser med prompt engineering.
Språkrådets anbefalinger
Språkrådet konkluderer med at ChatGPT fortsatt trenger «en svært kritisk medforfatter eller redaktør».
Til deg som bruker ChatGPT til å skrive norsk betyr dette at du må følge nøye med… Særlig hvis du skriver nynorsk eller fagspråk.
Du bør dobbeltsjekke:
- Bøyningsformer og ordvalg i nynorsk
- Engelskpregede formuleringer
- Inkonsekvent formvalg
Dette testet Språkrådet 💡
– Språkmodell: GPT-4o
– 157 sider tekst
– Halvparten bokmål, halvparten nynorsk
– Fire erfarne språkvaskere analyserte tekstene
– Testen ble gjennomført oktober 2024
Norske språkmodeller er under utvikling
Per dags dato er at vi er avhengige av utenlandske modeller som ikke mestrer norsk.
Dette vil endre seg fordi regjeringen har store ambisjoner for AI i den nasjonale digitaliseringsstrategien.
«Det er behov for å etablere (…) språkmodeller som er tilpasset norske og samiske språk og norske samfunnsforhold.»
– Regjeringen
Forskningssenteret NorwAI er på ballen.
De utvikler norske språkmodeller som kalles NorLLM (Norwegian Large Language Models).
De har allerede bygget flere generative modeller som du kan laste ned og kjøre lokalt på PC-en din.
Modellene bygges på norske data og verdier.
Vi må styre egen språkutvikling
I følge NorwAI og Språkrådet er dette arbeidet viktig fordi Norge trenger kontroll på eget språk og egen teknologi.3 NTNU
Åse Wetås er Direktør i Språkrådet. Hun har tidligere sagt at vi må sette høyere krav til maskinene nå som de kan skrive relativt flytende hverdagsnorsk.4 NTNU
Hun sier at hvis modellene skal brukes profesjonelt, må de kunne bruke fagspråk og -terminologi på en pålitelig måte.
Da gjenstår det bare å se når en «norsk ChatGPT» lanseres som en nettbasert tjeneste.
