Hva er en språkmodell?
En språkmodell er en teknologi som forstår hvordan ord, setninger og paragrafer henger sammen.
Teknologien lærer seg mønstrene i språket ved å analysere tekst. Tekstene er hentet fra bøker, aviser, nettsider og andre kilder.
Gamle modeller brukes blant annet i autokorrektur (Word & Google), autofullfør (Googlesøk) og oversettelse (Google Translate).
I nyere tid er modellene kombinert med kunstig intelligens for å utvikle helt nye teknologier.
Moderne språkmodeller, som ChatGPT, er gode på å skrive tekst.
Moderne modeller kalles for generativ AI fordi de lager («genererer») noe nytt.
Norske språkmodeller 💡
Hvordan fungerer språkmodeller?
Språkmodeller gjetter hvilke ord eller fraser det er som passer best i en setning.
La oss ta et eksempel:
«Når jeg blir sulten, så _______.»
Hva tenker du passer i tomrommet?
En språkmodell vil kunne regne seg frem til disse sannsynlighetene:
«lager jeg mat»: 40,5 %
«lager jeg middag»: 22,4 %
«varmer jeg opp pasta»: 10,8 %
«tar jeg en lur»: 0,001 %
Disse beregningene er basert på tidligere setninger som modellen kjenner til.
Klassiske og moderne språkmodeller
Det er to hovedkategorier for språkmodeller. Den første typen er de gamle, eller klassiske språkmodellene. De er også kjent som statistiske modeller.1 ResearchGate
De teller og sammenligner ord og setninger fra tidligere tekster. Men de forstår ikke meningen bak ordene. De forstår bare sannsynligheten for at ordene vil havne i en viss rekkefølge.
Derfor er klassiske språkmodeller vanligvis brukt til autokorrektur og autofullfør.
I disse sammenhengene gjør de enkle beregninger. De trenger bare å analysere ett ord av gangen.
De moderne språkmodellene er mye mer avanserte. De greier å forstå sammenhengen til ord og setninger. De analyserer mer enn bare rekkefølgen av ord.2 Arxiv
De lærer om språk gjennom noe som kalles maskinlæring og nevrale nettverk.
Maskinlæring betyr at modellene lærer seg selv å forstå språk ved å analysere store tekstmengder. De finner mønstre i hvordan ord og setninger henger sammen.3 ScienceDirect
Slik fungerer det, steg for steg:
- Man samler inn store mengder tekst, fra eksempelvis bøker, aviser og nettsider.
- Tekstene brukes som grunnlag for å trene en maskinlæringsmodell.
- Modellen analyserer mønstre i språket. Den ser etter hvilke ord som opptrer sammen og i hvilken sammenheng.
- Til slutt kan modellen bruke det den har lært til å generere ny tekst.
I tillegg til maskinlæring, bruker moderne språkmodeller nevrale nettverk. 4 MIT
Dette er programmer som er bygget opp likt hjernen vår. De har lag på lag med forbindelser som behandler informasjon.5 Cloudflare
Nettverket fungerer som en såkalt «svart boks». Du legger inn informasjon i den ene enden, så kommer det et svar ut i den andre enden.6 Nature
Inne i boksen skjer det matematiske beregninger som nettverket bruker for å finne sammenhenger i dataene.7 Nature og Arxiv
Selv om vi ikke vet nøyaktig hva som skjer på innsiden, gir nettverket overraskende gode svar.
Vi ser med andre ord hva som går inn og kommer ut, men innsiden er et mysterium.
Store språkmodeller
Store språkmodeller er gode på å skrive lange tekster som virker menneskeskapte.
Du har kanskje sett forkortelsen LLM. Det står for Large Language Models, som er den engelske oversettelsen av store språkmodeller.
Store modeller er trent på milliarder av ord. Til sammenligning er vanlige modeller bare trent på millioner av ord.
Dermed har store modeller flere fordeler:
- De kan skrive lange tekster som virker menneskeskapte.
- De har et mye større ordforråd og de forstår kontekst.
- De er fleksible og kan brukes til ulike språkoppgaver, i motsetning til klassiske tekstmodeller som er spesialiserte på en ting.
- De bruker avansert teknologi som maskinlæring og nevrale nettverk.
ChatGPT (GPT-4), Claude og Gemini er eksempler på store tekstmodeller.
Saken fortsetter under.
7 ting språkmodeller brukes til
#1 – De driver samtaleroboter som ChatGPT, Gemini og Copilot
Har du noen gang snakket med en gammel samtalerobot? En som gir forhåndsprogrammerte svar som aldri helt passer det du spør etter.
De sliter med å håndtere uforventede eller lange spørsmål.
Store språkmodeller har endret dette. De gir skreddersydde svar, selv om du stiller krevende eller tekniske spørsmål.
Moderne samtaleroboter forbedres i et svimlende tempo. De integreres i søkemotorer, de kan snakke med deg med kunstige stemmer, de kan forstå bilder, og de kan lage AI-bilder.
Snart er det godt mulig at ChatGPT vil kunne lage videoer. Hvem vet?
#2 – De skriver tekst
Språkmodeller er dyktige til å skrive tekst. Modellene kan skrive alt fra artikler og e-poster til kode og sosiale medie poster.
De er blitt så overbevisende at studenter har fått A på hovedoppgaver skrevet med AI.8 VG og Khrono
#3 – De oppsummerer tekst
Å få en rask oppsummering er fantastisk når du har lite tid i en travel hverdag.
Du kan bruke timer på å lese lange dokumenter, mens en AI kan gjøre jobben på noen få sekunder.
AI-oppsummering kan for eksempel brukes i forskning for å få oversikt over studier, i næringslivet for å forstå lange rapporter, eller i mediebransjen for å få ut nyhetene raskt.
#4 – De oversetter
Språkmodeller bryter ned språkbarrierer ved å levere raske og presise oversettelser.
I min vurdering er modeller som ChatGPT mye bedre på oversetting enn Google Translate.
Grunnen er at moderne modeller gjør mer enn å bare oversette ord-for-ord. De tar hensyn til nyanser og oversetter meningen til en tekst.
For deg som jobber i det offentlige som stiller krav til nynorsk, vil dette gjøre jobben din mye enklere.
#5 – De analyserer tekst og data
Språkmodeller utmerker seg i å analysere tekst og data for å hente ut innsikt og å identifisere trender.
ChatGPT har en funksjon som heter Avansert Dataanalyse. Du kan laste opp og analysere PDF-er, Word-dokumenter og Excel-ark.
Les mer: Slik analyserer du filer med ChatGPT
#6 – De integreres i søkemotorer
Chatboter er blitt en nøkkelfaktor i moderne søkemotorer. De spiller en stor rolle i å forbedre både nøyaktigheten og relevansen av det du finner på nett.
Den mest interessante trenden er at søkemotorer bruker AI til å svare på spørsmål i søkemotoren:
Ved å kombinere søkemotorer og chatboter får vi mer relevante søkeresultater og svar.
#7 – De brukes i talegjenkjenning
Når de kombineres med talegjenkjenning kan språkmodeller gjøre om tale til tekst.
Her er en demonstrasjon av talegjenkjenning i ChatGPT:
Dette er utrolig praktisk, hvis man tenker over det. Bare se for deg hvor nyttig det er å få transkribert forelesninger eller møter.
Personlig har jeg testet ut å snakke med ChatGPT mens jeg kjører bil. Da kan jeg reflektere over og løse utfordringer med en av verdens største kunnskapsdatabaser.
Eksempler på populære språkmodeller
ChatGPT (OpenAI)
ChatGPT er en chatbot utviklet av OpenAI. Den ble lansert i november, 2022. Programmet bruker kunstig intelligens til å forstå og skrive tekster.
I 2023 har ChatGPT fått en rekke nye funksjoner:
- Den kan forstå bilder.
- Den kan lage AI-bilder.
- Den kan forstå og analysere dokumenter og PDF-er.
- Den har over 1000 utvidelser og er koblet til internett.
- Du kan lage dine egne chatboter med ChatGPT (såkalte “GPTs”).
NorGPT (NorwAI)
NorGPT er Norges egen språkmodell. Den er utviklet på NTNU ved forskningssenteret NorwAI i samarbeid med selskaper som Schibsted og DnB.
AI-en er trent på norske data og skal være en modell med full åpenhet bygd på norske verdier.
Dette skiller NorGPT fra ChatGPT:
- Den kunstige intelligensen er trent på norske data
- AI-en er eid av det offentlige i samarbeid med norske selskaper
- Siden chatboten er helnorsk, kan den tilpasses til nasjonale formål og behov
Copilot (tidligere Bing Chat) (Microsoft)
Microsofts egen søkemotor, Bing, har nylig blitt integrert med Copilot.
Copilot tolker og besvarer spørsmål direkte i søkefeltet. Dette gir oss raske svar med lenker til kilder.
Gemini (Google)
Google Gemini er en chatbot som er koblet til Google sin søkemotor. Den er på mange måter lik ChatGPT.
Den er god på bildeanalyse. Du kan laste opp et bilde og be Gemini analysere det:
Dette skiller Gemini fra andre chatboter:
- Google sin søkemotor er integrert i Gemini.
- Gemini kan kobles til alle Google-tjenestene dine, som Gmail og Drive.
- Hvis du kobler den til dine data, vil den kunne søke gjennom e-poster og lignende for å finne informasjon.
Perplexity (Perplexity AI)
Perplexity er en søkemotor kombinert med ChatGPT eller Claude.
Dette skiller Perplexity fra andre samtaleroboter:
- Du kan selv velge hvilken språkmodell du vil bruke.
- Den har en Copilot-funksjon som stiller spørsmål for å finne de beste kildene.
- Den er knallgod på å finne kilder og referanser.
- Du kan lagre og dele søk og samtaler med andre brukere via Threads.
- Du kan lett sortere samtaler i biblioteket.
I min vurdering er Perplexity den beste språkmodell-søkemotoren per dags dato. Den hallusinerer mindre enn Copilot og den finner flere og bedre kilder. Den finner også kildene mye raskere enn ChatGPT eller Copilot.
Minuset med Perplexity er at den kan glemme hva som har skjedd tidligere i samtalen. Der er ChatGPT fortsatt best. ChatGPT har også utvidelser og nye GPTs som gjør at den har mer funksjonalitet.
Problemer med språkmodeller
Selv om språkmodeller har revolusjonert teknologiverdenen, står de overfor en rekke utfordringer:
Tekniske utfordringer
Å utvikle språkmodeller er tidskrevende. Det krever mye arbeid fra utviklere, forskere og ingeniører.
For å trene modellene trengs det enorme datamengder og beregningskraft. Dette fører til høyt energiforbruk og et påfølgende stort miljøavtrykk.
Som nevnt tidligere er modellene «black boxes». Det er vanskelig å forstå eller forklare hvordan de kommer frem til svarene sine. Dette er problematisk med tanke på transparens og ansvarlighet.
Etiske utfordringer
Formidling av holdninger og meninger
Språkmodeller er ikke objektive. De kan formidle holdninger og meninger som ligger i informasjonen de er trent på.
Hvis informasjonen er preget av ensidige perspektiver, vil modellene speile disse skjevhetene.
Bias
Skjevhet i modeller er et etisk problem. Disse skjevhetene oppstår når teknologien systematisk favoriserer eller diskriminerer visse grupper.
Dette er i de fleste tilfeller utilsiktet, og kan skyldes ubalanser i treningsdataene.
Kontroll sentraliseres hos noen få store teknologiselskaper
De største AI-ene styres av noen få store teknologiselskaper.
Dette kan i teorien føre til om monopolisering eller oligipolisering. I den sammenhengen kan disse selskapene få enormt mye makt.
Hva er et oligopol?
Personvern
Språkmodeller behandler store mengder persondata. De bruker informasjonen du skriver inn til å forbedre modellene.
Dette står i ChatGPT sine retningslinjer:
«We can use your Content worldwide to provide, maintain, develop, and improve our Services (…)»
– OpenAI9 OpenAI EU Terms of Use
Denne informasjonen må behandles riktig for å beskytte våre privatliv.
OpenAI sier selv at de bruker informasjonen til å trene opp modellene sine. Da kan i teorien det du skriver inn bli utlevert til en annen bruker.
Miljøutslipp
Som nevnt tidligere har språkmodeller store energibehov, noe som til miljøutslipp.
For å illustrere problemet: For å kjøle ned Microsoft sine supercomputere brukes det en vannflaske per samtale.10 Windows Central og Fortune og Earth.org
Derfor fokuseres det på å utvikle energieffektive modeller som kan redusere karbonavtrykket.
Utvikling og trender
Integrering i flere tjenester og apper
Språkteknologi er i ferd med å bli integrert i mange digitale tjenester. Bare tenk på Snapchat som var tidlig ute med «My AI».11 SnapChat
Microsoft jobber for øyeblikket med å integrere språkmodeller i sine operativsystemer. Og Google integrerer det i sine tjenester.
Dette er et tydelig tegn på at AI-teknologi blir en del av vår digitale hverdag.
AI-Assistenter og roboter
Språkmodeller trenger ikke å være begrenset til tekst. De integreres i digitale AI-assistenter og fysiske roboter.
Her er en video av en robot som forstår hva du sier:
Teknologien har mange potensielle bruksområder, alt fra personlige assistenter i hjemmet til kundeservice-roboter i butikker.
Hvordan store språkmodeller endrer søkemotorer
Tidligere i artikkelen nevnte jeg hvordan Copilot og Perplexity har integrert språkmodeller i søkemotorer.
Vi ser nå en tendens til at søk blir mindre manuell leting og mer samtalepreget. Du får svarene du trenger i søkemotoren. Så kan du sjekke kildene hvis du har lyst.
Ettersom utviklingen skyter fart, vil sannsynligvis søkemotorene endre seg fullstendig.
Kom du deg hele veien til slutten av artikkelen?
Det er over 2000 ord. Vel lest!
Endringslogg
