Når AI er en drittsekk

I 2018 kom nyheten om at Amazon vraket sitt eget sorteringsverktøy for jobbsøknader. Selskapet hadde brukt kunstig intelligens (AI) til å velge hvem som skulle kalles inn til intervju. Men så viste AI-modellen seg å ha en alvorlig mangel. Den likte nemlig ikke kvinner.

Plutselig oppdaget de at ingen kvinner var på intervju lenger. Kunstig intelligens leter etter den enkleste veien frem til målet. Og ved å sortere ut alle kvinnene oppdaget modellen at den fikk gode nok resultater, forteller forsker og informatiker Samia Touileb. Hun jobber ved forskningssenteret MediaFutures ved UiB.

Den nyeste utgaven av podcasten UiB Popviten handler om hvorfor AI noen ganger oppfører seg som en fordommefull, rasistisk sjåvinist.

AI ombestemmer seg ikke

– Problemet til Amazon var ikke modellen, men datasettet. Amazon brukte data fra egne ansatte i tekniske stillinger. Der hadde de nok enten en stor overvekt av menn eller flere eksempler på gode søknader fra menn enn fra kvinner, forteller Touileb.

Og når en AI-modell først har trukket en slutning, for eksempel at kvinner passer dårlig i tekniske stillinger, så holder den seg til det.

– Modellene tenker jo ikke. De forsøker bare å løse problemet. Og hvis modellen tar riktig avgjørelse for eksempel 90 prosent av tiden er det en god modell, sier Touileb.

Og det kunne altså Amazons modell oppnå ved å sortere ut alle kvinnelige jobbsøkere, uavhengig av hvor gode CV-er de hadde.

Bruker hele internett som datasett

Da forskere først utviklet kunstig intelligens for 60 år siden var datasettene mindre og det var mulig å kontrollregne manuelt for å undersøke hvordan modellene kom frem til svarene sine.

– Men nå er datasettene så store og modellene så kompliserte at det er vanskelig å vite hvorfor en modell har tatt en avgjørelse, forteller Touileb.

I dag er såkalt «deep learning» vanlig, hvor datamodellene tilegner seg kunnskap ut fra enorme datamengder. Ved å la seg inspirere av menneskehjernen finner de mønstre og tendenser og bruker dem så i oppgavene de får. Enkelte modeller bruker “hele internett” som datasett.

– Vi har nok overvurdert modellenes evne til å ignorere problematisk innhold i datasettene. Derfor ender vi opp med modeller som tar rasistiske eller sjåvinistiske avgjørelser. Og i dag har vi dessverre ingen gode løsninger på det. Vi kan slette eller redusere skjevheter vi vet om, men vi klarer ikke å finne alle skjevhetene, forklarer Touileb.

Autonome våpen

Touileb mener at problemene med kunstig intelligens gjør at man burde vært svært varsom når man tar det i bruk der det kan forårsake skade.

– Vi bør for eksempel vurdere om vi skal bruke autonome våpen. Hvis en AI-modell skal vurdere om noen skal drepes eller ikke må vi ta det veldig alvorlig. Vi vet for eksempel allerede at modeller kan være rasistiske. Hvis en slik AI-modell forbinder en etnisitet med en bestemt hudfarge er det åpenbart svært problematisk, sier Touileb.

Hun er også bekymret for at NAV og Utlendingsdirektoratet (UDI) jobber med å utvikle AI-modeller som blant annet kan brukes i saksbehandling.

– Som forsker gjør det meg bekymret. Hvis kunstig intelligens skal være med på å avgjøre hvem som skal få støtte eller opphold må man ha veldig god oversikt over innholdet i datasettet man bruker. Hvis ikke risikerer man å gjøre stor skade, sier hun.

Hør episoden her: