Evals – vad fan är det för något?

En ny AI-modell släpps och företaget berättar stolt att den fått 74 procent på någon eval, slagit förra modellen på ett benchmark och blivit mycket bättre på programmering. Jaha. Är 74 procent bra? Vad testades egentligen? Och framför allt, vad fan är en eval?

En eval är egentligen bara ett test av en AI. Ordet kommer från ”evaluation”, alltså utvärdering. Precis som vi kan ge en människa ett prov för att se vad personen kan, kan vi ge en AI en samling uppgifter och mäta hur bra den klarar dem. Skillnaden är att AI kan testas på väldigt många uppgifter på kort tid.

AI får helt enkelt göra prov

Ett enkelt test kan innehålla matematikfrågor där vi redan känner till rätt svar. AI:n får frågorna och sedan räknar vi hur många den klarar. Andra tester kan handla om programmering, språk, naturvetenskap, juridik, bildförståelse eller logiskt resonemang.

Det är därför man ofta ser diagram när OpenAI, Anthropic eller Google släpper en ny modell. Den nya modellen kanske klarar 82 procent på ett test där den gamla klarade 67 procent. Företaget kan då visa att modellen faktiskt blivit bättre på just den typen av uppgifter och inte bara säga att den är ”smartare”. När samma test används för många olika modeller brukar man ofta kalla det ett benchmark. Då blir det ungefär som att låta flera personer skriva samma prov och sedan jämföra resultaten.

Några riktiga exempel

Det finns mängder av evals och de kan testa helt olika saker. Humanity’s Last Exam är ett extremt svårt kunskapsprov med frågor från många akademiska områden. Det skapades bland annat eftersom många äldre tester började bli för enkla för de bästa AI-modellerna. Tanken är ungefär att om de gamla proven inte längre kan skilja de bästa modellerna åt behöver vi skriva ett mycket svårare prov.

SWE-bench testar något helt annat. Där får AI:n riktiga problem från programvaruprojekt och ska försöka laga koden. Det räcker alltså inte att svara på en programmeringsfråga. AI:n måste förstå problemet, ändra riktig kod och få testerna att fungera. Det blir mer som att sätta AI:n framför en arbetsuppgift än framför ett skolprov.

Sedan finns tester som börjar bli betydligt mer intressanta ur ett HITL-perspektiv. RE-Bench, utvecklat av METR, försöker mäta hur bra AI-agenter är på uppgifter som liknar verkligt AI-forskningsarbete. Modellen får tillgång till en dator och försöker lösa uppgifter som även mänskliga experter får göra. Då går det att jämföra hur AI och människor faktiskt presterar på samma arbete.

METR mäter också något som är ännu enklare att förstå och kanske ännu viktigare att följa: hur långa uppgifter en AI kan klara själv. En AI kanske först klarar sådant som tar en människa några minuter. Sedan klarar den uppgifter som tar en människa en halvtimme, en timme eller flera timmar. Det blir ett sätt att följa hur AI:s förmåga att arbeta självständigt förändras över tid.

Det är alltså ganska olika prov. Ett frågar ungefär ”hur mycket vet och förstår du?”, ett annat ”kan du laga riktig kod?”, ett tredje ”kan du göra AI-forskning?” och ett fjärde ”hur länge kan du arbeta själv utan hjälp?”. Alla är evals, men de säger helt olika saker om en AI.

Ibland hoppas man faktiskt att AI ska misslyckas

Här blir evals särskilt intressanta för HITL. AI-företagen testar nämligen inte bara sådant som de vill att modellerna ska bli bättre på. De försöker också upptäcka förmågor som skulle kunna innebära nya risker.

Kan modellen hitta säkerhetsbrister i datorsystem? Kan den hjälpa någon med farliga biologiska ämnen? Kan den manipulera människor? Kan den genomföra delar av en cyberattack? Kan den arbeta självständigt under lång tid? Kan den hitta sätt runt regler och begränsningar när dessa står i vägen för målet den fått?

Sådana evals fungerar lite som brandövningar. Man väntar inte på att byggnaden ska börja brinna för att upptäcka att ingen hittar nödutgången. Man försöker skapa situationen under kontrollerade former och ser vad som händer.

Det skapar också en lite märklig situation. På vissa evals vill AI-företaget ha så högt resultat som möjligt. Om modellen blir bättre på matematik eller programmering är ett högre resultat normalt positivt. På andra evals kan ett högt resultat istället vara en varningssignal.

Om en ny modell plötsligt blir väldigt bra på att hitta avancerade säkerhetsbrister är det förstås en imponerande förmåga. Men det betyder samtidigt att modellen har blivit bättre på något som kan missbrukas. Samma sak gäller tester av biologiska risker, manipulation eller avancerat autonomt beteende.

Evals blir därför ett sätt att försöka upptäcka när en ny förmåga börjar dyka upp, helst innan modellen släpps till miljontals människor eller kopplas till system där den faktiskt kan använda förmågan.

Problemet är att ett prov aldrig är verkligheten

Om någon får alla rätt på teoriprovet betyder det inte automatiskt att personen är en fantastisk bilförare. Samma problem finns med AI. En modell kan vara fantastisk på ett benchmark och betydligt sämre när den möter en rörig situation ute i verkligheten.

Det finns fler problem. Modellen kan ha sett liknande frågor under sin träning. När ett benchmark blivit populärt får AI-företagen dessutom ett starkt incitament att göra sina modeller bättre på just det testet. Och ett snyggt resultat på ett diagram kan förstås vara väldigt användbart när en ny modell ska marknadsföras.

Därför går det inte bara att titta på en procentsiffra och säga att modell A är bättre än modell B. Man behöver veta vad som testades, hur testet genomfördes och vad resultatet faktiskt säger.

När AI börjar agera mer självständigt blir problemet ännu svårare. Hur testar man om en AI kan arbeta självständigt i tre dagar? Hur testar man om den kan lura en människa som vet att hon deltar i ett test? Och hur vet vi att AI:n beter sig på samma sätt när den testas som när den befinner sig ute i verkligheten?

Det är betydligt svårare frågor än att kontrollera om AI:n kan lösa en matteuppgift.

Därför kommer du höra mycket mer om evals

När Dario Amodei och andra AI-chefer pratar om att säkerheten måste hinna med utvecklingen är evals en viktig del av det arbetet. Vi behöver något sätt att upptäcka när modeller får nya förmågor innan vi ger dem mer åtkomst och låter dem göra mer på egen hand.

Det är också därför oberoende evals är viktiga. Om samma företag bygger AI:n, konstruerar provet, rättar provet och sedan berättar för resten av världen hur bra resultatet blev finns ett ganska uppenbart problem. Därför finns organisationer som METR och andra oberoende forskare som försöker testa modeller utanför företagen som byggt dem.

Så nästa gång OpenAI, Anthropic eller Google berättar att deras nya modell fått ett fantastiskt resultat på någon eval behöver man inte bli särskilt imponerad av själva siffran.

Den mycket bättre frågan är:

Vad fan testade ni?