Retrospektiv: Julekalenderen

Før jul laget vi en julekalender for å teste et spørsmål mange av oss går og lurer på: Klarer vi egentlig fortsatt å se forskjell på ekte bilder og AI-genererte?
Svaret viste seg å være både betryggende og litt urovekkende.

Hvis du vil lese mer om hvordan selve kalenderen ble laget, kan du ta en kikk på artikkelen min hos kode24.

Før vi dykker ned i mer statistikk så må vi først gratulere vinneren, som har vært aktiv gjennom hele perioden, svart på alle lukene og sitter igjen med en treffsikkerhet på 100%: Jean-Nicolas Gilles Hopfer som jobber som Product Design Leader hos Dibber. Litt senere i artikkelen kommer det et intervju med Jean-Nicolas.

For å lette litt på nervene, så kan jeg avsløre at vi, som mennesker, satt igjen med en treffsikkerhet på 61.9% over hele kalenderen, det betyr at vi fortsatt er bedre enn tilfeldig gjetning, men ikke med stor margin. Julaften var den dagen med høyest treffsikkerhet, 82.6%, mens første dag hadde lavest, på bare 30.9% korrekt. Sett over alle dagene så var korrekt svar i majoritet i 21 tilfeller, der AI kun "vant" tre av de fire første dagene.

Samtidig, hvis vi sammenligner dette med antal korrekte svar per dag ser at den går opp, som også kan forklares med at de som ble igjen gjennom hele løypa var flinkere enn volumet som var i starten. Dette er rimelig tydelig i bildet under, der den lysegrå søylen viser antall stemmer per dag, mens de blå er antall korrekte svar.

Hvis du vil se noe mer statistikk så ligger det her.

For å dra det litt lenger med hvordan vi stiller oss mot genererte bilder lot jeg de tre største, Gemini, ChatGPT og Claude, selv prøve seg på kalenderen. Dette ble gjort ved å vise dem bildene, uten å vite hvilke som var riktig, og komme med hvilken de trodde var det virkelige bildet, med en begrunnelse.

Resultatene var uansett overraskende svake, med Claude i klar bunn på bare 17% treffsikkerhet, mens Gemini og ChatGPT deler førsteplassen, på ikke heller veldig overbevisende 46%.

Det er også ganske gøy å lese motivasjonen til de forskjellige modellene. På samme måte som vi har hatt diskusjoner internt og ofte vært veldig sikre i forkant på om et bilde er virkelig, så var modellene veldig selvsikre på funnene sine, men tok allikevel veldig ofte feil.

Hvis du ønsker å se dag for dag hvordan AI responderte så trykk her.

Tilbake til vår seirer, Jean-Nicolas. Som tidligere nevnt klarte han hver eneste bilde gjennom julen. Jeg tok kontakt for et kort intervju om hvordan han opplevde julekalenderen, og om han hadde noen tips.

Hva var strategien din i utfordringen?
Strategien var ganske enkel. Med to bilder å velge mellom hadde man et klart utgangspunkt. Jeg zoomet inn på detaljer og så etter det som ikke stemte – teksturer, arkitektur, lys og små feil. Ofte handlet det om å vurdere hvilket bilde som virket mest sannsynlig å være et ekte stockfoto, og hvilket som var for perfekt.

Var det noen dager som var spesielt vanskelige?
Første dag var definitivt den vanskeligste. AI-bildet var nesten for polert, med løver som hadde svært like positurer og ansiktstrekk. Det ekte bildet hadde flere ujevnheter – rotete pels og et mindre kontrollert uttrykk – noe som gjorde det mer troverdig. Andre dager, som fotgjengerovergangen, måtte jeg stole mer på intuisjon enn på konkrete spor.

Lærte du å kjenne igjen AI-bilder bedre underveis?
Ja, absolutt. AI-bilder er ofte veldig glatte, med perfekt lys og lite grain. Ekte fotografi har mer tekstur. Jeg begynte også å se etter arkitektoniske feil, unaturlig symmetri og positurer som ikke føltes naturlige. Ofte handlet det rett og slett om hva som var mest plausibelt.

Hvor mye har bakgrunnen din å si?
Veldig mye. Jeg har fotografert i over 25 år, startet med film og mørkerom, og har lært hvordan ekte lys, linser og teksturer fungerer. Det gjør det lettere å oppdage når et bilde føles «off». Faktisk er det ofte imperfeksjonene som gjør et bilde realistisk – også i AI-generering.

Har du noen raske tips til andre?
Prøv alltid å finne kilden til bildet. Se nøye på lys, detaljer og tekstur hvis kilden er uklar. Automatiske AI-detektorer er ikke pålitelige nok ennå, så menneskelig vurdering er fortsatt viktigst.

Til slutt – hvordan opplevde du utfordringen?
Den var både morsom og litt skremmende. AI har blitt utrolig bra, men kreativitet og et menneskelig blikk er fortsatt avgjørende. For meg er AI best som et verktøy for inspirasjon – ikke som en erstatning for ekte fotografi.

Før det første var dette veldig gøy. Det startet som diskusjoner over kaffe, som ble til en app som så skapte utallige diskusjoner gjennom hele desember på kontoret. Taktikker og teorier om hvordan man faktisk kunne klare det. Allting har funket overraskende bra. Jeg er veldig glad for at jeg satte opp et eget admingrensesnitt for å enkelt kunne se hver dag, og laste opp bilder underveis.

Kanskje det viktigste vi lærte, er at selv om AI blir bedre for hver måned, så er det fortsatt menneskelig erfaring, tvil og diskusjon som gjør oss gode til å vurdere hva som er ekte.

Men det er også læring å hente her. To ting står ut. Det første er at det var pålagt med logg inn for å kunne stemme. Det var ikke noe annen grunn til det enn at jeg ønsket dels at folk skulle kunne se sin statistikk, men også at det skulle bli vanskeligere å bare åpne et inkognitovindu, stemme og så prøve igjen på sin bruker. Men det også dette som ga solklart størst motbør. De første dagene kunne man heller ikke engang se bilde før man var tvungen å logge inn, som er rimelig dårlig UX.

Det andre, som også er relatert, er i et forsøk på å gjøre det vanskeligere å kunne finne igjen kommende bilder var å bruke Supabase sin signedUrl, resultatet ble at en ny lenke ble laget hver gang et bilde ble forsøkt hentet. Dette spilte dårlig sammen med Vercels Image Optimization, som skal cache bildene. Denne fikk kjørt seg ordentlig samme dag som kalenderen ble publisert hos kode24, som resulterte at grensen over hele måneden nesten ble brukt opp på denne dagen. Det var dog enkelt å fikse, og siden bildene uansett brukte UUID-er som navn så var det like greit å bruke de direkte.

Men alt i alt så var dette veldig gøy. Så følg med til neste jul, kanskje det blir med video da? Tusen takk til alle som spilte og engasjerte seg.