Google släppte igår en massa information och demonstrationer av deras nya AI-modell Gemini. Flera av deras demofilmer är mycket imponerande. Samtidigt så var flera av filmer när de lanserade PaLM2 också imponerande men modellen fungerade inte så bra i praktiken.

Jag har inte fått tillgång till Gemeni ännu (har någon?) men roar mig med att läsa deras tekniska rapport så länge om Gemini. Google släpper sina nya AI-modell i tre storlekar; Nano, Pro och Ultra. Pro ska vara den som ska köra i Bard (Googles ChatGPT) och vara tillgänglig för alla i 170 länder.

I den tekniska rapporten hittar man deras egen utvärdering och det är väl egentligen bara en jämförelse, den mot GPT4 som är riktigt intressant. Notera att GPT4 släpptes i mars 2023 och Gemini släpps 9 månader senare och självklart arbetar OpenAI på GPT5 (oklart när den släpps). Google väljer att lyfta MMLU-testet i sina reklamfilmer så jag fokuserar på det testet också.

Här kan vi se att Ultra slår GPT4 med 2.75 procentenheter medan Pro ligger hela 8.16 procentenheter under GPT4. Här kan det vara bra att titta på gratisalternativen också och jämföra Bard med gratis-ChatGPT och då är Pro 9.13 procentenheter bättre vilket är bra.

En annan iakttagelse vi kan göra är att att Pro är bara 0.73 procentenheter bättre än PaLM2 som körs i Bard idag. I och med att Bard med PaLM2 inte är så imponerande idag så kan vi fråga oss vad det betyder för den praktiska användning av Pro?

Ultra ska gå att komma åt via Bard Advanced som ska rullas ut under början av 2024. Dvs., oklart när vi kan få testa den. Jag antar att access också kommer att säljas via API.

Vad är dina tankar om Googles nya modell?