Google släppte igår en massa information och demonstrationer av deras nya AI-modell Gemini. Flera av deras demofilmer är mycket imponerande. Samtidigt så var flera av filmer när de lanserade PaLM2 också imponerande men modellen fungerade inte så bra i praktiken.
Jag har inte fått tillgång till Gemeni ännu (har någon?) men roar mig med att läsa deras tekniska rapport så länge om Gemini. Google släpper sina nya AI-modell i tre storlekar; Nano, Pro och Ultra. Pro ska vara den som ska köra i Bard (Googles ChatGPT) och vara tillgänglig för alla i 170 länder.
I den tekniska rapporten hittar man deras egen utvärdering och det är väl egentligen bara en jämförelse, den mot GPT4 som är riktigt intressant. Notera att GPT4 släpptes i mars 2023 och Gemini släpps 9 månader senare och självklart arbetar OpenAI på GPT5 (oklart när den släpps). Google väljer att lyfta MMLU-testet i sina reklamfilmer så jag fokuserar på det testet också.
Här kan vi se att Ultra slår GPT4 med 2.75 procentenheter medan Pro ligger hela 8.16 procentenheter under GPT4. Här kan det vara bra att titta på gratisalternativen också och jämföra Bard med gratis-ChatGPT och då är Pro 9.13 procentenheter bättre vilket är bra.
En annan iakttagelse vi kan göra är att att Pro är bara 0.73 procentenheter bättre än PaLM2 som körs i Bard idag. I och med att Bard med PaLM2 inte är så imponerande idag så kan vi fråga oss vad det betyder för den praktiska användning av Pro?
Ultra ska gå att komma åt via Bard Advanced som ska rullas ut under början av 2024. Dvs., oklart när vi kan få testa den. Jag antar att access också kommer att säljas via API.
November har varit den mest intensiva föreläsningsmånaden någonsin för mig.
Jag har hållit 15 föreläsningar om AI med totalt 21.5h pratande varav 9 föreläsningar på scen (12.5h) och 6 online (9h). Jag har föreläst på plats i Stockholm, Västerås, Göteborg, Malmö och Luleå och online i Finland (2 gånger) och resten online i Sverige.
Utöver detta har jag haft 5 sessioner * 2h = 10h med uppdragsutbildning online samt 6h undervisning med studenter IRL. Uppdragsutbildningen består av ca 0.75h föreläsning (utöver timmarna ovan) och resten diskussioner i plenum och i grupper.
Jag har också spenderat många++ timmar om att läsa om och diskutera AI i olika sammanhang samt spenderat väldigt mycket tid på att förbereda presentationer, planera möten och föreläsningar, skriva texter och att diskutera med journalister.
Det stora positiva är den fantastiskt positiva återkoppling jag får vilket ger en massa dopamin, oxytocin och serotonin och en ökad positiv självkänsla.
Jag kan lugnt erkänna att det stundvis blev lite väl mycket jobbande och det blev för lite tid för återhämtning och hobbies men all den positiva återkopplingen gör att jag har återhämtat mig mycket fort. Under december lugnar det ned sig rejält och snart blir det julledigt.
Ps. Vill ni ha en egen AI-föreläsning så hör av er 🙂
231130 var jag med i Sveriges Radio och kommenterade att studenter fuskar med hjälp av AI generellt och ChatGPT specifikt. Anna Lidé intervjuade mig i drygt 4 minuter om denna viktiga fråga.
Intro: Under morgonen har vi hört rapporteringar om universitetsstudenter som fuskar på tentor genom chatt-GPT, en app med artificiell intelligens. Undersökningen som P4 Jönköping gjort visar även att fyra studenter från LTU dömts av disciplinnämnden. Anna Lidé frågade en professor i datateknik vid LTU, Peter Parnes, om hur han ser på att universitetsstudenter använder AI för att fuska.
Peter: Det är ju olyckligt att använda AI för att fuska. Jag vill ju gärna se att studenterna använder AI för att hjälpa dem i sina studier. Där jag tror att AI kan vara en jättestor hjälp i att lära sig mer och lära sig djupare helt enkelt.
Anna: Gott så, men det är ju de facto så då att de ändå fuskar. Precis, precis. Och här är ju gränsen då mellan hjälp och fusk är hårfin.
Peter: Nu är det ju i det här disciplinnämnden dömts och jag tror tyvärr att det är många fler som använder ChatGPT. Och vi som lärare försöker ju uppmana dem att inte göra det då.
Samtidigt måste man titta på vilken examination man ska ha. En examination som man kan fuska på är i mångt och mycket en felaktig examination. Där vi istället vill titta på en kontinuerlig examination som är en integrerad del av lärandet.
Anna: Vad kan en sådan examination vara till exempel?
Peter: Det är att vi tittar mer på processen. Man har många korta examinationsmoment. Det kan vara diskussioner, eleverna får presentera saker, svara på frågor. Så att man gör det här många gånger istället för att man har en hel kurs, har en skriftlig tenta på slutet eller en skriftlig hemuppgift på slutet då.
Anna: Hur många tror att det är som fuskar?
Peter: Oj, det är ju svårt att säga det. Och det är ju som jag sa tidigare att gränsen mellan fusk och hjälp är hårfin. Så att någonstans måste man komma in och definiera fusket.
Det handlar ju om att försöka lura den som examinerar som att man gör något annat.
Anna: Om ni ertappar en elev men det här ser väldigt mycket AI ut, vad gör ni då?
Peter: Jag skulle säga att i steg 1 så handlar det om att man tittar på om man misstänker detta, prata med studenten istället då. Att här måste vi också vara lite schyssta då för att det handlar ju inte om att skapa en otrygg studiemiljö utan vi vill ju att studenten ska lära sig så mycket som möjligt.
Vi vill ju hjälpa dem att klara sina studier och det här kan ju då vara olika anledningar. Och i en nylig undersökning från KTH då kom det fram att den absolut vanligaste orsaken till fusk det var tidsbrist.
Det vill säga man är dålig på att planera, man hinner inte med etc. Och där man då är rädd för andra konsekvenser i sitt liv. Man får inte se sig än om man inte klarar den här uppgiften till exempel då för att få väldigt hårda påföljder.
Anna: Men vad tänker ni i framtiden här nu då som lärare? Hur tänker ni och hur gör ni? Är ni redo för fler som får anmärkningar från disciplinnämnden eller tänker ni att vi måste tänka nytt?
Peter: Så under året sedan i januari så har vi i en grupp där jag ingår jobbat på en policy för LTH som går ut egentligen både till elever och till lärare där vi ber alla att ta till sig detta. Och där handlar det ju mer om det här, hur motiverar vi till lärande? Hur skapar vi en trygg miljö? Och vi ger exempel på vad som är fusk och vad som inte är fusk. För det är inte alls så jättesjälvklart att man vet vad som är fusk heller.
Anna: Och hur motiverar man till lärande?
Peter: Måste man lära sig saker nu i framtiden när de kommer ut i en arbetsplats där man ändå har AI som kan det åt dig? Precis, och det här är ju en av de jättestora frågorna. Hur motiverar vi just till lärande? Om jag har en AI med mig som svarar på alla mina frågor, den kan i princip lösa alla mina uppgifter åt mig i framtiden. Och framtiden här, det är ett halvår eller ett år bort.
Hur förbereder vi våra studenter för just den här arbetsmarknaden där man använder de här verktygen hela tiden? Och det här är ju en balansgång då. Och det här handlar ju om hur lärarna lägger upp sin undervisning. Där vi kanske i början på året gör det lite mer kontrollerat etc.
Och sen i högerårskurserna så blir det mycket mer friare. Det ska vara som om man var i verkligheten som jag brukar säga.
Anna: Många som lyssnar nu tror jag med mig också är lite oroade över AI och framtiden. Hur känner du själv?
Peter: Jag är ju väldigt positiv till detta då. Vissa forskare har ju målat upp en väldigt negativ bild att det är mänsklighetens undergång i framtiden då. Jag tror inte alls att vi kommer hamna där, utan snarare kommer AI att vara en medhjälpare och den kommer att göra fantastiska framsteg för mänskligheten.
Anna: Fortsättning följer onekligen. Tusen tack säger vi till Peter Parnes, professor i datateknik vid LTU. Tack så mycket.
Peter: Tack så mycket.
Ps. Transkriberingen är gjord gjorde via tjänsten TurboScribe och redigerad av mig.
Sammanfattning: Generativ AI, exemplifierad av verktyget ChatGPT från slutet av 2022, har potential att starkt påverka hur våra studenter lär sig och hur vi bedriver undervisning genom att ge stöd för framtidens lärande med innovativa pedagogiska metoder. Samtidigt är generativ AI för text en kontextberoende statistisk modell, vilket kräver kritisk användning. Utöver textgenerering kan generativ AI skapa bland annat bilder, musik, film, dataspel och datorprogram vilket ger en möjlig integrering i många olika kurser. Olika typer av AI-tjänster kan fungera som hjälplärare, potentiellt minska prestationsångest och stödja studenter med lässvårigheter eller utländsk bakgrund. Detta understryker behovet av att anpassa undervisningen för att maximera fördelarna med AI i lärandeprocessen. AI-verktyg har också möjlighet att effektivisera många olika aspekter av lärandet, både för studenterna och för personal inklusive lärare och administrativ personal. För studenter finns möjligheten för ett både djupare och snabbare lärande samt för personal kan AI-verktygen hjälpa till med olika undervisningskopplade och administrativa uppgifter. Långsiktigt kan AI-verktygen ha en stark påverkan på hur undervisning bedrivs inom högre utbildning men det finns också ett antal praktiska hinder som måste överbryggas som balansen mellan fusk och hjälp och ekonomiska och juridiska utmaningar. Samtidigt går den tekniska utvecklingen mycket fort samtidigt som det högre utbildningssystemet förändras långsamt och det är svårt att överblicka hur mycket av undervisningen som kommer att ha förändrats på till exempel tio års horisont.
231115 arrangerade SUHF ett seminarium on frågan Kan AI bidra till ökad forskningskvalitet? Jag var en av de inbjudna talarna och diskussionsdeltagarna. Nedan är mitt korta inspel till frågan och här hittar ni mer information om eventet och de andra presentationerna.
230908 höll jag en föreläsning på Innovitaskolans framtidsdag för ca 1500 lärare och här är en inspelning av föreläsningen. Titeln är Utmaningar och möjligheter med generativ AI för lärande.
231024 var jag med i ett onlineseminarium om AI och examination på flera olika områden. Det var inspel och diskussioner i form av en panel online. Moderator var LTU:s rektor Birgitta Bergvall-Kåreborn som också är ordförande i SUHF:s expertgrupp för högskolepedagogiska frågor. ITHU höll i tekniken.
Det var ca 1000 personer anmälda till eventet.
Medverkande Linda Barman, Kungliga Tekniska Högskolan Jan-Olof Gullö, Kungliga Musikhögskolan Pernilla Josefsson, Södertörns högskola Peter Parnes, Luleå tekniska universitet
Här hittar ni mer information om eventet och nedan en inspelning.
Here are answers to the questions asked by the audience via chat after the talk (not in the recording). My answer in italics follows the questions.
How should we approach the assessment of student writing skills? Traditionally, this has been accomplished through take-home exams and thesis work. However, it now appears that students can seek assistance from AI tools. Should we continue with proctored on-campus examinations, or should we reconsider what it means to be proficient in writing a text?
Let’s look more at the whole learning process and focus less on the final artifact, where we work more with continuous examination. Another benefit of this approach is that the student gets more immediate feedback, which supports deeper learning. Compare this to getting feedback based on a test several weeks after the test.
Suppose teachers want to continue with reports written outside of a proctored environment. In that case, they need to combine it with some other examination method, such as a short verbal examination, to judge if the student knows the content submitted in the report.
Experimentally, they can also try using AI to help them judge if the students know the subject.
Can the result be that we re-evaluate the necessity to learn certain tasks, just like what happened when calculators were introduced? E.g.: Is there a value in knowing how to summarise information, or answer a factual question (if a machine can do it better…). If not, why should we teach it ?
The last part is the crucial question here. If we have AI assistants that can answer everything and solve all our tasks for us, then what should the students learn? Well, to judge if an answer is correct, they need to have a basic understanding and knowledge of the area in question. Thus, we should teach in a broader way where students can use AI to help them solve more specific problems in the future.
A comment on the calculator analogy: it is actually not a great analogy to the current situation with AI-assistant learning, as the calculator could only solve (initially) fundamental mathematical problems. The AI assistants in 2023 can already now solve very advanced problems, problems that are typically above most people’s knowledge.
A question to @all: Does your university have a policy or general recommendations for handling generative AI?
I have looked around and discussed with representatives from other Swedish universities, and most of them are working on some policy regarding AI usage in education and research. At Luleå University of Technology, I have been part of a group working on such a policy document. In May 2023, we released a first draft that you can find here. It has proven to be a time-consuming process to incorporate all comments and cover all edge cases. Ultimately, it comes down to definitions where it is hard to define AI and generative AI, where the document could also be used as a basis for supporting disciplinary cases around cheating using AI.
Also, the guidelines need to be updated regularly as they quickly can become out dated.
If at some point all texts used for AI training will be AI-generated, what will be the quality of that AI?
This has already proven to be a problem with other services trained using public content. Google Translate cannot be trained using public data as so much text exists today online that is translated using automatic translation services. We will see the same issue when training AI in the future, and the selection of data to train on has to be done very selectively.
What happens when AI software meets quantum computing?
The intersection of AI and quantum computing is a subject of significant interest and speculation. Quantum computing has shown promise in efficiently solving complex optimization problems, often computationally expensive for classical computers.
Quantum computers could drastically speed up machine learning algorithms. Some computations that take a conventional computer billions of years to complete could be done in seconds by a quantum computer. Many AI tasks are fundamentally optimization problems.
When we have working quantum computing machines, they could very drastically change AI-learning. It’s important to note that practical, scalable quantum computing has yet to be achieved. We’re still in the early stages of understanding what’s possible when these two technologies intersect.
Instead of wondering IF students are using AI, why not just assume that they are and will. Then with that in mind, we organize our courses and examinations based on this assumption. Not saying that this will make life easy for teachers – but at least it provides a new point of orientation for teachers. Exactly. You said said it. We need to evolve our education based on our new reality with AI.
Yes, I strongly agree with you on this. Independently of policies and rules, students will both use AI tools to help them learn and to help them cut corners. We need to adapt our education to a new reality.
You talked about students’ mental model of a concept would raise the questions “am I wrong or is the AI wrong”, it’s then a risk between learning and misinformation. Is AI literacy enough to support this issue in education as a way to encourage students to fact check everything ChatGPT outputs? Or are we (humans) too impressionable and vulnerable to confirmation bias for example such that false information that matches our mental models leads to us not bothering to check? Which “force” is stronger.
I believe that all humans are lazy at heart. Humans have always tried to find various tools to make our lives easier. AI changes how much effort we put into the mental process, and just as you indicate in your question, it will, to some extent, lead to us not bothering with fact-checking, and we will accept the answer AI gives us and move on to the next question or task. This is a real challenge when it comes to how we conduct education and what the students should learn.
Quite a few analysts say only ten or so large companies will write code at low level needed for ‘super efficiency’ every other software company will ‘write’ using natural language, that is translated into code by LLMs.
This debate has long been ongoing, and we have seen numerous efforts with both graphical and low-code programming. Some groups that do not know how to program very well have successfully created less sophisticated software using low-code approaches. With AI support, this group will surely grow and we will see more advanced computer programs designed using AI tools.
AI-vision will also play an important role here, where users can sketch the graphical part of their software, and AI can create programs to realize the sketches.
That is all. Good luck with your AI efforts.
En dag som du inte lär dig något nytt, är en förlorad dag!
