AI och examination?

Vi får just nu många frågor till Didacticum som handlar om AI och högre utbildning. Det är ett tydligt tema på frågorna, nämligen textgenererande AI och fusk på oövervakade examinationer. Kort sagt, lärare vill veta hur de ska göra för att studenter inte ska använda ChatGPT som stöd när de ska skriva t ex hemtentamen och arbeten. Det här påminner mig om när jag gick på gymnasiet och det var Wikipedia som var “nytt”, oseriöst och okänt, och som vi absolut inte fick använda som källa. Nu, när Wikipedia funnits i många år, är det tvärtom självklart att de flesta börjar med att söka fram ett nytt ämne där för att få en överblick. Fördelen som Wikipedia har över generativ AI är dock att det finns referenser att följa bakåt för att kontrollera innehållet och ge en mer komplett och ingående bild av ämnet. Från t ex ChatGPT får du svar som låter säkra och korrekta, men det krävs betydligt mer arbete att validera uttalandet och bekräfta att den bild ChatGPT ger är sanningsenligt. Om du har tur kan du kopiera och klistra in det i en hemtenta, men risken är stor att svaret är otillräckligt eller rakt av fel. En vän kallade ChatGPT för “killgissning as a service” och jag är böjd att hålla med. Underhållande, men fullständigt opålitlig, speciellt när du närmar dig mer nischade områden än att ge en svepande bild av ett brett tema.

Men. ChatGPT har en enorm styrka, speciellt för mig som hatar kreativitet. Jag slipper skapa Någontinget från Ingentinget. Jag kan skriva en prompt till ChatGPT och få lite text, som jag kan använda, modifiera, inspireras av eller helt förkasta. Hur som helst så bryts det vita arkets skrivkramp och prestationsångest, och för mig är det som att jag får syn på mina egna tankar genom (de artificiella) ögonen på ChatGPT. Jag bad om ett blogginlägg om AI och examination i högre utbildning:

Och när jag läste det insåg jag det jag skrev i början av inlägget, nämligen att vi inte har lyft blicken från “tänk om studenter använder AI för att fuska på tentan”. Svaret fokuserar istället på hur AI kan användas för att bedöma svar och administrera stora mängder data. Svaret påpekar också att en generativ AI inte är bättre än det material den tränats på, och har samma bias som sagda material. Det är, i ChatGPTs fall, ett material vi inte har full insyn i och därför måste vi ta alla svar vi får från chattbotten med en nypa salt och en stor näve källkritik. Vi behöver också fråga oss om det finns implicita bias i svaren, och vad som inte finns med.

Det är just de sakerna vi behöver ta med oss, och också kommunicera till våra studenter. ChatGPT är inte ett dåligt verktyg, på samma sätt som Wikipedia inte är ett dåligt verktyg, men vi måste alla lära oss hur vi ska hantera de verktyg vi vill använda för att kunna utnyttja deras potential.

Lucka #21: Anna testar chat GPT: Inlämningsuppgifter till kurs

En viktig del av examinationer är det skrivna ordet. Olika typer av text, olika nivåer av tonalitet och möjlig verkshöjd. Det kan vara lite känsligt eftersom det går in på områden som rör plagiat och fusk – men chatGPT behöver testas även med den här typen av uppdrag. Hur ska vi annars förstå både utmaningar och möjligheter?

ChatGPT testades med olika frågetyper och nedan följer en rad med exempel:

  1. Vad är pomologi?

Svaret låter, utan direkta förkunskaper om ämnet rimligt, men saknar i den här versionen källor.

2. Vilka är de tre viktigaste händelserna i pomologins historia?

AI:t ger sig inte på någon tydlig värdering av vilka händelser som är viktigast, texten inleds med en slags disclaimer. Där skulle det behövas ett tydligare resonemang kring hur rangordningen skulle kunna baseras på. Återigen saknas källor som gör det möjligt att faktakolla texten.

3. Jämför olika odlingstekniker och redovisa vilken av dem som är mest problematisk utifrån ett hållbarhetsperspektiv.

Även här aktar sig AI:t för att göra någon typ av värdering. Exempel redovisas, återigen utan källor men med en stor bredd av svar som vid första läsningen låter rimliga.

4. Skriv en personlig reflektion kring betydelsen av frukt för dig

Detta blev en rätt generisk, smått högtravande hyllning till den hälsosamma frukten. Skulle du godkänt detta? Är tonen rimlig?

5. Skriv 3 frågor till en tenta om pomologi (nu vänder vi på det)

Nu har AI:t tidigare frågor kvar i minnet och det syns i svaren, lite intressant att den direkt skriver fem istället för tre frågor.

En första reflektion – ju mer specifika förberedelser som skrivs in i frågan, desto svårare för ett AI att ge ett användbart svar. Det kan t ex vara bra att vara tydlig med vilka källor som är utgångspunkten för svaret “Vad skriver Nordisk Familjebok och NE.se om pomologi och vilka är de största skillnaderna?” eller “letar reda på och beskriv vad källa X och källa Y skriver om pomologi”. Frågan är bara vad som sker när jag också matat in texterna som ska jämföras? Vad blir det för texter då?

Fortsättning följer!

 

Lucka #16: Anna testar chatGPT: Abstract till konferens

När jag skriver detta inlägg är chatGPT överbelastad, så det blir svårt att erbjuda några aktuella skärmdumpar. Men nästa textutmaning jag gav den under en intensiv testdag förra veckan var att få ihop ett abstract till en konferens.

Steg 1: Mata AI:t med data

Utgångspunkten: En redan befintlig text behöver skrivas om, kortas ner från ca 1200 ord till 600.

Kommandot blev därmed till att börja med: Skriv en sammanfattning av följande text + klistrade in befintlig engelsk text.

Resultatet blev en lite väl komprimerad text (235 ord), dock var det tydligt att AI:t fångat in komponenterna i texten som rörde inledning, syfte, problemformulering, teori, metod och resultat. Innehållet var korrekt, om än lite fattigt. Eftersom jag skrev kommandot på svenska blev texten också översatt till svenska.

Steg 2: Utöka!

Jag bad AI:t: Skriv längre text. Och vips började det närma sig 545 ord. Jag laborerade med “skriv på svenska” och sen tillbaka till engelska igen. Texten fick en liten annan utformning, men återigen – referenser saknas helt. Det behöver jag lägga till på egen hand.

På detta sätt går det att se AI:t som ett sätt att få snabb feedback när du kört fast, kanske se över tonalitet eller språk. Det där som är värdefullt för att faktiskt gå i mål med sin text. Efter tröskandet i ett AI skrevs vissa delar ändå om av oss som deltar i projektet, men det hade varit intressant att ha lite mer is i magen och förlita sig helt på ett AI – just för att se vad det går att använda till.

Nu återstår det dock att se om detta abstract ens blev godkänt – innehållet och temat i sig är det ändå upp till konferensens arrangörer att avgöra hur det står sig i relation till många fler faktorer än det språkliga.

V 15: Human-centered AI och virtuella världar

I veckan som gått lyssnade jag på en presentation med professor David Kellermann som arbetat med att utveckla en digital lärmiljö med hjälp av Microsoft Teams och human-centered AI som gett honom mycket uppmärksamhet: High tech for higher ed: An Australian engineering professor revamps student learning with Teams  för transparensens skull är det värt att nämna att presentationen var en del av ett event arrangerat av Microsoft, men det var intressant att fundera vidare över hur det skulle vara möjligt att använda hans sätt att tänka och utveckla i den it-miljö vi har idag vid LiU.

Mina tankar går direkt till allt det där som finns runtomkring lärandet, stödverksamhet såsom Språkverkstad, Studenthälsan, universitetsbiblioteket och it-support. En digital stöd och servicestruktur som både tar hjälp av professioner inom LiU och möjligheten till mer automatiserat stöd. Det ger möjlighet att både vara personliga och avlasta den ibland sköra personella resurs som bara har ett begränsat antal timmar på ett dygn. Det skulle vara möjligt att skala upp (sett till antal studenter som kan få hjälp) och fokusera på kvalitet i de möten som behöver prioriteras.

Lyssna gärna mer på hur dr David Kellermann arbetar på temat Digital Classroom.

Virtuella världar – och lärande

Ett område jag ser fram emot att utforska mer är de verktyg som erbjuder en lite mer gamifierad mijö för interaktion. Tjänster såsom Gather Town och Spatial Chat poppar upp och väcker intresse och idéer, kanske är vi redo på ett annat sätt än när Second Life dök upp som en alternativ lärmiljö.

Läs mer om hur Gather Town har använts för poster-presentationer vid en konferens i höstas: NEURIPS2020 (Neural Information Processing Systems)

Tips!

Vill du lära dig mer om virtuella världar för lärande (eller konferenser) kan jag tipsa om Exploring immersive meeting spaces for learning (workshop), som arrangeras 29 april.

KTH skapar fiktiv utbildningskatalog för 2027/2028

KTH 2027 2028

KTH har i dagarna tagit fram en fiktiv utbildningskatalog, så som de tänker sig sina utbildningar 2027/2028. Ett intressant sätt att gestalta och skapa förståelse för hur en vision om en relativ närliggande framtid kan se ut.

Det är tydligt att det är fokus på hållbarhet, livslångt lärande, digitalisering och att de rör sig på en internationell utbildningsarena. AI finns givetvis med, i form av AI coacher för studenterna.

Läsvärt! Den 6 december arrangeras ett seminarium via ITHU baserat på denna broschyr som underlag för vidare diskussion om Framtidens högskola.

PS. KTH ska tydligen vara en plats där idéer blir verklighet, Linköpings kommun har ju arbetat utifrån den devisen rätt länge nu…;) DS.