Det finns en tid f\u00f6re ChatGPT och en tid efter ChatGPT. Denna AI-tj\u00e4nst har p\u00e5verkat hur vi ser p\u00e5 AI och hur den kan hj\u00e4lpa oss. Samtidigt \u00e4r det kanske n\u00e5gra som funderar p\u00e5 hur ChatGPT fungerar och varf\u00f6r just denna AI-chat-hj\u00e4rna \u00e4r s\u00e5 bra? I denna artikel f\u00f6rs\u00f6ker jag f\u00f6rklara den underliggande tekniken. <\/p>\n\n\n\n
OBS Delar av denna artikel \u00e4r skapad med hj\u00e4lp av ChatGPT! <\/em><\/p>\n\n\n\n ChatGPT \u00e4r en s\u00e5 kallad transformer-modell, en typ av maskininl\u00e4rningsalgoritm som \u00e4r utformad f\u00f6r att hantera textdata. Den \u00e4r tr\u00e4nad p\u00e5 en mycket stor datam\u00e4ngd med text, till exempel b\u00f6cker och artiklar, och har l\u00e4rt sig att f\u00f6rst\u00e5 och generera text p\u00e5 olika spr\u00e5k. Om vi st\u00e4ller en fr\u00e5ga till ChatGPT, anv\u00e4nder den den inl\u00e4rda modellen f\u00f6r att konstruera ett svar eller en forts\u00e4ttning p\u00e5 texten.<\/p>\n\n\n\n Maskininl\u00e4rning \u00e4r ett s\u00e4tt att tr\u00e4na upp en matematisk modell p\u00e5 en st\u00f6rre m\u00e4ngd data. Denna inl\u00e4rning kan ske p\u00e5 flera s\u00e4tt och tv\u00e5 metoder som anv\u00e4nds f\u00f6r att tr\u00e4na ChatGPT \u00e4r \u00f6vervakad (“supervised”) och bel\u00f6ningsstyrd (“reinforced”) inl\u00e4rning . Dessa tv\u00e5 metoder kombineras i olika steg i inl\u00e4rningsprocessen av ChatGPT. <\/p>\n\n\n\n I \u00f6vervakad maskininl\u00e4rning (“supervised”) s\u00e5 tr\u00e4nas modellen med hj\u00e4lp av att data som i f\u00f6rv\u00e4g klassificerats d\u00e4r vi ger processen b\u00e5de input och output, dvs., f\u00f6rv\u00e4ntat r\u00e4tt svar till respektive input. Modellen l\u00e4r sig att generera r\u00e4tt output f\u00f6r ett givet input genom att f\u00f6rb\u00e4ttra sina parametrar och m\u00e5let \u00e4r att modellen ska kunna generalisera vidare och kunna f\u00f6ruts\u00e4ga r\u00e4tt output f\u00f6r ny input. <\/p>\n\n\n\n I bel\u00f6ningsstyrd (“reinforced”) maskininl\u00e4rning ger vi modellen \u00e5terkoppling i form av bel\u00f6ningar och straff utifr\u00e5n f\u00f6rdefinierade regler. En agent som agerar utifr\u00e5n modellen g\u00f6r olika handlingar och f\u00e5r \u00e5terkoppling f\u00f6r hur bra dessa fungerade. Detta \u00e4r v\u00e4ldigt kraftfullt eftersom vi kan ge agenten v\u00e4ldigt f\u00e5 instruktioner och sedan f\u00e5r den helt enkelt gissa sig fram till vad som \u00e4r r\u00e4tt utifr\u00e5n den \u00e5terkoppling den f\u00e5r. I vissa applikationer \u00e4r det l\u00e4tt att ge snabb \u00e5terkoppling medan i andra (som t.ex. schack) s\u00e5 kan det vara v\u00e4ldigt m\u00e5nga steg tills den kan f\u00e5 n\u00e5gon bel\u00f6ning eller straff. <\/p>\n\n\n\n I f\u00f6ljande exempel s\u00e5 har jag programmerat en enkel applikation f\u00f6r att tr\u00e4na upp en AI-hj\u00e4rna med hj\u00e4lp av bel\u00f6ningsstyrd maskininl\u00e4rning. M\u00e5let \u00e4r att hj\u00e4rnan ska rulla en boll \u00f6ver en yta till kuben som dyker upp p\u00e5 olika st\u00e4llen p\u00e5 ytan samt att bollen inte ska ramla ner. Bel\u00f6ningen \u00e4r 1.0 om den tr\u00e4ffar kuben och 0.1 om den i varje steg kommer n\u00e4rmare kuben. Straffet \u00e4r -1.0 om den ramlar ner och -0.1 om den r\u00f6r sig bort fr\u00e5n kuben. Under tr\u00e4ningen, f\u00e5r den som input hur l\u00e5ngt fr\u00e5n kuben den \u00e4r och sina egna X,Y-koordinater. Vidare kan hj\u00e4rnan putta p\u00e5 bollen i form av att ge den en fysisk knuff i samma plan. Jag har allts\u00e5 inte explicit talat om att m\u00e5let \u00e4r att den ska tr\u00e4ffa kuben utan det styrs helt av bel\u00f6ningssystemet. Applikationen \u00e4r skapad och tr\u00e4nad i dataspelsmotorn Unity. <\/p>\n\n\n\nMaskininl\u00e4rning<\/h2>\n\n\n\n