đ€Š Framsteg som DeepSeek Ă€r det pessimisterna alltid missar
AI-utvecklingen Àr pÄ vÀg in i en vÀgg, sa pessimisterna. SÄ dök DeepSeek upp och förstörde deras argument.
Dela artikeln
AI-utvecklingen hÄller pÄ att sakta ner och nÀrmar sig en vÀgg, har allt fler hÀvdat pÄ senare tid. Det pÄstÄendet bygger de pÄ att AI-modellerna har blivit bÀttre genom att trÀnas pÄ allt mer data men att det inte finns sÄ mycket ny data kvar. De har redan glufsat i sig det mesta pÄ internet, dÀrför kommer de inte kunna bli bÀttre.
Men hejsan hoppsan sÄ dök DeepSeek upp!
DeepSeek Àr en ny kinesisk AI-tjÀnst. Deras modell R1 presterade i nivÄ med modellerna frÄn Open AI, Google och Meta men kostade avsevÀrt mindre att trÀna. Anledningen var att man fÄtt den att trÀna sig sjÀlv, genom att ge den incitament att lÀra sig. NÀr du lÀr en hund att göra trick, sÄ fÄr den en godis nÀr den Àr duktig och gör rÀtt. PÄ samma sÀtt fÄr AI:n poÀng nÀr den kom fram till rÀtt svar och Àven om den resonerade pÄ ett bra sÀtt för att komma dit. Det kallas förstÀrkningsinlÀrning.
Aha!
DeepSeek började med att göra en basmodell pÄ liknande sÀtt som OpenAI och de andra. Man anvÀnder förstÀrkningsinlÀrning kombinerat med mÀnniskor som hjÀlper den att hitta rÀtt svar, ger feedback och reder ut kniviga situationer. Men för att lÀra modellen att resonera, alltsÄ att steg för steg komma fram till ett svar eller lösa ett problem, sÄ tog man bort mÀnniskorna. Den fick basmodellen, ett gÀng frÄgor som den skulle svara pÄ och sedan sjÀlv komma pÄ hur.
Den blir lÄngsamt bÀttre, men efter ett tag trillar polletten ner. Aha! Vilket Àr precis vad modellen sjÀlv kallar det, ett aha-ögonblick. Den hÄller pÄ att lösa en ekvation nÀr den plötsligt stannar och sÀger till sig sjÀlv: "Wait, wait. Wait."
Den har insett att den behöver backa och omvÀrdera sin lösning genom att gÄ igenom stegen igen. Modellen har sjÀlv lÀrt sig att ifrÄgasÀtta sitt eget resonemang och göra justeringar.
Ăven för utvecklarna Ă€r detta ett aha-ögonblick. "Snarare Ă€n att uttryckligen lĂ€ra modellen hur den ska lösa ett problem, ger vi den helt enkelt rĂ€tt incitament, och den utvecklar sjĂ€lv avancerade problemlösningsstrategier," skriver de.
SmÄpengar
Den hÀr modellen kallade de R1 Zero, eftersom mÀnniskor inte var med och hjÀlpte den. Den funkade emellertid inte att anvÀnda just av mÀnniskor, eftersom modellens resonemang ofta var svÄra att förstÄ. SÄ baserat pÄ R1 Zero tog de fram modellen R1, som byggde pÄ Zero men fick en bunt grunddata som hjÀlp, sÄ den skulle bli mer begriplig för oss köttintelligenser.
Att trÀna denna modell, R1, gjordes mycket effektivt för bara cirka 60 miljoner kronor. SmÄpotatis i sammanhanget. Det hade behövts fÀrre och mindre effektiva chips att trÀna den pÄ, vilket fick Nvidias börskurs att rasa. Nvidia gör flest och bÀst AI-chips i vÀrlden och tappade 6000 miljarder i börsvÀrde pÄ en dag. Ouch.
Reaktionen var rÀtt överdriven. Visserligen var trÀningen av R1 relativt billig, men dÄ hade inte kostnaderna för basmodellen och R1 Zero rÀknats in, och inte heller nÄgot av de tusentals utvecklingstimmar som föregÄtt trÀningen av modeller. Trots det var DeepSeek ett klart steg framÄt i effektivitet och kreativitet.
Naiva pessimister
Det Ă€r just det hĂ€r som pessimisterna gĂ„ng pĂ„ gĂ„ng missar. Ska man vara snĂ€ll kan man sĂ€ga att de lever i nuet. Deras standardargument Ă€r att om vi ska bygga X sĂ„ kommer det behövs jĂ€ttemycket av Y â och det finns inte, Ă€r otroligt dyrt, omöjligt, etcetera.
LÄt oss ta nÄgot helt annat som exempel: Kobolt i batterier. SÄ hÀr argumenterar pessimisterna:
- Kobolt bryts ofta under dÄliga villkor.
- Ska vi ha massa elbilar kommer vi behöva enorma mÀngder kobolt.
- AlltsÄ massa lidande.
- DÀrför kan/bör vi inte skala upp tillverkningen av elbilar.
Men det Àr inte sÄ det funkar. Vilket visas av den hÀr grafen. Den visar efterfrÄgan pÄ kobolt 2019, 2020, 2021 och 2022.
NÀr vi stöter pÄ brister eller problem utvecklar vi alternativ. GÄng pÄ gÄng missar pessimisterna det! Och sÄ kallar de optimister för naiva...
Brist pÄ chips ledde till...
USA har infört exportrestriktioner till Kina pĂ„ de bĂ€sta AI-chippen. Det finns med andra ord inte tillrĂ€ckligt mĂ„nga och bra chips i Kina för att trĂ€na pĂ„ samma nivĂ„ som de amerikanska konkurrenterna. Det tvingade kineserna att tĂ€nka nytt â och vips, dĂ€r hade vi DeepSeek.
JÀmför det med Elon Musks xAI. Grok 3 slÀpptes nyligen och presterar i klass med de bÀsta modellerna. Dit nÄdde de med rÄ kraft. De har byggt ett datacenter med 200 000 av de allra bÀsta GPU:erna frÄn Nvidia (och slog sannolikt vÀrldsrekord i hur snabbt man kan bygga ett sÄ stort datacenter.)
Pessimisterna kan ha rÀtt i att lÄgt hÀngande data börjar ta slut och vi dÀrmed inte kan skapa bÀttre modeller bara genom mer data. Men dels finns det massor av data som kan tillgÀngliggöras. Det var nÄgot vi i AI-kommissionen tittade pÄ. Exempelvis Kungliga biblioteket har massor av information som inte Àr digitalt och tillgÀngligt. NÀr det blir lönsamt och viktigt att tillgÀngliggöra det, kommer det ske.
Dels kommer vi komma pÄ nya sÀtt att trÀna AI-modeller pÄ. DeepSeek har tagit ett första steg i den processen, men mÄnga andra kommer att följa.
SĂ„ kort vill ingen flyga
NÀr jag lyssnade pÄ en förelÀsning med Troed Troedson sa han nÄgot trÀffande:
Vad sa pessimisten som 1903 hörde att mÀnniskan för första gÄngen flugit ett flygplan en strÀcka pÄ 37 meter?
"SĂ„ kort vill ingen flyga."
Mathias Sundin
Arge optimisten
