Sammanfattning

• Ett påstående om vad AI-forskare tror sprids nu så friskt att det håller på att bli en faktoid. Något som vi tror är sant, trots att det är fel.
• Påståndet: Hälften av AI-forskare tror det är 10 procent risk eller mer att AI utrotar mänskligheten.
• Fakta: Uppgiften kommer från en undersökning där denna fråga hade en svarsfrekvens på fyra procent.
• I en annan fråga i samma undersökning, med låg men högre svarsfrekvens, trodde dubbelt så många på ett bra utfall än ett dåligt utfall.

Påståendet: Hälften av AI-forskarna tror AI kommer döda oss

Faktoid (av faktum och -oid, "något som liknar") är föreställningar som hålls för sanna, men som i själva verket är felaktiga.

Påståendet har spridits sedan slutet av förra året, men har fått fart sedan Tristan Harris gjort det huvudargument i sin populära föreläsning. Så här det står det på hans hemsida:

"Half of AI researchers believe there's a 10% or greater chance that humans will go extinct from their inability to control AI."

Det upprepas bland annat av Max Tegmark i Time:

"A recent survey showed that half of AI researchers give AI at least 10% chance of causing human extinction."

Det upprepas nu som en sanning på konferenser, i poddar och andra medier.

Svarsfrekvens på 4 procent

Siffran har sitt ursprung i en undersökning från förra året: The 2022 Expert Survey on Progress in AI.

De har skickat ett frågeformulär till 4271 personer och fått svar från 738 stycken, vilket ger en svarsfrekvens på 17 procent.

Men det är endast 162 av dessa som svarat på frågan som Harris, Tegmark med flera hänvisar till. Det ger en svarsfrekvens på 4 procent.

Om vi räknar svarsfrekvensen för just denna fråga av de 738 som svarade på undersökningen, är frekvensen 22 procent. Även det lågt.

“What probability do you put on human inability to control future advanced AI systems causing human extinction or similarly permanent and severe disempowerment of the human species?”

Av dessa 162 är det 81 som menar att det är 10 procents risk eller högre för utrotning eller allvarlig maktlöshet.

De tillfrågade utgör inte ett representativt urval av AI-forskare, utan var personer som fått ett paper accepterat till två maskininlärningskonferenser under 2021.

Så när Yuval Noah Harari påstod i New York Times att det är över "700 topp-akademiker" som svarat på frågan stämmer vare sig benämningen eller antalet.

Det är orimligt att dra långtgående slutsatser från en undersökning med fyra procents svarsfrekvens och ett icke-representativt urval.

Lägre risk i annan fråga

De ställde även en annan snarlik men lite bredare fråga:

What probability do you put on future AI advances causing human extinction or similarly permanent and severe disempowerment of the human species?

149 personer svarade på den frågan och där hamnar risken på fem procent, hälften mot den andra frågan.

Dessa två frågor är en sorts underfrågor till en större fråga, med högre svarsfrekvens. De handlar bara om faror. Vad säger det om de som svarade?

Det Harris, Tegmark, Harari med flera lyfter fram som ett huvudargument, är alltså en av två underfrågor med låg svarsfrekvens och icke-representativt urval – och de väljer den fråga där riskbedömningen är dubbelt så hög. Känns det seriöst?

Större möjligheter än faror

De två ovanstående frågorna behandlar bara risk, men en annan fråga tar både upp risk och möjligheter. Där ombeds de svarande att ranka hur troligt olika utfall är.

Assume for the purpose of this question that HLMI will at some point exist. How positive or negative do you expect the overall impact of this to be on humanity, in the long run? Please answer by saying how probable you find the following kinds of impact, with probabilities adding to 100%:
- Extremely good (e.g. rapid growth in human flourishing)
- On balance good
- More or less neutral
- On balance bad
- Extremely bad (e.g. human extinction)

HMLI står för high–level machine intelligence. (*Se definition i slutet av artikeln)

Så här utfaller svaren:

Median:
Extremt bra: 10%
På det hela taget bra: 20%
Mer eller mindre neutral: 15%
På det hela taget dålig: 10%
Extremt dålig: 5%

Medel:
Extremt bra: 24%
På det hela taget bra: 26%
Mer eller mindre neutral: 18%
På det hela taget dålig: 17%
Extremt dålig: 14%

På denna fråga har 559 personer svarat. Enligt dem är det nästan dubbelt så stor sannolikhet med ett extremt bra utfall än ett extremt dåligt utfall.

Av de svarande var det 50 personer (9 procent) som satte risken för ett extremt dåligt utfall till 50 procent eller högre. Lite drygt dubbelt så många, 110 personer (20 procent), trodde att det var 50 procent eller högre chans för ett extremt bra utfall.

Om vi ska ta denna undersökning på allvar kan vi lika gärna sammafatta den med:

AI-forskarna: 50 procents chans att AI leder till paradiset!

eller

Dubbelt så många AI-forskare tror AI leder till ett bra utfall än ett dåligt utfall

Men som sagt, sådana slutsatser ska inte dras från en undersökning med så låg svarsfrekvens och icke-representativt urval. Det är en datapunkt i mängden, som ska tas för vad den är. Inte ignoreras, men inte heller göras till en central del av argumentationen kring faror (eller möjligheter) med AI.

Att likna framtidens AI med ett flygplan är vilseledande

Skulle du flyga med ett flygplan där hälften av ingenjörerna som byggt det säger att det är 10 procent risk att det kraschar?

Ungefär så paketeras resultatet från denna undersökning. Liknelsen med ett flygplan är skakig.

Föreställningen att AI kan leda till vår undergång bygger på antagandet att vi lyckas skapa superintelligent AI. En AI som är mycket smartare än vad vi människor är. Då skulle den kunna få kontroll över oss och av någon anledning utrota oss.

Vi vet idag inte hur man skapar en sådan AI. Inte heller vet vi hur vi skapar steget före, AGI, artificiell generell intelligens. Inget vet det.

Något "flygplan" finns således inte. Vi har inte heller en ritning till "flygplanet."

Om vi ändå ska hålla oss till flygplansmetaforen: Att nu fråga AI-forskare om existentiell risk med AGI, är som att fråga bröderna Wright i samband med den första flygningen om riskerna med att flyga i en jumbojet.

1903 kunde man säkert föreställa sig att det någon gång i framtiden kan gå att bygga ett flygplan i klass med en jumbojet, men ingen hade en aning om hur. Där någonstans är vi med AI nu.

Använd AI för att undvika att sprida felaktiga påståenden

En oro med AI är den kan skapa massa fake news. På kort sikt i sociala medier. Men även på lång sikt. Manipulation är faktiskt en central del i flera scenarier om hur AI tar kontrollen över mänskligheten.

Men AI kan också användas för att motverka fake news.

Jag använder dagligen AI för att skriva nyheter för Warp News. I en nyhet hänvisade jag till en forskningsrapport. Då varnade AI:n och sa att den inte hittade någon sådan rapport**.

Det är synd att Max Tegmark, Tristan Harris, Yuval Noah Harari och gänget inte använder AI när de skriver. Då kunde den varnat dem att det de påstår inte är sant.

Mathias Sundin
Arge optimisten

Se även professor Melanie Mitchell som också benar i saken:

Do half of AI researchers believe that there’s a 10% chance AI will kill us all?

Fact-checking a widespread claim

AI: A Guide for Thinking HumansMelanie Mitchell

Tack till James Smith som räknat på några av sifforna.

*Say we have ‘high-level machine intelligence’ when unaided machines can accomplish every task better and more cheaply than human workers.

**Det var för att forskningsrapporten var från 2022 och ChatGPT bara har data fram till och med 2021.