CAMBRIDGE – Dinosauriernas herravälde tog slut för 65 miljoner år sedan när en asteroid kraschade i vad som idag är staden Chicxulub i Mexiko. Trots att denna klump av sten och metall inte var särskilt stor – troligen omkring tio kilometer i diameter – träffade den jorden med en hastighet på över 60 000 kilometer i timmen och genererade en explosion miljarder gånger större än den som följde på atombomben som fälldes över Hiroshima och dödade allt liv inom 1 000 kilometer.

Mer olycksbådande var att explosionen skickade upp ett massivt moln av damm och aska i den övre atmosfären, vilket blockerade solen flera år framöver. Detta förhindrade fotosyntesen och ledde till kraftigt minskade temperaturer, vilket är anledningen till att vetenskapsmän förmodar att det var detta atmosfäriska damm och sulfataerosoler som i slutändan dödade dinosaurierna, liksom många andra arter.

Om en liknande asteroid eller komet träffade jorden idag, skulle det orsaka en ny massutrotning och utplåna de flesta arter och den mänskliga civilisationen såsom vi känner den. Denna nästan osannolika möjlighet är ett exempel på en ”naturlig” existentiell risk: en händelse som inte skapats av människan, men som leder till vår arts utrotning eller närapå utrotning.

Men det finns också antropogena – människoskapade – existentiella risker. Som Oxfordfilosofen Toby Ord hävdar i sin tankeväckande nya bok The Precipice: Existential Risk and the Future of Humanity, så är det dessa risker som bör oroa oss mest nu och under det kommande århundradet.

Risk och belöning

Ord förstår att vetenskap och teknologi är mänsklighetens kraftfullaste verktyg för att lösa problem och uppnå välstånd. Men han påminner oss om att det alltid finns faror förenade med sådana krafter, speciellt när de sätts i fel händer eller utövas utan tanke på långsiktiga eller oavsiktliga konsekvenser.

Mer specifikt menar Ord att antropogena existentiella risker har nått en oroväckande hög nivå, då vi har utvecklat verktyg som är kapabla att förgöra mänskligheten utan att också utveckla den nödvändiga visdom som behövs för att inse den fara vi befinner oss i.  Han påpekar att den framstående 1900-talsastronomen Carl Sagan utfärdade en liknande varning i sin bok Pale Blue Dot från 1994:

”Många av de faror vi står inför uppstår mycket riktigt ur vetenskap och teknologi – men, i grund och botten, för att vi har blivit mäktigare utan att ha blivit jämförbart visare. De världsförändrande krafter som teknologin har applicerat i våra sinnen kräver nu en grad av övervägande och en framsynthet som aldrig tidigare har krävts av oss.”

För Ord kan denna klyfta mellan makt och vishet avgöra mänsklighetens framtid. Å ena sidan skulle vi kunna försvinna helt, eller drabbas av en kollaps som skulle utplåna de flesta av civilisationens kännetecken (från vacciner och antibiotika till konst och skrift). Men å andra sidan ser Ord i mänskligheten möjligheten till en långsiktig blomstring på en kosmisk skala: med både vishet och teknologisk uppfinningsrikedom skulle människor mycket väl kunna överleva vår planet och starta nya civilisationer ute i rymden.

Denna långtgående vision av en blomstrande utveckling väger tungt i Ords vågskål, då han förstår att det är möjligt att det inte finns andra intelligenta livsformer i universum. Om vi verkligen är ensamma skulle en massutrotning som utplånade alla på vår planet även utplåna all möjlighet till intelligent, meningsfylld existens överallt.

På grundval av detta resonemang kommer Ord fram till vad matematiker och ekonomer skulle kalla en ”lexikografisk preferensordning”. I en situation där vi bryr oss om flertalet kriterier, tillskriver en lexikografisk ordning en överväldigande betydelse till ett enskilt kriterium för att ge klarhet när två alternativ jämförs (i likhet med hur uppslagsord sorteras efter första bokstaven i ett lexikon). Till exempel, i en lexikografisk ordning där mat är överordnad tak över huvudet, skulle man alltid föredra det alternativ som gav mest mat, oavsett hur mycket mer skydd mot vädrets makter det andra alternativet gav.

Toby Ords filosofiska ståndpunkt motsvarar en lexikografisk ordning då den antyder att vi bör minimera existentiell risk, oavsett kostnaderna. En framtid där existentiell risk har minimerats trumfar alltså, oberoende av alla andra avväganden, vilken annan framtid som helst där den inte minimerats. Efter att ha slagit fast denna grundläggande hierarki, fortsätter Ord med en kunnig översikt av olika typer av antropogena existentiella risker, och drar slutsatsen att det största hotet kommer från en artificiell superintelligens som utvecklas bortom vår kontroll.

När utveckling inte är utveckling

Man kan härleda vetenskapligt drivna existentiella risker åtminstone tillbaka till de kontrollerade kärnreaktioner som möjliggjorde kärnvapnen. Ord har troligen rätt i att vår (sociala) visdom inte har ökat sedan denna ödesdigra utveckling, som nådde sin tidigare kulmen i och med bombningarna av Hiroshima och Nagasaki. Trots att vi har etablerat vissa institutioner, verktyg, normer och andra internaliseringsmekanismer för att säkerställa att vi inte missbrukar vetenskapen, så skulle ingen påstå att dessa är tillräckliga.

Ord menar att dagens otillräckliga institutionella ramverk kan vara ett övergående fenomen som kan tas itu med tids nog, bara vi överlever ett århundrade eller så framåt. ”Ty vi står vid en kritisk punkt i vår arts historia”, skriver han. ”Driven av teknologiska framsteg, har vår makt för första gången i mänsklighetens historia vuxit sig så stark att vi har kapacitet att förgöra oss själva…” Och genom att skriva boken strävar Ord efter ”att börja stänga klyftan mellan vår visdom och vår makt, för att ge mänskligheten en klar insyn i vad som står på spel, så att vi kan börja göra de val som är nödvändiga för att säkra vår framtid.”

Dock kan jag inte se några bevis för att detta verkligen skulle vara möjligt. Inte heller finns det några tecken på att samhället och våra ledare har visat någon visdom när det gäller att tygla teknologins förödande kraft.

Visst skulle man kunna argumentera för Ords optimism på grundval av vad den tyske sociologen Norbert Elias med ett bevingat uttryck kallade ”civilisationsprocessen”. Enligt Elias har ekonomisk utveckling tillsammans med framväxten av statliga institutioner med syfte att lösa konflikter och kontrollera våld sedan medeltiden lett till antagandet av seder och beteenden som främjar samexistens i massamhällen. Elias nyanserade argument för varför folk i avancerade ekonomier har blivit mindre våldsamma och mer toleranta, populariserades nyligen av den kognitiva psykologen och lingvisten Steven Pinker vid Harvard University i hans bästsäljande bok The Better Angels of Our Nature: The Decline of Violence in History and Its Causes. Bägge författarna framlägger argument för varför vi bör fortsätta att förvänta oss en förstärkning av de normer och institutioner som behövs för att kontrollera missbruk av vetenskap och teknologi.

Men även om en sådan civilisationsprocess har inverkan på individuella beteendenormer och sociala förbindelser i stort, verkar den inte ha påverkat många politiska ledare eller vetenskapsmän och teknologer. Civilisationsprocessen borde ha varit i full gång vid den första halvan av 1900-talet, men ändå använde sig den Nobelprisvinnande kemisten Fritz Haber entusiastiskt av sin vetenskapliga kunskap för att uppfinna och sedan sälja kemiska vapen till den tyska armén under första världskriget.

Inte heller fanns det många tecken på civilisationsprocessens effekter i tankarna hos de amerikanska ledare som beordrade attackerna på Hiroshima och Nagasaki, eller hos de andra politiska ledare vilka ivrigt anammade kärnvapen efter andra världskriget. Vissa kanske finner hopp i det faktum att vi inte har haft en repris på de båda världskrigen under de senaste 75 åren. Men detta hoppfulla perspektiv ignorerar flera nära ögat-händelser, inte minst Kubakrisen 1962 (som Ord börjar sin bok med).

Man kan finna många fler exempel som motsäger tanken om att vi är på väg att bli mer ”civiliserade”, för att inte tala om att bli bättre på att kontrollera antropogena risker eller odla kollektiv visdom. Om något så kommer kontroll av vårt dåliga beteende och anpassning till de ständiga förändringar som vetenskapliga upptäckter och teknologisk innovation medför att förbli en ständig kamp.

Detta innebär problem för resten av Ords argumentation. Varför ska en överordnad prioritet ges till försöken att eliminera framtida existentiella risker framför alla andra försök att förbättra det elände och lidande som våra nuvarande val orsakar nu och på kort sikt?

För argumentets skull, anta att vi märkbart kunde minska sannolikheten för vår egen utrotning genom att under de kommande århundradena förslava majoriteten av mänskligheten. Under Ords lexikografiska ordning vore vi tvungna att välja detta alternativ då det minimerar existentiell risk samtidigt som det bibehåller mänsklighetens möjlighet att blomstra fullt ut i något skede i en avlägsen framtiden.

Inte alla kommer att övertygas av detta argument. Räkna mig till dessa.

De demoniska maskinernas era?

För att klargöra vårt val ytterligare, betänk den huvudsakliga existentiella risk som Ord fokuserar på: det potentiella missbruket av artificiell intelligens. Ord uppskattar att det finns en risk på en av tio att mänskligheten kommer att falla offer för en ondskefull superintelligens (som han eufemistiskt kallar ”ojusterad AI”) inom de kommande 100 åren. Å andra sidan är hans uppskattning av mänsklighetens existentiella risk från klimatförändringen en på 1 000, och en på miljonen vad gäller kollisioner med asteroider eller kometer.

Även om många andra experter inte skulle tillmäta fullt så stor sannolikhet till hotet från en superintelligens, så är Ord inte ensam om att oroa sig för de långsiktiga effekterna av AI-forskning. Faktum är att sådan oro har blivit vanlig bland många framstående teknologiprofiler, från Stuart Russell vid University of California i Berkeley, till Microsoft-grundaren Bill Gates och Teslas Elon Musk.

Dessa tror att AI, oaktat de existentiella riskerna, kommer att medföra många nettovinster. Men även om Ord är tillräckligt välinformerad om de pågående debatterna för att veta att till och med detta sista påstående faktiskt är ganska skakigt, får hans lexikografiska ståndpunkt honom att ignorera de flesta av de icke-existentiella riskerna förbundna med AI.

Men om man accepterar att vår förmåga till uppmärksamhet är begränsad, blir en sådan prioritetsvägning problematisk. Min egen bedömning är att sannolikheten för att en superintelligens växer fram inom den närmaste framtiden är låg, och att risken för att en ondskefull superintelligens ska förgöra vår civilisation är ännu lägre. Därför skulle jag föredra om samhällsdebatten fokuserade mycket mer på de problem som AI redan skapar för mänskligheten, snarare än spännande men osannolika risker långt ut i sannolikhetsfördelningens svans.

Tillbaka till nuet

Som jag argumenterat här liksom annorstädes, håller den nuvarande färdriktningen för AI:s utformning och spridning på att vilseleda oss, vilket orsakar ett brett spektrum av omedelbara (om än prosaiska) problem. Dessa problem är långt ifrån oundvikliga och speglar inte någon form av inneboende teknologisk logik, utan de speglar val som görs (och blir prackade på oss) av stora teknologiföretag – och speciellt en liten grupp chefer, vetenskapsmän och teknologer inom dessa företag (eller deras kretsar).

Ett av de synligaste problemen som AI orsakar är den ständiga automatiseringen, som tar ifrån anställda deras jobb, främjar ojämlikhet och frammanar vålnaden av en framtida arbetslöshet för stora delar av arbetskraften. Än värre är att besattheten av automatisering har tillkommit på bekostnad av produktivitetstillväxt, eftersom den har fått chefer och vetenskapsmän att förbise mer fruktbara användningsområden för innovativ teknologi vilka skulle kunna komplettera människor i produktionsprocessen.

AI utformas och används också på andra problematiska sätt av vilka inga ger hopp för mänsklighetens moraliska framsteg. Demokratisk politik har blivit befläckad, inte enbart av en explosion av algoritmiskt förstärkt desinformation, utan även av nya AI-teknologier som har stärkt regeringars och företags förmåga att övervaka och manipulera miljarder människors beteenden.

Denna utveckling representerar ett dubbelt bakslag. Demokratisk politik är det huvudsakliga medel med vilket ett samhälle kan tygla dåligt beteende från politiska och ekonomiska eliter, och ändå är det just denna process som nu blir underminerad. Om vi inte kan hålla eliter ansvariga för den skada de orsakar för att själva demokratin har blivit skadad, hur kan vi då någonsin undfly från vår nuvarande situation?

Vi är inte hjälplösa. De problem AI orsakar kan tas itu med, eftersom de, i motsats till de existentiella risker som Ord fokuserar på, är konkreta och lätta att känna igen. Men först måste vi rikta mer uppmärksamhet mot dem för att kunna pressa regeringar och företag att vidkännas de risker som nu håller på att materialiseras. Dessutom är inte en teknologisektor som är envist hågad för automatisering samt antidemokratisk manipulation och övervakning en bra grund för att ta itu med långsiktiga risker.

Även om vi inte ska avfärda mer spekulativa risker som kan drabba mänskligheten utan vidare eftertanke, har vi inte råd att ignorera de hot som vi redan står inför. Vi kan förstås nå fram till ett bråddjup en dag, men vi befinner oss redan på hal is.

Daron Acemoglu, professor i nationalekonomi vid Massachusetts Institute of Technology (MIT, är medförfattare (med James A. Robinson) till Why Nations Fail: The Origins of Power, Prosperity and Poverty och The Narrow Corridor: States, Societies, and the Fate of Liberty.

Översättning: Bulletin. Copyright: Project Syndicate.