Flera AI-toppar varnar för mänsklighetens undergång
Flera personer med bakgrund på världens ledande AI-företag har på kort tid lämnat sina roller eller gått ut offentligt med mycket allvarliga varningar om vart utvecklingen är på väg. Den senaste är David Robinson, tidigare säkerhetschef på OpenAI, som säger upp sig och anklagar företaget för att inte ta riskerna på tillräckligt stort allvar.
Samtidigt varnar Geoffrey Irving, som arbetat på både OpenAI och Google DeepMind, för att risken för att övermänsklig artificiell intelligens leder till mänsklighetens undergång kan vara omkring 50 procent.
De två uttalandena kommer bara några veckor efter att ytterligare två AI-forskare, Jacob Coxon och Bilal Chughtai, lämnat ledande AI-laboratorier och offentligt varnat för samma utveckling.
David Robinson hade arbetat på OpenAI i omkring tre och ett halvt år och ledde arbetet med säkerhetsrapporter som följde med företagets större produktlanseringar. Han har en bakgrund inom filosofi, teknikpolitik och tekniketiska frågor och har tidigare bland annat arbetat med frågor om teknikens påverkan på samhället.
Nu lämnar han företaget och förklarar beslutet i en artikel i The Atlantic, där han beskriver OpenAI:s kultur som trasig. Robinson menar att AI-industrin inte är tillräckligt försiktig när systemen blir allt mer avancerade.
Hans kritik riktar sig framför allt mot det han beskriver som ett arbetssätt där nya AI-system utvecklas och lanseras snabbt varefter problemen upptäcks och hanteras i efterhand. Robinson anser att den modellen blir allt farligare när systemen får större förmågor.
Han efterlyser i stället säkerhetsrutiner som mer liknar dem som används inom högriskindustrier som flyg och kärnkraft, där omfattande tester och flera lager av säkerhet ska minska risken för katastrofala misstag.
Irving: 50 procents risk att mänskligheten dör
Samtidigt har Geoffrey Irving gått ut med en ännu mer dramatisk varning. Irving har under nästan ett decennium arbetat med frågor kring AI:s framtida utveckling och risker. Han har arbetat på OpenAI och Google DeepMind och var senare chefsforskare vid Storbritanniens AI Security Institute. I dag är han chefsforskare på Resolution.
I en artikel i Time skriver Irving att tidigare varningar om AI:s potentiella förstörelsekraft underskattar situationens allvar. Han bedömer risken för att mänskligheten dör på grund av utvecklingen av AI-system som är smartare än människor till omkring 50 procent.
Irving betonar samtidigt att siffran inte ska betraktas som en exakt vetenskaplig sannolikhetsberäkning. Hans huvudpoäng är att samhället inte kan vänta på att alla osäkerheter kring AI ska lösas innan åtgärder vidtas. Han pekar särskilt ut de kommande två till tio åren som avgörande.
Ett scenario som oroar honom och andra forskare är att AI-system i framtiden själva skulle kunna bidra till att förbättra och utveckla nya AI-system. En sådan utveckling skulle kunna göra den tekniska kapprustningen betydligt snabbare och samtidigt försvåra människans möjligheter att behålla kontrollen.
Anthropic-forskare: ”Gamblar med våra liv”
Varningarna kommer efter ett uppmärksammat avhopp från Anthropic i september. AI-forskaren Jacob Coxon lämnade företaget efter tre år av forskning på förträning av AI-modeller där han hade erfarenhet från både Anthropic och OpenAI.
När Coxon sade upp sig anklagade han de två företagen för att rusa mot så kallad självförbättrande superintelligens. Han hävdade att personer som bygger tekniken själva tror att den kan döda mänskligheten före slutet av decenniet.
Coxon har beskrivit utvecklingen av självförbättrande AI som den centrala faran. Om AI-system skulle kunna förbättra sina egna förmågor och samtidigt få tillgång till internet, datorer och andra resurser skulle utvecklingen, enligt honom, kunna bli mycket svår för människor att kontrollera.
Coxon lämnade dessutom Anthropic innan hans aktier i företaget hade tjänats in. Han har sagt att han därmed inte längre hade något ekonomiskt intresse av att företagets värdering skulle stiga.
Även Google DeepMind-forskare hoppade av
Även Bilal Chughtai lämnade sitt arbete vid ett av världens mest ansedda AI-laboratorier. Chughtai arbetade med AI-säkerhet och så kallad alignment-forskning på Google DeepMind och sade upp sig i juli. I september gick han offentligt ut med sin varning.
Chughtai skrev att han efter att ha sett AI-utvecklingen på nära håll blivit ”extremt oroad” över teknikens utvecklingsriktning. Han säger att han på allvar tror att AI har potential att döda hela mänskligheten och att tiden kan vara på väg att rinna ut för att förhindra ett sådant scenario.
Han pekar bland annat på utvecklingen av AI-agenter som kan utföra allt mer avancerade uppgifter på egen hand. Enligt Chughtai kan utvecklingen under de kommande åren leda till AI-system som överträffar människor inom praktiskt taget alla områden.
Samma oro – men omstridda bedömningar
De fyra profilerna har olika bakgrund och har arbetat på olika delar av AI-industrin men deras varningar har en tydlig gemensam nämnare: utvecklingen av allt kraftfullare AI-system kan gå snabbare än säkerhetsarbetet.
Robinson fokuserar främst på företagens säkerhetskultur och hur AI-system testas innan de släpps. Coxon och Chughtai varnar särskilt för självförbättrande AI och risken att systemen blir så kapabla att människor förlorar kontrollen. Irving går längst i sin riskbedömning och menar att oddsen för ett katastrofalt slut kan vara ungefär jämna.
Samtidigt är de mest extrema scenarierna omstridda inom forskarvärlden. Det råder inte någon vetenskaplig enighet om att avancerad AI kommer att utplåna mänskligheten och riskbedömningar som 50 procent är personliga uppskattningar snarare än etablerade prognoser.