Anthropic-forskare hoppar av i protest: ”Spelar med våra liv”

Jacob Coxon, 27 år, har enligt Wall Street Journal sagt upp sig från Anthropic och meddelat att han lämnar AI-branschen. I en uppmärksammad tråd på X den 9 september förklarar han varför. Han uppger att han i tre år arbetat med så kallad pretraining, grundträningen av språkmodeller, på både OpenAI och Anthropic.

”Jag sa upp mig från Anthropic i dag. Varken företaget eller OpenAI agerar ansvarsfullt. De rusar rakt mot en självförbättrande superintelligens och spelar med våra liv”, skriver Coxon på X.

Han varnar för att framtidens system blir övermänskliga och kommer att kunna ta sig in i vilka system som helst, förändra vilket område som helst över en natt och skaffa sig verklig makt och resurser. Enligt Coxon delas oron internt, även av personer som tonar ner den offentligt.

”De som bygger AI tror uppriktigt att det kan döda oss alla innan årtiondet är slut”, skriver han på X.

Coxon gör skillnad på de två företagen. På OpenAI har många enligt honom inte tagit till sig vidden av det som står på spel, medan Anthropic förstår riskerna men känner sig tvingat att ligga först, i tron att ingen annan aktör agerar ansvarsfullt. Att kliva in i detta ”slutspel” kallar han ett övermodigt vågspel som inte borde inledas från ett privat företags Slack.

Hugging Face-attacken

Han efterlyser samordning mellan de ledande AI-labben och menar att en global kapplöpning kan kräva kostsamma åtgärder, som ett tillfälligt stopp för att förbättra modellernas förmågor. Som exempel på en varningssignal pekar han på den så kallade Hugging Face-attacken. I juli uppgav OpenAI att två av bolagets avancerade modeller på egen hand utnyttjat sårbarheter och tagit sig in i delar av plattformen Hugging Faces infrastruktur under ett internt säkerhetstest.

Till sina tidigare kollegor riktar Coxon en direkt uppmaning att stanna upp och kräva andra villkor, i stället för att böja sig för tanken att utvecklingen ”ändå kommer att hända”.

Anthropic grundades 2021 av tidigare OpenAI-medarbetare och har profilerat sig som ett mer säkerhetsinriktat AI-bolag. Avhoppet är inte det första i sitt slag. Tidigare i år lämnade bolagets dåvarande säkerhetschef Mrinank Sharma Anthropic med en liknande varning om att ”världen är i fara”.

Anthropic och OpenAI har inte kommenterat Coxons uppgifter officiellt. Däremot instämde Evan Hubinger, chef för Anthropics alignmentforskning, offentligt i varningen och skrev att bolaget ”ännu inte har någon plan för att lösa alignment för superintelligens”. Han bedömer själv risken att AI utplånar mänskligheten till över 10 procent inom tio år, samtidigt som han menar att hotet från dagens modeller är lågt.