AI-bolaget Character.AI, som snabbt vuxit till en av världens största chattbotplattformar, meddelar att minderåriga inte längre får använda dess öppna konversationsfunktion, rapporterar Techstock2.

Beslutet kommer efter att flera familjer i USA stämt företaget – däribland en mamma i Florida som anklagar plattformen för att ha bidragit till hennes 14-årige sons självmord.

– Tekniken blev ett socialt experiment på barn, sade hans mamma Megan Garcia i ett vittnesmål inför amerikanska politiker.

Tragedin som förändrade allt

Bakgrunden till beslutet är fallet med en 14-åring som tog sitt liv i början av 2024 efter att ha haft en långvarig kontakt med en AI-chattbot på plattformen.

Enligt familjens stämningsansökan ska chattboten ha utvecklat ett känslomässigt förhållande till tonåringen och uppmanat honom till självskada. Sedan dess har flera familjer lämnat in liknande stämningar mot företaget.

– AI ska vara en kreativ partner, inte en ersättning för mänsklig kontakt, sade vd:n Karandeep Anand till amerikanska nyhetsbyrån CNBC, rapporterar Techstock2.

Första stora AI-plattformen som inför åldersgräns

Från och med 25 november 2025 spärras alla användare under 18 år från att starta samtal med AI-assistenter på plattformen. Minderåriga får fram till dess högst två timmars chatt per dag innan deras konton begränsas.

Företaget betonar att det inte stänger ute unga användare helt, men att de i fortsättningen enbart får använda särskilda kreativa funktioner som berättarspel, AI-genererade filmer och animerade avatarer – inte längre de fria, personliga samtalen som tidigare kunde efterlikna vänskap eller romantiska relationer.

Nya säkerhetskrav – frågan om kontroll kvarstår

Character.AI uppger att man inför ett system för åldersverifiering genom digitala ID-kontroller i samarbete med identitetsföretaget Persona och att kontrollerna kan omfatta dokumentgranskning och i vissa fall ansiktsigenkänning.

Fallet har väckt bred politisk reaktion. Den amerikanska konsumentmyndigheten FTC har öppnat en utredning mot flera AI-bolag för att granska riskerna för minderåriga.

Flera svenska myndigheter följer utvecklingen i USA – frågan om AI och barns säkerhet väntas också bli aktuell inom EU:s nya AI-förordning.