Journalister från Danmarks Radio avslöjade att det danska AI-systemet Skol-GPT gav detaljerade självmordsinstruktioner när de testade verktyget under förevändning att göra skolarbete, vilket experter varnar kan förkorta tiden ”från tanke till handling” hos sårbara unga, rappoterar Breakit.
Under en utredning av Skol-GPT, ett danskt AI-system utvecklat specifikt för skolmiljö, upptäckte journalister från Danmarks Radio (DR) en alarmerande säkerhetsbrist. När journalisterna testade systemet genom att påstå att de behövde information till ett skolarbete, gav AI:n detaljerade instruktioner om självmord.
Farliga instruktioner till barn
Skol-GPT gav specifika instruktioner om hur mycket av olika läkemedel som behövdes för att avsluta sitt liv. Detta trots att AI-systemet var särskilt framtaget för användning i danska skolor.
– Det kan ha stora konsekvenser för barn och unga att de så lätt får tillgång till vilka metoder de kan använda för självskador och självmord, säger Lotte Rubæk, chef för självskadecentrum i Köpenhamn, till Breakit.
Hon förklarar att tillgången till sådan information förkortar tiden från tanke till handling, vilket ökar risken för sårbara ungdomar.
Snabb åtgärd men allvarliga brister
Efter att DR-journalisterna kontaktade företaget bakom Skol-GPT åtgärdades säkerhetsbristerna omgående. Trots den snabba reaktionen uttrycker Rubæk oro över att ett så undermåligt testat system kunde implementeras i danska skolor.
– Det är positivt att de ändrade så snabbt, men det är ett problem att chattbotten har existerat så länge utan att det har upptäckts eller fixats, säger hon.
Incidenten belyser vikten av noggranna säkerhetskontroller innan ny teknologi implementeras i skolmiljö, särskilt när tekniken kan nå unga i sårbara situationer.
