Det var i juni som världens mest populära schack-kanal på Youtube, Agadmator’s chess channel, som har över en miljon följare, stängdes ner av Youtube under 24 timmar. Detta skedde efter att kanalinnehavaren, kroatiske Antonio Radic, som själv är schackspelare, publicerade en video med den världsberömda amerikanska spelaren Hikaru Nakamura. 

Trots att Youtube aldrig angav något skäl till varför Antonio Radics kanal stängdes ner, bara att innehållet hade klassats som ”skadligt och farligt”, misstänkte han själv att det berodde på att han hade använt sig av begrepp som ”svart mot vit” – begrepp som är vanligt förekommande i schackvärlden. 

Nu tycks Antonio Radic ha fått rätt. Nyligen tog forskare från Carnegie Mellon University sig an ämnet ifråga och kom fram till att Youtubes egen AI, som modererar innehållet på sajten, kan ha missförstått kontexten och kategoriserat schackvideon som rasistisk. 

Med hjälp av AI-mjukvara testade forskarna att klassificera över 680 000 kommentarer från fem schackinriktade Youtube-kanaler. Efter att manuellt ha gått igenom 1 000 av de inlägg som hade klassats som ”hatkommentarer” kom forskarna fram till att 82 procent av dessa hade blivit felaktigt kategoriserade, på grund av ord som ”svart”, ”vit”, ”hot” och ”attack”.

AI når inte mänsklig nivå

Hur kan AI ha misstolkat något som schackspel och kategoriserat det som rasism? Kortfattat är svaret att mjukvaran förmodligen ännu inte har lärt sig att förstå sammanhanget där orden förekommer. Detta gäller inte enbart för Youtube, utan även för andra plattformar där AI-moderering används.

– Den vanligaste inlärningsmetoden för den AI som jobbar med moderering är supervised learning – den lär sig från färdigklassificerade exempel. Moderna varianter av sådan AI använder så kallade ”neuronnät” eller djupinlärning, säger Olov Andersson, AI-forskare på Linköpings universitet.

”Även om AI har gjort stora framsteg de senaste åren så når man fortfarande inte upp till mänsklig nivå inom de flesta områden.”

Olov Andersson säger att AI:n lär sig genom att man matar den med innehåll som i förväg har flaggats som ”önskat” eller ”oönskat”. Ofta är det användarna av en sajt som själva, genom att till exempel flagga ett inlägg som olämpligt, matar AI:n med data. När det sedan finns tillräckligt många exempel att utgå ifrån har AI:n själv lärt sig att klassificera innehållet. Denna inlärningsmetod används i många sammanhang och inte bara för att kategorisera ”hatinnehåll”. 

– Man kan be människor att i förväg kategorisera bilder på hundar eller katter. När man sedan ger AI:n en ny bild har den lärt sig att bedöma om den med sannolikhet visar en hund eller en katt. 

Ännu har dock AI i de flesta fall inte hunnit lära sig att tyda inlägg med samma fingertoppskänsla som en människa, vilket leder till felkategoriseringar av olika inlägg.

– Även om AI har gjort stora framsteg de senaste åren så når man fortfarande inte upp till mänsklig nivå inom de flesta områden. Så man kan inte förvänta sig en precision på mänsklig nivå, säger Olov Andersson.

”Behövs mer mänsklig inblandning”

Olov Andersson säger att om man tittar på klassificeringar så har prestandan för AI förbättrats med tiden. För tio år sedan gjorde tekniken ett stort hopp uppåt när man började använda djupinlärningsmetoder.

Djupinlärning med neuronnäten handlar om att AI lär sig hantera data på ett mer abstrakt sätt, som en människa skulle göra.

”AI är ett verktyg och som med alla kraftfulla verktyg får man vara försiktig med hur man använder dem.”

Mycket av den moderna forskningen inom den typ av AI som specialiserar sig på text och tal har fokuserat på att lära den tyda längre sekvenser och sammanhang av ord, eftersom kontext är viktigt för att tolka innebörden av vad någon säger eller skriver.

– Nu ser vi en stadig förbättring över tid men det är ännu oklart hur långt vi kommer med nuvarande metoder. Frågan är om vi når hela vägen med neuronnäten eller om vi behöver ett till paradigmskifte. 

Med tanke på AI:s felkategoriseringar av vissa inlägg, finns det en risk att en utökad användning av AI på digitala plattformar minskar yttrandefriheten?

– AI är ett verktyg och som med alla kraftfulla verktyg får man vara försiktig med hur man använder dem. Jag skulle säga att problemet är att AI inte är tillräckligt bra än, och att det behövs mer mänsklig inblandning. 

Olov Andersson tillägger dock att människors bedömningar av text och tal inte alltid heller är hundra procent korrekta, och det finns stora variationer i kunnande även mellan människor.

– Om du tänker dig tech-support med människor så kan det behövas flera ”lager”. Om de första personerna du kontaktar inte kan hjälpa dig skickas du vidare till andra. Så kan man också använda AI, som ett bra första lager som filtrerar ut text, och sedan krävs en människa för att lösa de svårare situationerna.  

”Varje dag förbättras tekniken”

Bulletin har kontaktat Youtubes ägare Google och ställt frågor kring hur Youtube modererar inlägg, hur deras AI fungerar samt hur företaget arbetar för att värna användarnas yttrandefrihet och för att fler missförstånd som den med schackvideon inte ska uppstå. 

”Ju mer våra maskiner lär sig att känna igen, desto bättre blir de.”

I ett mejl svarar Googles kommunikationschef i norra Europa, Mark Jansen, bland annat att Youtube använder sig av både människor och maskiner i sin moderering:

”På YouTube laddas det upp över 500 timmar video varje minut. Givet den omfattningen så måste vi i granskningsarbetet förlita oss på en kombination av maskininlärning och mänsklig granskning. De senaste åren har vi markant ökat antalet personer som arbetar med de här frågorna, och på Google som helhet uppgår antalet nu till ungefär 10 000 personer.”

Han skriver vidare att företagets AI blir allt bättre på att sålla bland innehållet: 

”Maskininlärning som teknik lämpar sig väl för att upptäcka mönster, alltså hitta innehåll som liknar annat innehåll som redan har tagits bort. Ju mer våra maskiner lär sig att känna igen, desto bättre blir de. Så varje dag förbättras tekniken, till exempel när det gäller att se till att trakasserier och liknande inte förekommer. Vi samarbetar och diskuterar också löpande med en rad experter i hur uppdateringar av våra policyer bäst kan säkerställa öppenheten på plattformen.”

I mejlet skriver Mark Jansen också att Youtube har rutiner som gör att det snabbt går att granska och återställa en video som har tagits ner av misstag, vilket gjordes i fallet med Antonio Radics schackvideo.

”I just det här fallet så överklagade kreatören ifråga borttagningen och vi återställde videon omgående”, avslutar han.

TEXT: Ana Cristina Hernández

ana@bulletin.nu