Artificiell intelligens röjer hat och extremism på Internet

7 april 2020

Idag flyttar allt fler antidemokratiska krafter online för att organisera hatbrott. Hittills har många våldsverkare lyckats undgå upptäckt, men inom kort lanserar forskare vid Uppsala universitet ett verktyg som identifierar hotbilder innan katastrofen är ett faktum.

Internet har öppnat dörrarna till en helt ny värld av kommunikation och demokrati. Men i takt med att gamla murar rivs tvingas vi också uppleva hur hat och terror etablerar sig online. Efter ett uppmärksammat dåd vid London Bridge i juni 2017 efterlyste dåvarande premiärminister Theresa May nya metoder för att hindra extrema ideologier att spridas via sociala medier. Tre år senare har forskare vid Uppsala universitet utvecklat Dechefr, ett digitalt system med kapacitet att hjälpa polis och säkerhetspersonal att analysera skriftlig kommunikation. Ambitionen är att avslöja hat, radikaliserade tankesätt och intentioner till våld innan katastrofen är ett faktum.

Nazar Akrami, Uppsala universitet

– Vi har matat verktyget med bland annat över 50 000 slumpvis valda texter, men också ett stort antal dokument skapade av våldsverkare och terrorister. Med hjälp av algoritmer kan vårt verktyg nu scanna hela webbplatser och med mycket hög träffsäkerhet urskilja potentiella hotbilder. Ännu återstår flera tester, men till sommaren räknar vi med att vara i mål, säger Nazar Akrami, forskare i psykologi.

Till de destruktiva krafter som snabbt ökar i omfattning hör en rad extremistiska organisationer som gått från flygblad och splittrade torgaktioner till en gemensam nätplattform där de manar varandra till handling. Bevakning av sådana antidemokratiska rörelser har hittills utförts manuellt med krav på omfattande resurser, och prognosen att med Dechefr övergå till automatiserad granskning väcker redan omfattande intresse både i Sverige och globalt.

– Nationellt har vi samverkat med Polisen och ska härnäst provköra systemet med hjälp av ett trettiotal instanser. Internationellt har vi presenterat vår forskning för Europol, flera nationella säkerhetstjänster och nu senast för finländsk polis som är intresserade av att översätta verktyget till sitt eget språk, berättar Nazar Akrami.

Med artificiell intelligens analyserar Dechefr misstänkta texter och identifierar varningsbeteenden och riskfaktorer hos skribenten. Resultaten kan användas för att göra risk- och farlighetsbedömningar av digital kommunikation. 

– När attacker och dåd planeras uppstår alltid någon form av läckage, inte minst bland ensamagerade. Det kan bestå av ordval, psykologiska markörer, nämnande av namn och platser, helt enkelt en samling variabler som tillsammans gör det i princip omöjligt att lura verktyget. Därmed inte sagt att resultatet ska uppfattas som absolut sanning, men det ger analytiker en viktig grund för mer långtgående utforskning och eventuella insatser, säger Nazar Akrami.

Dechefr når världen i en tid då en majoritet av mänskligheten är uppkopplad. Terrorism kan snabbt mobiliseras över nationsgränserna, och i sitt tal 2017 uppmanade Theresa May demokratiska stater att sluta internationella avtal i syfte att reglera Internet. Ämnet är känsligt och ännu har inga sådana pakter slutits – och Nazar Akrami betonar det nödvändiga i att hålla god marginal till både juridiska och etiska riktmärken.

– Vi har utformat verktyget på ett sätt som omöjliggör såväl otillåten användning som nätscanning i omfattande skala. Systemet ska om allt löper planenligt förvaltas av analytiker inom polis- och säkerhetstjänster, och jag är fullständigt trygg i att Dechefr kommer att utgöra exakt det stöd i kampen mot våldsbejakande extremism som vi föresatt oss.

Fakta

  • Dechefr är ett verktyg för textanalys som förenar maskininlärning, språkliga marköranalyser, psykologi kring avvikande och våldsamt beteende och statistik.
  • Dechefr är ett stöd för att identifiera hot om våld i texter. Verktyget värderar hotnivån utifrån ett antal nyckelindikatorer och genererar en samlad bedömning.
  • I arbetsgruppen som utvecklat Dechefr ingår

Nazar Akrami, institutionen för psykologi, Uppsala universitet (UU)
Katie Cohen, Totalförsvarets forskningsinstitut (FOI)
Lisa Kaati, institutionen för informationsteknologi, UU, FOI
Amendra Shrestha, institutionen för informationsteknologi, UU