AI-systemer brukt i folkemordet
På denne siden finner du lenke til våre digitale infoark som gir en oversikt over AI-systemene som tilsammen også er kjent som “en fabrikk for massedrap”. Systemene brukes aktivt til å overvåke, spionere, spore og bombe sivile palestinere og infrastruktur over hele det okkuperte palestinske territoriet i Gaza og Vestbredden. Systemene brukes, ikke bare som en del av det pågående folkemordet, men har vært en del av okkupasjonsmaktens Apartheid-regime i flere år allerede.
Innholdsfortegnelse
Her finner du infoarkene:
Informasjon om AI-systemer brukt i folkemordet mot Palestina
I infoarkene finner du også informasjon om Project Nimbus - milliardavtalen mellom Google, Amazon og okkupasjonsmakten som tilgjengliggjør skyplattformene og alle tilhørende teknologier fra Google og Amazon for okkupasjonsmaktens datasystemer og AI-modeller og applikasjoner fra blant annet Palantir, ulike tech-startsups og akademia.
Her kan du lese mer detaljert analyse av systemene
Hvilke systemer
Flere av systemene, som f.eks. The Gospel, Where’s Daddy og Lavender, er godt dokumentert av både uavhengige menneskerettighetsorganisasjoner og medier verden over. Infoarkene inneholder i tillegg en rekke andre systemer som er mindre kjent.
To store etterforskninger ble gjort av +972Mag [1] i november 2023 og april 2024 (og senere gjengitt av The Guardian). Okkupasjonsmakten bekreftet deretter i juni 2024 i en pressemelding bruken av The Gospel og Lavender på sine egne nettsider der de også benektet den kriminelle bruken av AI-systemene. Vitnesutsagnene til denne artikkelens kilder tilsier noe helt annet.
Hvem utvikler systemene
Utviklingen av AI-systemene utvikles pr dags dato i et eget direktorat som samler forskere og utviklere. Tidligere ble utviklingen gjort i egne militære enheter slik som Unit 8200, noe som er bekreftet i flere publikasjoner fra okkupasjonsmakten (bl.a. her, og bruken av systemene er også bekreftet her).
Hva gjør systemene
Felles for alle systemene er at deres AI-modeller trenes og mates inn med data fra flere separate datakilder. Fra land, luft og vann samles det ekstreme mengder data fra:
- Mobilsamtaler, mobildata, satellittbilder, mobiltelefoners kamera, mikrofon, lokasjon og innhold (kontakter, bilder og opptak).
- Radiosignaler, geografisk informasjon og seismisk data målt under vann.
- Overvåkningskameraer, person-identifiserende kameraer, sensorer på bakken, video og fotografier fra droner og F35-fly.
- Data og chat-historikk fra sosiale medier som WhatsApp, Facebook, Instagram, TikTok, Telegram og X/Twitter. I tillegg kommer informasjon fra spioner på bakken.
Systemene sender ikke ut automatiske beslutninger til troppene, men produserer flere titalls forslag over mistenkte personer og objekter basert på dataene som samles inn. Systemene brukes av etterretningsoffiserer som er pålagt å kontrollere forslagene gjennom såkalte SOPer (standard operating procedures), men etterforskningen til 972Mag har vist at SOPene ikke ble fulgt.
Litt ekstra om ulovlig spionasje og tyveri av data fra Meta’s apper:
Meta avviste i fjor at okkupasjonsmakten har fått tilgang til private data, men bevisene tilsier noe annet. Flere sikkerhetshull har blitt kjent i WhatsApp det siste året, og vi vet også fra før at okkupasjonsmakten har brukt spionvaren Pegasus for å spionere på journalister og menneskerettsaktivister for å stjele data og spionere. Etterretningsselskapet som lager Pegaus ble like før jul 2024 dømt i den amerikanske retten og kjent skyldig i ulovlig spionasje.
Systemene har hver for seg ulike roller og bruksområder. Her er en oversikt:
-
The Alchemist
System for identifisering og varsling av potensielle angrep. Systemet brukes for å predikere trusler basert på massive menger data fra de mange ulike datakilder listet over. Systemet er designet for å kontinuerlig lære av historiske hendelser, trender og mønstre for å kunne predikere potensielle angrep. Når en trussel er identifisert, sendes et varsel til en mobil enhet (f.eks en tablet) som bæres av offiserer på bakken. Informasjon om dette systemet finnes på okkupasjonsmaktens egne nettsider. Dette systemet ble utviklet i 2020 og brukt i 11-dagers krigen i 2021. Selve navnet kommer fra Paulo Coelhos bok “The Alchemist”. -
Lavender
Systemet analyserer massive mengder med innsamlet data for å lete etter palestinere med antatt tilkobling til Hamas og PIJ. Lavenders AI-modell mates først inn med lister av kjente militante palestinere for å lære seg deres særtrekk (hva de eier, hvordan de prater og med hvem, hvor de befinner seg). Alle andre palestinere sammenlignes så mot disse særtrekkene ved at det beregnes en prosentvis score for hver person. Lavender oppretter lister over personer som får en score over en vis terskelverdi (mer om dette lenger nede). Listene mates deretter inn i The Gospel og “Where’s Daddy”. Lavender ble dokumentert i dybden av +972Mag i denne artikkelen. Scoring-systemet baserer seg på sjokkerende mengder privat informasjon: WhatsApp-samtaler og grupper, telefon-kontakter, mobildata, bilder på mobilen, overvåkningsdata, boligadresser, telefonnummere, mobiltelefoner (selve enhetene selges og kjøpes brukt). -
Where’s Daddy
Sporer personer, hovedsaklig menn, antatt å ha tilknytning/tilhørighet til Hamas. Systemet varsler når disse personene ankommer hus og hjem. -
The Gospel
Som Lavender, men for bygninger. Identifiserer og lager lister over bygninger og strukturer som antas å en tilknytning til Hamas og andre grupper. Systemet kan gi et estimat på antatte sivile tap gjennom å analysere bilder og opptak fra kameraer, droner og fly med bilde-gjenkjenning og antallet smarttelefoner som pinger telefonmaster nær bygninger/strukturer som blir identifisert. -
The Fire Factory
Lager angrepsplaner ved å velge våpentyper og tilgjengelige ressurser som fly, droner, tanks, soldater osv. -
Depth of Wisdom
Big Data applikasjon som ble utviklet allerede rundt 2020-2021 for å kartlegge tunneller under bakken i Gaza. Det finnes svært lite informasjon om dette systemet. -
Hunter - Systemet beskrives av okkupasjonsmakten selv som en “Google Maps”-aktig applikasjon som viser en oversikt over alle indikasjoner på trusler hvor som helst i Gaza i sanntid. Systemet aggregerer live-data fra sensorer (plassert overalt i Gaza), allerede innsamlet data fra øvrige systemer i tillegg til historiske data. Etterretningsoffiserer bruker systemet til å avgjøre om de skal angripe identifiserte trusler.
-
Flow - Et system vi vet finnes men som vi ikke har nok informasjon om. The Washington Post skriver at dette er et system som tillater soldater å gjøre spørringer i ulike datakilder. Vi vil oppdatere denne siden straks vi har kilder med mer nøyaktig info.
Hvordan genererer AI-modellene lister?
For å svare på dette, må vi først diskutere hvordan AI-modeller velger sine svar til brukere. AI-modeller returnerer prediksjoner basert på statistisk beregning av sannsynlighet. Denne beregningen er basert på data AI-modellen trenes opp med - jo mer data og jo bedre kvalitet i dataene modellen trenes med, jo bedre beregninger klarer den å gjøre. Først etter at en AI-modell er trent på eksempel-data, vil den kunne brukes på sanntidsdata som mates inn av etterretningsoffiserene.
Når en AI-modell blir bedt om å avgjøre om noe rett eller galt, svarer den ofte bare med et tall eller et intervall, f.eks. mellom 0% og 100% eller et tall mellom 0 og 1. Dette tallet forteller hvor sikker AI-modellen er på en prediksjon. Jo høyere tallet er, jo mer sikker er modellen. I denne sammenhengen kaller vi derfor dette tallet for sannsynligheten for at noe er sant.
Det er vanlig at AI-modeller returnerer mulige svar [2] sammen med ett sannsynlighetstall, enten alene eller i et intervall med en median score. Så er det opp til utviklerne av datasystemene (som bruker AI-modellene) hvordan og hvilket svar fra AI-modellen systemet velger å presentere til operatørene (ofte etterretningsoffiserer). Dersom AI-modellens resultater inneholder flere svar, brukes ofte svaret som har høyest sannsynlighetstall.
Eksempel: En AI-modell er trent til å gjenkjenne objekter i et bilde. Du har en database med bilder og ønsker å finne alle bilder som inneholder en bil. Når du gir et bilde til AI-modellen, vil modellen sammenligne ditt bilde, med særtrekkene den lærte fra bilder med biler som modellen ble trent opp med.
Resultatet fra modellen er ofte et desimaltall mellom 0 og 1, og et bilde som inneholder en bil ville muligens gitt deg et tall over 0.90 mens bilder uten ville gitt tall under 0.5. Disse tallene regnes om til prosent. AI-systemet Lavender bruker denne metoden for å klassifisere palestinere som enten terrorister eller sivile.
Hvorfor er alt dette problematisk?
Her er det to alvorlige problemer i måten okkupasjonsmakten bruker AI-modellene:
Det ene er lave terskelverdier i datasystemene når de mottar svarene fra AI-modellene og det andre er feil i prediksjoner. Det som er særlig alvorlig er hvor lett det kan oppstå feil i beregningene av sannsynlighetstallene. Som skrevet over, Lavender sin scoring-system baserer seg på sjokkerende mengder privat informasjon. Hvem du er i gruppe med i WhatsApp, om navnet ditt ligner en kjent militant kriger, måten du skriver på, hvor du beveger deg, hvem du ringer, hvilke telefonnummere du bruker og mye mer - alt dette kan øke scoren og gjøre at AI-modellen mener en person er en kriger. Kommer scoreen over terskelverdien i systemet blir personen merket og lagt på en listen over forslag til bombemål.
Terskelverdier:
I AI-modeller forteller terskelverdien om et svar kan godtas eller ikke. Sannsynlighetstall under en gitt terskelverdi gjør at det tilhørende svaret/prediksjonen ikke godtas. I datavitenskapen er det vanlig at terskelverdier settes høyt slik at man kan måle hvor god AI-modeller faktisk er. Det er utviklerne og brukerne av datasystemene som bestemmer hva terskelverdiene skal være når de velger hvilke svar de godkjenner fra AI-modellene.
Terskelverdiene på systemene okkupasjonsmakten bruker er derimot senket - man godtar med andre ord mange flere svar med større usikkerhet og med minimal menneskelig verifisering. Resultatet er lister over tusenvis på tusenvis av palestinere som mister sine liv i hensynsløs bombing.
Feil i prediksjoner:
Stikkprøver av Lavender har videre vist at AI-modellene ofte ikke ser forskjellen på kommunikasjonsmønstrene hos nødhjelpsarbeidere, politi og soldater. I krig og desperasjon bytter og låner mange bort telefoner mellom familiemedlemmer, venner og naboer.
Dette er også bekreftet av The Washington Post i deres nyeste artikkel der de har intervjuet kilder innad i okkupasjonsmaktens styrker. Vi vet også at mange eksisterende AI-modeller gjør feil i tolkningen av det arabiske språket når det kjøres tekstanalyser av SMS’er, chat-logger og offentlig data.
Her er hva dette betyr: Mange flere uskyldige palestinere av alle aldre dør fordi okkupasjonsmakten godtar prediksjoner med lavere sannsynlighetstall eller -intervall. Grunnet strengt hemmelighold finnes det dessverre ikke mye informasjon om de nøyaktige terskelverdiene eller måten svarene fra AI-modellene velges av okkupasjonsmaktens etterretningsoffiserer.
Våre kilder
Mye av det vi vet om AI-modellene og datasystemene kommer fra etterforskende journalistikk fra blant annet +972Mag, The Guardian, The Washington Post, The New York Times og fra menneskerettsorganisasjoner tilstede i Gaza og Vestbredden slik som Al Haq og Hamleh. Flere av disse kildene har intervjuet avhoppere og andre på innsiden i okkupasjonsmaktens styrker. En rekke detaljer er også bekreftet og publisert på okkupasjonsmaktens egne nettsider (bl.a. om Lavender og The Gospel). Videre har vi brukt tall og data fra FN (spesielt OCHA og RelifWeb) og medier slik som Middle East Monitor (MEMO) som har ansatte på bakken i Gaza.
Footnoter: