Met AI wordt al langer geprobeerd om realistische dingen te produceren die nauwelijks van de echte te onderscheiden zijn. Denk aan het genereren van de speelomgevingen in videospellen, of het maken van realistische uitziende landschappen in fantasy-films. Daarmee blijven we nog in een context waarvan iedereen weet dat ze virtueel is. Je mag je echter gerust ongemakkelijk beginnen voelen bij deze: iedere keer dat je naar thispersondoesnotexist.com surft, krijg je een volledig AI-gegenereerd fotorealistisch gezicht te zien. Het fenomeen van “deepfakes”, waarbij iemands hoofd in een video kan worden vervangen, is een uitloper in dezelfde zin.

Genereren van realistische teksten en foto’s: je beseft onmiddellijk dat dit een handige tool kan zijn voor scammers, die met betere valse profielen en berichten gemakkelijker iemand kunnen oplichten. Plots moet je al goed gaan opletten om er niet in te trappen. The Verge beëindigde hun artikel daarover onheilspellend: “dit is slechts de beleefde introductie tot wat ons nog te wachten staat…”. Een objectievere risico-analyse wordt gegeven in dit lijvige rapport van enkele universiteiten.

Maar laat ons vooral zelf eens in detail kijken naar zo’n stukje gegenereerde tekst van OpenAI:

Gimli was a tall and powerful man, and he had a beard and a moustache. He was also a dwarf, and he had a strong build, and he was covered in tattoos. He was not a man who looked like a hobbit.

Daaruit blijkt:

• De grammatica is nagenoeg perfect.
• De thematiek blijft behouden over de zinnen heen.
• De inhoud van de zinnen is echter niet altijd onderling consistent.
• Stilistisch is het wat slordig: veel in herhaling vallen.

Tekstgeneratoren bestaan al langer, van bijvoorbeeld academische papers of new-age bullshit . Waar de teksten die daar uit komen nog eerder samenraapsels zijn van jargon, vraagt de output van het OpenAI-model toch al een aandachtiger lezing om te beseffen dat er iets niet klopt. Er is ook al langer een merkelijke stijging in het aantal mensen dat zich laat vangen door oplichters die er in slagen steeds realistischer, soms sterk gepersonaliseerde, berichten te sturen. Ook complottheorieën en kwakzalverij vinden steeds meer weerklank. En hoewel hoaxes van alle tijden zijn, staat desinformatie met politieke doeleinden de laatste jaren in het middelpunt van de aandacht onder de noemer fake news.

Daarom is het nuttig om eens te reflecteren over wat dit kan betekenen in de nabije toekomst. Is normale kritische zin binnenkort nog wel voldoende om echt van vals te onderscheiden? En wat is daarbij rol van de grote gratis online platformen, die ons online leven beheersen?

Spear phishing

Spear phishing is een gepersonaliseerde vorm van phishing waarbij de aanvaller een welbepaald doelwit viseert en zijn aanval personaliseert voor dat doelwit. Het heeft weinig zin om te proberen paswoorden te achterhalen via een Belfius-phishingmail als het doelwit klant is bij Axa. Traditioneel gebeurt spear phishing op kleine schaal en worden vooral mensen in belangrijke posities geviseerd (bvb CEO fraude). Het is immers nodig om zoveel mogelijk gegevens te verzamelen over het slachtoffer om de aanval te doen lukken, en dat was vooralsnog langdurig manueel werk.

De grootschalige adoptie van sociale media maakt het mogelijk om zulke gepersonaliseerde aanvallen op grotere schaal uit te voeren. Iemands profiel en berichten van Twitter, Facebook, LinkedIn, Instagram, … downloaden en analyseren op thematiek, plaatsnamen, likes etc. kan allemaal volautomatisch. Exact dezelfde technologie wordt al lang gebruikt om je gepersonaliseerde advertenties voor te schotelen op allerlei websites. Een scammer hoeft hetzelfde concept maar toe te passen op phishing mails – wat de geloofwaardigheid dusdanig zou kunnen verhogen dat het soms al laser phishing wordt genoemd.

Een lichtpunt is wel dat spamfilters en scamdetectoren ook van AI gebruik kunnen maken om dit alles te gaan bestrijden. In die zin spelen we nog altijd een spelletje spammer vs. spamfilter waarbij beide partijen met gelijke wapens strijden. Enkel, met AI gebeurt dat vandaag wel allemaal op een hoger niveau.

Desinformatie

Bij discussies over desinformatie, al dan niet in relatie tot vrije meningsuiting, hanteert men best een strikte definitie en wijkt men daar niet van af. Voor het gemak adopteer ik die van het actieplan tegen desinformatie van de Europese Commissie: desinformatie is verifieerbaar foute info, met als doel om te misleiden of te profiteren, ten koste van de gemeenschap. Afwijkende of extreme meningen over politiek, wetenschap, ethiek of moraal vallen daar niet onder, evenmin als opiniestukken, satire, parodie, lobbying, campagnevoeren, het selectief presenteren van informatie, of religie.

Waar moeten we op voorbereid zijn als daar AI aan toegevoegd wordt? Niet noodzakelijk de automatische creatie van fake news zelf – voor de beste resultaten komt daar vooralsnog manueel werk bij kijken – maar eerder de verspreiding of het automatisch kunnen “hypen” van fake news eens dat gecreëerd is. Astroturfing, het opzetten van valse grassrootsbewegingen, waar vroeger nog mensen voor werden ingezet (clickfarms in lageloonlanden), kan nu goedkoper en gemakkelijker met een legertje bots.

Stel dat iemand tienduizend artikeltjes kan genereren over een bepaalde stelling, en die publiceert op duizenden blogs en (realistisch uitziende) socialemedia-accounts. Dan zijn er misschien maar enkele die coherent en realistisch genoeg lijken, maar dat is op zich genoeg om opgepikt en gedeeld te worden door andere gebruikers, eventueel de mainstream media te halen, en zo uiteindelijk een plaats te veroveren in de publieke opinie. Zo dreigt de verspreiding van moeizaam bekomen echte feiten bedolven te worden onder lawines van gefabriceerde berichtgeving waarvan de inhoud en de bron nauwelijks te verifiëren zijn.

In de strijd voor de aandacht van de consument en de burger is er bewijs dat zulke tactieken in opmars zijn. Naar aanleiding van de Russische desinformatiecampagnes met betrekking tot de Oekraïnecrisis of de crash van vlucht MH17 richtte de EU al in 2015 een observatorium voor desinformatie op. Het is geweten dat sommige verkiezingen of referenda op die manier beïnvloed worden, door binnenlandse en buitenlandse actoren.

Amplificatie door selectie en aanbeveling

Een versterkende factor is daarbij dat de selectie van de nieuwsberichten en persartikels die we zien, al jarenlang grotendeels aangestuurd wordt door AI. Net zoals de aanbevelingen op Youtube, Netflix en Spotify, zit er een recommender system achter vele nieuwswebsites, met als hoogste doel: je zo lang mogelijk op de website houden, zodat je zoveel mogelijk reclame-inkomsten opbrengt. Het bieden van een divers aanbod past niet bij die doelstelling: Spotify zal je geen klassieke muziek voorschotelen als je al een half uur naar rock aan het luisteren bent “voor een gezonde afwisseling”, integendeel, ze geven je meer van hetzelfde opdat je zeker zou blijven luisteren.

Zeker in het geval van Youtube is herhaaldelijk aangetoond hoe hun algoritme je binnen de kortste keren samenzweringsvideo’s serveert, en zo radicalisering of desinformatiecampagnes in de hand werkt en zelfs promoot. Iemand die er info opzoekt over de nationale bank, hoort sneller over illuminati dan over het bruto binnenlands product. Ook kinderen die op zoek zijn naar achtergrondinfo voor hun huiswerk, zijn daar niet tegen beschermd.

Herinner je dat het objectief van sociale media is om je op hun site te houden. Objectieve of nuttige inhoud helpen daarbij niet; opruiende, provocerende of sensationele inhoud des te meer. Die laatsten worden dan ook proportioneel meer weergegeven en eindigen uiteindelijk hoger in de zoekresultaten waardoor ze nog gemakkelijker aanbevolen worden: een zichzelf versterkend feedbacksysteem dat er voor zorgt dat uiteindelijk het extreme mainstream wordt. Een van de duidelijkste voorbeelden van deze dynamiek is misschien wel het huidige succes van de antivaccinatielobby.

Vorig jaar werd er nog gesteld dat fake news weliswaar wijdverspreid was, maar relatief weinig impact had. Met systemen die geloofwaardiger teksten en argumenten kunnen genereren voor foutieve stellingen, in combinatie met aanbevelingsalgoritmes die de extremen bevoordelen, zou die impact wel eens sterk kunnen vergroten. De grote platformen zetten slechts na grote publieke druk nu pas de eerste stapjes in het tegengaan van deze dynamiek.

Verweer tegen de zwarte kunsten

Voor techies en AI-bedrijven

Aan de technische kant groeit de aandacht voor governance, vrij vertaald als “goed beheer”, waarbij vaak het acronym FATE gehanteerd wordt, voor Fairness, Accountability, Transparency and Ethics. Doel is om ontwikkeling, uitrol en beheer van AI-systemen te toetsen op deze kwaliteiten. De laatste jaren worden specifieke conferenties ingericht over het onderwerp, wat goede fora zijn om over de laatste nieuwe voorstellen of best practices te leren. De grote spelers geven er alvast aandacht aan: o.a. IBM en Google werken aan tools om bvb. oneerlijke bias in datasets te detecteren. Die laatste heeft ook richtlijnen ontwikkeld rond AI governance. Voor alle AI-ontwikkelaars is dat ongetwijfeld een goede oefening om te herhalen.

Wat betreft accountability is Explainable AI een belangrijk onderwerp. Met name bij deep learning is het moeilijk om te achterhalen waarom een AI-system een bepaalde conclusie heeft bereikt: het aantal parameters en het trainingsproces is gewoon te groot om nog overzichtelijk te zijn. Nu AI steeds meer ingang vindt in het dagelijks leven en vragen rond rechtvaardigheid en aansprakelijkheid zich beginnen stellen, wordt de “waarom”-vraag plots belangrijk. Pasklare oplossingen zijn er echter nog niet en het veld en de beschikbare tools staan nog in hun kinderschoenen.

De strijd tegen desinformatie gebeurt momenteel vooral manueel, bvb. met fact-checking websites of het inhuren van moderatoren. De (gedeeltelijke) automatisering van dit proces is nog niet ver gevorderd: pogingen om fake news met AI te detecteren geven gemengde resultaten. Hier zijn dus nog opportuniteiten voor wie nog een nuttig AI-project zoekt, en ook meer analyses naar de reikwijdte en impact zijn zeker welkom.

Voor burger en consument

Profiling bestaat en is zelfs courant. Wie bij de bank om een lening vraagt zal sowieso allerlei gegevens moeten opgeven die de bank zal gebruiken om een risico-analyse te maken voordat ze een kredietvoorstel doet. Maar niets houdt de bank echter tegen om daarnaast ook eens stiekem te kijken naar de publieke inhoud van je sociale media. Wees je er van bewust dat alles wat je daarop zet kan gebruikt worden door vriend én vijand. Een dure hobby, vaak ziek, of problemen op het werk? Een bank zou het uit je sociale media kunnen afleiden en dat gebruiken om je een hogere rente aan te rekenen. (Dit is een fictief voorbeeld, ik weet ook niet of het legaal zou zijn, maar het is alleszins technisch wel mogelijk.)

(Sociale) media bepalen ook wat je te zien krijgt op basis van dat profiel, qua advertenties en/of inhoud. Wat jij ziet online is niet wat iemand anders ziet. De gepersonaliseerde aanbevelingen van webwinkels zoals Amazon zijn daarvan een goede illustratie. Op die manier zit iedereen op zulke platformen in zijn eigen filter bubble, maar dat wordt niet zo aan je voorgesteld. Hou in het achterhoofd dat jouw doel om juiste, relevante, objectieve informatie te vinden, fundamenteel verschilt van het doel van een internetplatform, namelijk winst maken.

Hoe bescherm je jezelf tegen valse informatie, scams of manipulatie? Ten eerste, bronnen checken en voorrang geven aan de kwalitatieve variant, gaande van goede journalistiek tot peer-reviewed wetenschap. Die zijn ook niet perfect, maar zijn gemiddeld genomen alleszins veel betrouwbaarder dan een willekeurige blogger of influencer op Twitter of Instagram. Ten tweede, het cultiveren van een attitude van Digitaal Skepticisme t.o.v. alles was je leest en ziet op het internet, zelfs als het afkomstig is van vrienden of familie. Paranoia is niet nodig, maar je wil waarschijnlijk wel vermijden om als “nuttige idioot” mee te werken aan verspreiding van foute informatie.

Voor beleidsmakers en overheid

Besef is ook voor politici en beleidsmakers belangrijk. Als mensen met beslissingsbevoegdheid zijn zij bij de eersten die geviseerd worden door actoren met slechte bedoelingen. Ook zij zijn vatbaar voor selectieve informatie, en kunnen te maken krijgen met gerichte manipulatie of grootschalige (geautomatiseerde) desinformatiecampagnes. De reikwijdte van sociale media is hen waarschijnlijk welbekend, maar de verschillende manieren waarop de informatieoorlog gevoerd kan worden misschien nog niet. In dat licht is het rapport van het Franse ministerie van defensie over het onderwerp verplichte lectuur.

Verschillende landen kwamen al met strategische plannen voor AI over de brug, ook in België zijn er initiatieven. De impact daarvan zal wel beperkt blijven als de aanbevelingen niet gepaard gaan met de nodige investeringen. We moeten daarbij breder denken dan investeringen in de technologie, en ook onderzoek naar de maatschappelijke impact financieren. Het steunen van kwalitatieve (onderzoeks)journalistiek, kennisopbouw over AI in de eigen regio, en het aanmoedigen en faciliteren van permanent leren horen daar ook bij.

Met de Europese verkiezingen in aantocht begint men ook op dat niveau wat nattigheid te voelen. Begin 2018 kwam een door de Europese Commissie samengestelde High Level Expert Group van AI-experts tot een reeks aanbevelingen, waaronder de nood aan transparantie bij online nieuws. Daaruit volgde de EU code of practice on disinformation, een document getekend door o.a. Google, Facebook, Twitter en Mozilla, waarin die allen beloven stappen te ondernemen om de verspreiding van desinformatie via hun platformen tegen te gaan. Dit is een duidelijke keuze om te trachten de industrie zichzelf te laten reguleren in plaats van van bovenaf maatregelen op te leggen. Mogelijk speelde de korte tijd die er nog rest tot de Europese verkiezingen een rol in de beslissing om dat zo aan te pakken. Dat werd dan snel gevolgd door een actieplan tegen desinformatie, die de adoptie van de code of practice moet opvolgen. De toekomst zal uitwijzen of dat telt als eerste stappen in de goede richting, of als “too little, too late”.

______________________

Dit is een ingezonden bijdrage van Joachim Ganseman, IT consultant bij Smals Research.  Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Artificiële intelligentie (AI) maakt de laatste jaren grote sprongen. Het vakgebied is duidelijk ‘hot’. Dat blijkt uit de explosieve groei van de belangrijkste academische conferenties en uit de nieuwsberichten over universiteiten die worden leeggeplukt door bedrijven.

De beschikbare rekenkracht is de laatste tijd erg toegenomen, net als de beschikbare datasets om de AI te trainen, en de keus aan achterliggende modellen (CNN, RNN, LSTM, GAN, …). De grootste spelers op het veld bieden kant-en-klaar open-source AI-platformen aan (Tensorflow, Caffe, Theano, Keras, …). Onderzoekers maken hun code steeds vaker publiek beschikbaar, voorzien van een uitgebreidere readme (o.a. Jupyter Notebooks is populair). Zo kunnen ze reproduceerbaarheid claimen – en dat je zo gemakkelijker geciteerd wordt is handig meegenomen. Wie wat vertrouwd is met de terminologie en de onderliggende technologieën, kan vrij snel zelf experimentjes beginnen uitvoeren.

De resultaten zijn de laatste tijd dan ook significant. Zelfrijdend vervoer, geautomatiseerde diagnoses of medische hulp, real-time vertaling, zijn toepassingen die 20 jaar geleden vooral tot het domein van Star Trek hoorden maar vandaag al zeer dicht bij uitrol in het dagelijkse leven staan.

Hoewel de term AI een grootse claim tot ‘intelligentie’ insinueert, en media of goeroes allerhande de superlatieven niet schuwen: in essentie is artificiële intelligentie nog steeds gewoon een geavanceerde vorm van toegepaste statistiek. “Lies, damned lies and statistics” indachtig, kan je daar dus creatief mee omspringen – en inderdaad blijken veel AI’s verbazend gemakkelijk voor de gek te houden.

Een AI-systeem wordt meestal opgezet voor een duidelijk afgebakende usecase: classificatie (bvb beeld-analyse), suggesties geven (bvb bij online winkelen), gegevens genereren die voldoen aan bepaalde eigenschappen, … Een AI wordt daarvoor getraind op een bepaalde dataset. Iedere beslissing die een getrainde AI daarop neemt is in essentie een “beredeneerde gok”. Die gebeurt op basis van de tot dan geziene data: van enige domeinkennis of begrip van de ruimere omgeving is geen sprake, als die er niet eerst expliciet in werd gestoken.

Ook hier geldt ‘garbage in, garbage out’. De manier waarop een AI getraind is of blijft trainen, is erg bepalend voor de toekomstige output. In deze blogpost bekijken we (niet exhaustief) enkele belangrijke aandachtspunten.

Onvolledige / vooringenomen trainingsdata

Onvolledige of onevenwichtige trainingsdata zorgt onder andere voor ‘false negatives’: de AI kan iets niet herkennen dat hij wel had moeten herkennen. In de praktijk, als een AI een klasse aan objecten moet herkennen, wordt die idealiter getraind op een verzameling voorbeelden die deze klasse volledig en gelijkmatig dekt. Vaak is het aantal variabelen achter de schermen zo onoverzichtelijk groot (‘curse of dimensionality‘), dat het zo goed als onmogelijk is om een dataset van voldoende omvang te verzamelen. Data verzamelen en verwerken is ook erg tijdrovend dus duur, en tenzij je hoort tot de grote spelers die kunnen crowdsourcen op ongeziene schaal (al wordt dat ook best actief gecontroleerd), is op een bepaald moment het geld op.

Dat gebeurt niet altijd op een goed moment. Spraakmakende missers op dat vlak gebeurden dan ook al enkele keren bij gezichtsherkenning. De bias die op deze manier in een systeem ingebouwd kan raken, kan bovendien verstrekkende gevolgen hebben.

Als men er zich niet van bewust is, kan de bias in een dataset lang verborgen blijven. Pas na een jaar of twaalf, toen iemand de moeite nam om eens naar de volledige dataset te luisteren, werd ontdekt dat een belangrijke dataset voor detectie van muziekgenres wel erg veel overhelde naar bepaalde artiesten en verschillende duplicaten bevatte. Plots bleek het grootste deel van de systemen die gedurende die 12 jaar gebouwd waren op/met deze dataset, op erg los zand te staan.

“Always look at your data” blijft daarom een belangrijke leidraad. Het gevaar schuilt erin dat dat steeds minder haalbaar dreigt te worden in de context van het ‘big data’ gebeuren.

Confounding factoren

Wanneer we een classifier trainen, zoekt de AI naar eigenschappen op basis waarvan het onderscheid tussen de verschillende klassen met de grootste zekerheid gemaakt kan worden. Dat kunnen vrij abstracte gegevens zijn die niet noodzakelijk betekenisvol verband houden met die klassen, maar toevallig wel correleren met de beschikbare voorbeelden in de training set. We zijn ons niet altijd bewust van deze ‘confounding factoren’. Als de AI dan een ongerelateerd object krijgt voorgeschoteld en die correlerende eigenschap toch opmerkt, wordt die tot een verkeerde klasse gerekend en krijgen we een ‘false positive’.

Terug naar ons audio-voorbeeld: het blijkt vrij gemakkelijk om een systeem te bouwen dat klassieke muziek kan onderscheiden van andere genres. De accuraatheid gaat vlot voorbij 95%! Totdat men gaat kijken wat de beslissende factor is geworden: dan wordt bvb enkel berekend hoe luid het gemiddeld volume is – en klassiek wordt nu eenmaal zachter opgenomen. Resultaat: het lijkt alsof goed onderscheid wordt gemaakt tussen klassiek en pop, maar in de praktijk wordt enkel naar het volume gekeken en is er geen enkele kennis verworven over de eigenlijke inhoud van de muziek.

Minder onschuldig is een vrij recente misser in medische beeldvorming, waar een dataset van rontgenfoto’s van longen beschikbaar is, die o.a. kan gebruikt worden voor ontwikkeling van diagnostische hulpsoftware. Deze dataset bleek na onderzoek (ook hier: pas nadat iemand de moeite nam eens naar de duizenden afbeeldingen te kijken) deels verkeerd geannoteerd te zijn, en deels te bestaan uit foto’s van patiënten in behandeling – en zo dreigden bepaalde ziektebeelden niet herkend te worden als de behandelingsapparatuur niet op de foto te zien was.

Er blijken dus onverwacht grote semantische kloven te kunnen zijn tussen de formele interne representaties in AI-systemen en de algemenere, vagere concepten die wij als mensen hanteren en zouden willen aanleren aan deze systemen. Bij veel ingewikkelde vormen van AI, zoals deep learning, blijft het vaak een open vraagstuk wat deze systemen nu eigenlijk leren of berekenen. Omdat we ook steeds vaker kritische beslissingen in handen laten van AI-systemen, is er daarom een beweging rond ‘explainable AI‘ op gang gekomen.

Adversarial Examples

Een sterk groeiende tak in de onderzoekswereld rond AI maakt er haast een sport van om te proberen getrainde AI systemen voor de gek te houden. De mogelijkheid daartoe zorgt immers voor problemen bij o.a. biometrische beveiliging. Het blijkt dat de transformatie benodigd om een AI-systeem uit zijn lood te slaan soms minimaal is: 1 pixel wijzigen kan genoeg zijn. Zo kan een zelf-rijdende auto plots moeite hebben met het herkennen van verkeersborden waar stickers op plakken.

Hier is het probleem dat de resultaten van de training niet veralgemeend kunnen worden naar toekomstige onbekende data, zonder enkele vrij zware aannames: dat het systeem statisch is in de tijd, dat alle mogelijke input volledig gedekt wordt door de trainingsset, dat er geen confounding factoren meespelen,… Er schijnt nog geen pasklaar antwoord te zijn: zodra een adversarial example in de trainingset wordt opgenomen, duikt elders wel een andere manier op om de nieuwe AI toch nog voor de gek te houden.

In combinatie met een vorm van reinforcement learning, kunnen we trachten deze adversarial examples te genereren – wat aanleiding geeft tot Generative Adversarial Networks (GAN). Die zijn moeilijk stabiel te krijgen, maar als dat lukt, kunnen ze met succes worden gebruikt om realistisch lijkende gegevens (foto, video, …) te genereren. Ook met andere generatieve AI-modellen kan al erg realistische data gegenereerd worden (van spraak tot webdesign).

Dit is goed nieuws voor wie in een creatieve industrie werkt, maar voor wie inzit met de beveiliging van AI-systemen een groot probleem. Die laatsten blijken immers plots nogal fragiel te kunnen zijn buiten hun trainingsomgeving. Zo wordt ook robuustheid ongetwijfeld een belangrijk aandachtspunt in de komende jaren.