Artificiële intelligentie en machine learning spelen een steeds grotere rol in de menselijke samenleving ter ondersteuning van besluitvormingsprocessen. De aandacht naar hun eerlijkheid (fairness) is de afgelopen jaren dan ook steeds belangrijker geworden. Predictieve modellen kunnen namelijk problematisch worden wanneer ze biases (vooringenomenheden) die ze tijdens hun trainingsfase uit historische gegevens hebben geleerd, beginnen te reproduceren of versterken. Deze bias leidt vaak tot discriminatie van een of meer groepen individuen. Dit is vooral problematisch in het kader van gevoelige beslissingen, zoals het verwerken van sollicitaties, het toekennen van leningen of justitie. Dit artikel gaat in op de manier waarop deze algoritmische bias kan worden gemeten en op de verschillende manieren om deze te corrigeren om eerlijke voorspellingen te genereren.

Zoals we al in een eerdere blogpost hebben besproken, kan een bias verschillende oorzaken hebben. Het kan bijvoorbeeld gaan om een designfout in het algoritme zelf, een ondervertegenwoordiging van een groep in de trainingsdata, of om historische data die bevooroordeeld is door racisme/seksisme in de samenleving [1]. In dit artikel richten we ons op het geval waarin het probleem bij de gegevens ligt en niet bij het model zelf, namelijk wanneer het model leert op basis van bevooroordeelde gegevens en deze vooringenomenheid vervolgens reproduceert in zijn voorspellingen.

Een van de bekendste voorbeelden is de COMPAS-case. Het COMPAS-algoritme werd gebruikt in de Verenigde Staten om het risico op recidive van gedetineerden in het kader van een mogelijke vervroegde vrijlating in te schatten. In 2016 stelde een studie van ProPublica dat Afro-Amerikanen door het algoritme werden gediscrimineerd omdat ze meer kans hadden om als “high-risk” te worden geclassificeerd. De studie stelde meer bepaald dat een persoon met een donkere huidskleur meer kans had om ten onrechte als “high-risk” te worden geclassificeerd en dat een blanke daarentegen meer kans had om ten onrechte als “low-risk” te worden geclassificeerd. Deze zaak leidde tot een groot debat en de publicatie van honderden artikelen over dit onderwerp.

In het geval van COMPAS, lag het probleem niet bij het algoritme zelf, maar eerder bij de gegevens waarop het was getraind. Het model was namelijk getraind op historische strafrechtelijke gegevens die een systematische racistische vooringenomenheid weerspiegelen, zoals discriminerende politiepraktijken. Deze bevooroordeelde gegevens leidden er dus toe dat het model eveneens vooroordelen vertoonde in zijn voorspellingen.

Hoe meet je de oneerlijkheid van een model?

Problemen met fairness veronderstellen het bestaan van een zogenaamde gevoelige variabele. Dit is de variabele waarvoor men geen discriminatie wenst. Het kan bijvoorbeeld gaan om het geslacht of de etnische afkomst van een persoon. De gevoelige variabele is vaak categorisch, maar kan, afhankelijk van het geval, ook continu zijn (bijvoorbeeld de leeftijd van een persoon). Voor het gemak gaan we ervan uit dat er slechts een gevoelige variabele is, maar in sommige problemen kunnen er meerdere zijn.

Op basis van deze gevoelige variabele worden doorgaans twee groepen gedefinieerd. De groep die door het model negatief wordt gediscrimineerd, wordt de “beschermde groep” genoemd.

Stel dat we een predictief model hebben dat voorspellingen moet doen over het toekennen van een lening. Dit algoritme wordt als “eerlijk” beschouwd als de kans dat een persoon voor de lening wordt geselecteerd (positieve beslissing van het model) gelijk is, ongeacht de groep waartoe de persoon behoort. Wiskundig gezien willen we dus het volgende opleggen:

P(Y_d = 1 | Z = 1) = P(Y_d = 1 | Z = 0)

waarbij Y_d de beslissing van het model is en Z een binaire variabele die aangeeft of een persoon al dan niet behoort tot de beschermde groep. Deze kansen worden berekend op groepsniveau, niet op individueel niveau.

Een bekende maatstaf voor algoritmische oneerlijkheid is dus gewoon het verschil tussen deze twee termen. Indien er een verschil is, betekent het dat het model een van de twee groepen bevoordeelt. Deze maatstaf voor het verschil tussen voorspellingen binnen de twee groepen wordt “demographic parity” of “statistical parity” genoemd.

Hoewel deze maatstaf relatief eenvoudig is, is dit een van de bekendste op het gebied van algoritmische rechtvaardigheid, die algemeen wordt erkend en gebruikt. Het is echter duidelijk niet de enige maatstaf die bestaat (voor enkele alternatieven, zie bijvoorbeeld [2, 3]). Opgemerkt moet worden dat, aangezien demographic parity wordt gemeten op groepsniveau, het een maatstaf is voor groepsrechtvaardigheid (group fairness). Er bestaan ook alternatieve maatstaven op individueel niveau (individual fairness).

Waarom wordt de gevoelige variabele niet gewoon uit het model verwijderd?

Op het eerste gezicht lijkt het probleem eenvoudig op te lossen. Een voorspellend machine learning-model neemt gegevens X als input en voorspelt een variabele Y als output op basis van de gegevens in X. Het zou dus in principe voldoende zijn om de variabele Z niet op te nemen in de gegevens X, zodat de voorspellingen van het model niet meer worden beïnvloed door Z.

Helaas zijn de variabelen waaruit X bestaat in de praktijk zelden onafhankelijk van elkaar. De database X kan dus variabelen bevatten die gecorreleerd zijn met de gevoelige variabele, het model kan deze variabelen gebruiken als proxy van de gevoelige variabele en vertekende voorspellingen geven, ook al maakt Z niet expliciet deel uit van de gebruikte inputgegevens. Zo kan in een steekproef het inkomen van een persoon worden gebruikt als proxy voor zijn leeftijd, omdat het inkomen van personen doorgaans stijgt naarmate ze ouder worden.

In het geval van COMPAS werd de etnische afkomst van de gedetineerde bijvoorbeeld niet expliciet gebruikt in het model als variabele, maar door de aanwezigheid van gecorreleerde proxyvariabelen (bijv. postcode, sociaaleconomische indicatoren) werd de raciale vertekening altijd weerspiegeld in de voorspellingen van het model.

Hoe een algoritmische bias in de praktijk corrigeren?

Er onderscheiden zich drie grote families van correcties: voorbewerking (“pre-processing”: het verwijderen van de bias uit de trainingsdata), verwerking (“in-processing”: het verwijderen van de bias tijdens het trainen van het model) en nabewerking (“post-processing”: het verwijderen van de bias uit een getraind model). Deze benaderingen hebben elk hun voor- en nadelen en zijn uitgebreid beschreven in tal van publicaties. De geïnteresseerde lezer kan de volgende survey raadplegen [4], waarin de verschillende publicaties op het gebied van fairness zijn verzameld en geordend per aanpak (pre-, in-, post-processing), per type algoritme (logistische regressie, random forest, neurale netwerken, enz.), per gebruikte fairness-maatstaf, enz. Dit biedt een goed gestructureerd overzicht van wat er op dit gebied wordt gedaan.

Pre-processingsmethoden

Het idee is eenvoudig: de trainingsgegevens ontdoen van vooringenomenheid om ze dichter bij de werkelijkheid te brengen, zodat de vooroordelen niet in het machine learning-model terechtkomen. Enkele voorbeelden van pre-processingsmethoden zijn:

• De steekproef (sampling) opnieuw in evenwicht brengen (door waarnemingen toe te voegen of te verwijderen);
• De inhoud van bepaalde variabelen van data X corrigeren of zelfs volledig vervangen door nieuwe variabelen (representational learning) die geen gevoelige informatie bevatten;
• Het label (variabele Y) van bepaalde waarnemingen wijzigen.

Pre-processing biedt het voordeel dat het niet afhankelijk is van het gebruikte model en dat het doorgaans eenvoudig uit te leggen en te begrijpen is. Het correct corrigeren van historische gegevens kan echter ingewikkeld zijn en het is moeilijk om de fairness van het resulterende model te garanderen. Ook moet het risico van verlies aan nauwkeurigheid worden vermeld, aangezien het wijzigen van data mogelijk relevante patterns uit de data verwijdert.

Figuur 2 toont hoe fairness wordt toegevoegd via een pre-processing-aanpak. Zoals uit het schema blijkt, is pre-processing niet altijd noodzakelijk voor nieuwe data. Sommige methoden (bijv. resampling, relabeling) vereisen enkel een wijziging van de trainingsdata om te voorkomen dat het algoritme de bias leert. Sommige algoritmen (bijv. representation learning) vereisen echter ook dat de nieuwe te voorspellen waarnemingen worden gewijzigd.

In-processing-methoden

Deze methoden bestaan uit het rechtstreeks wijzigen van het voorspellingsmodel zelf, zodat de voorspellingen fair zijn. Dit kan bijvoorbeeld worden gedaan door een regularisatieterm toe te voegen aan de doelfunctie van het algoritme, of door er fairness-beperkingen aan toe te voegen.

In-processing-methoden hebben het voordeel dat, zodra het model is getraind, fairness direct in het model wordt opgenomen en het model vrij kan worden gebruikt, zonder dat de invoergegevens of de voorspellingen van het model verder hoeven te worden aangepast. Bovendien biedt het rechtstreeks wijzigen van het model een grote flexibiliteit, omdat complexe fairness-beperkingen kunnen worden gecodeerd.

Deze grote flexibiliteit vereist echter voldoende theoretische en praktische kennis om het algoritme zelf te kunnen wijzigen. Bovendien kan het aanbrengen van wijzigingen in een model, zoals beperkingen, de trainingstijd aanzienlijk verlengen. Aangezien in-processing-methoden de training van een algoritme wijzigen, zijn de meeste gepubliceerde methoden doorgaans specifiek voor een bepaald model.

Post-processingsmethoden

Bij de laatste benadering worden het model en de historische data niet aangepast, maar worden de voorspellingen van het model aangepast om aan de fairness-beperkingen te voldoen. Een post-processing-algoritme wijzigt dus meestal ofwel de waarschijnlijkheid dat een waarneming tot de door het model voorspelde klassen behoort, ofwel rechtstreeks de beslissingen (definitieve classificaties) voor bepaalde waarnemingen.

Post-processingsalgoritmen zijn eenvoudig te implementeren: ze zijn onafhankelijk van het gebruikte voorspellingsmodel en kunnen dus worden gebruikt met ‘black-box’-modellen. Bovendien vereist post-processing geen wijzigingen aan de gegevens of het model en blijft de integriteit van het bestaande proces dus behouden.

Dit soort methoden leidt echter doorgaans tot een groter verlies aan modelprestaties dan het gebruik van in-processingsmethoden. Een model vrij trainen en vervolgens achteraf de voorspellingen aanpassen om aan bepaalde beperkingen te voldoen, is namelijk vaak minder effectief dan een model dat specifiek is geoptimaliseerd om voorspellingen te doen die aan de beperkingen voldoen.

Eerlijke voorspellingen evalueren

Vanaf het moment dat beperkingen aan de voorspellingen van een model worden toegevoegd of de toegang tot bepaalde informatie wordt beperkt, zal dit de classificatieprestaties van het model logischerwijs verminderen. Het integreren van fairness in een classificatieprobleem houdt dus in dat er een juiste balans moet worden gevonden tussen de nauwkeurigheid van het model en de fairness ervan.

Bovendien is het raadzaam om, zelfs wanneer een evenwicht tussen nauwkeurigheid en eerlijkheid is gevonden, altijd te controleren welke wijzigingen het toevoegen van fairness-beperkingen met zich meebrengt.

Een voorbeeld ter illustratie: stel dat een algoritme voorspellingen doet die bevooroordeeld zijn en relatief meer gunstige beslissingen neigt te nemen voor leden van groep A dan voor leden van groep B. Het risico bestaat dat het algoritme bij de invoering van een fairness-beperking reageert door simpelweg het aantal gunstige beslissingen voor groep A te verminderen om hetzelfde niveau als groep B te bereiken. Dit nieuwe model is dus in theorie eerlijker dan het vorige, maar het is duidelijk slechter omdat deze eerlijkheid alleen is bereikt door een van de groepen te benadelen.

Dit voorbeeld illustreert hoe belangrijk het is om bij het invoeren van eerlijkheid in een model niet alleen te kijken naar prestatiemaatstaven (accuracy, demographic parity, enz.), maar ook te onderzoeken hoe de beslissingen van het model in de praktijk worden beïnvloed.

Conclusie

In dit artikel hebben we gezien hoe de oneerlijkheid van een machine learning-model kan worden gemeten. Ook hebben we een overzicht gegeven van de verschillende benaderingen die worden gebruikt om te voorkomen dat het model een in de historische gegevens aangeleerde bias reproduceert of versterkt.

Belangrijk is dat de verschillende benaderingen elkaar niet uitsluiten en vaak kunnen worden gecombineerd (bijvoorbeeld voorbewerking van de trainingsdata, gevolgd door een in-processing-methode op het model). Sommige publicaties op dit gebied stellen methoden voor die op verschillende niveaus van het classificatieproces werken.

Referenties

[1] Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.

[2] Castelnovo, A., Crupi, R., Greco, G., Regoli, D., Penco, I. G., & Cosentini, A. C. (2022). A clarification of the nuances in the fairness metrics landscape. Scientific Reports, 12(1), 4209.

[3] Corbett-Davies, S., Gaebler, J. D., Nilforoshan, H., Shroff, R., & Goel, S. (2023). The measure and mismeasure of fairness. Journal of Machine Learning Research, 24(312), 1-117.

[4] Hort, M., Chen, Z., Zhang, J. M., Harman, M., & Sarro, F. (2024). Bias mitigation for machine learning classifiers: A comprehensive survey. ACM Journal on Responsible Computing, 1(2), 1-52.

Voor een soortgelijk onderwerp, zie de blogpost IA : L’éthique en pratique.

Dit is een ingezonden bijdrage van Pierre Leleux, data scientist et network data analyst bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Tandis que l’intelligence artificielle et le machine learning jouent un rôle croissant dans la société humaine pour soutenir les processus de prise de décision, les préoccupations concernant leur équité (fairness) ont attiré l’attention au cours des dernières années. Les modèles prédictifs peuvent en effet devenir problématiques lorsqu’ils commencent à reproduire ou renforcer des biais qu’ils ont appris dans les données historiques utilisées durant leur phase d’entrainement. Ce biais crée souvent une discrimination injuste à l’encontre d’un ou plusieurs groupe(s) d’individus, ce qui est particulièrement problématique dans le cadre de décisions sensibles, telles que le traitement de candidatures d’emploi, l’accord de prêts ou la justice, entre autres. Cet article s’intéresse à la manière dont ces biais algorithmiques peuvent être mesurés et les différentes façons de les corriger pour générer des prédictions équitables.

Comme nous en avions déjà discuté dans un précédent article de blog, un biais peut avoir plusieurs sources. Il peut par exemple s’agir d’un problème de design de l’algorithme en lui-même, d’un souci de sous-représentation d’un groupe dans les données d’entrainement, ou de données historiques biaisées par du racisme/sexisme présent dans la société [1]. Dans le cadre de cet article, nous nous concentrerons sur le cas où le problème vient des données et non pas du modèle en lui-même, à savoir lorsque le modèle apprend sur des données biaisées et reproduit ensuite ce biais dans ses prédictions.

L’un des exemples les plus connus est le cas COMPAS. L’algorithme COMPAS était utilisé aux États-Unis pour estimer le risque de récidive de détenus dans le cadre d’une potentielle libération anticipée. En 2016, une étude de ProPublica affirmait que les Afro-Américains étaient discriminés par l’algorithme car ils avaient plus de chance d’être classifiés comme « high-risk ». Plus précisément, l’étude mentionnait qu’une personne noire avait plus de chance d’être erronément classifiée comme « high-risk » et, qu’à l’inverse, une personne blanche avait plus de chance d’être erronément classifiée comme « low-risk ». Cette affaire entraina un grand débat et la publication de centaines d’articles sur le sujet.

Dans le cas de COMPAS, le problème n’était pas l’algorithme en lui-même, mais les données sur lesquelles il a été entrainé. Le modèle a en effet été entrainé sur des données historiques de la justice pénale qui reflètent un biais raciste systémique, telles que des pratiques policières discriminatoires. Ces données biaisées ont donc entrainé un modèle produisant des prédictions elles aussi biaisées.

Comment mesurer l’iniquité d’un modèle ?

Les problèmes de fairness supposent l’existence d’une variable appelée variable sensible. Il s’agit de la variable vis-à-vis de laquelle on souhaite qu’il n’y ait pas de discrimination. Il peut par exemple s’agir du genre de la personne, ou de son origine ethnique. La variable sensible est souvent catégorielle, mais suivant le cas de figure, elle peut aussi être continue (e.g. l’âge d’une personne). Pour des raisons de simplicité, nous faisons l’hypothèse qu’il n’y a qu’une seule variable sensible, mais dans certains problèmes il peut y en avoir plusieurs.

Sur base de cette variable sensible, on définit généralement deux groupes. Le groupe qui est discriminé négativement par le modèle est appelé « groupe protégé ».

Supposons un modèle prédictif ayant pour objectif de fournir des prédictions concernant l’accord d’un prêt. Cet algorithme sera considéré comme « équitable » si la probabilité pour un individu d’être sélectionné pour le prêt (décision positive du modèle) est la même peu importe le groupe dont est issu l’individu. Mathématiquement, on cherche donc à imposer :

P(Y_d = 1 | Z = 1) = P(Y_d = 1 | Z = 0)

Où Y_d est la décision du modèle et Z est une variable binaire indiquant l’appartenance ou non au groupe protégé. Ces probabilités sont calculées à l’échelle du groupe, et non pas de façon individuelle.

Une mesure bien connue de l’iniquité algorithmique consiste donc simplement à calculer la différence entre ces deux termes. S’il y a une différence, cela implique que le modèle favorise l’un des deux groupes. Cette mesure de la différence entre les prédictions au sein des deux groupes est appelée la « demographic parity » ou « statistical parity ».

Bien que relativement simple, il s’agit de l’une des mesures les plus connues dans le domaine de l’équité algorithmique, largement reconnue et utilisée. Cependant, ce n’est évidemment pas la seule mesure qui existe (pour quelques alternatives, voir e.g., [2, 3]). Il est à noter que, puisqu’elle se mesure à l’échelle des groupes, la demographic parity est donc une mesure d’équité de groupe (group fairness), il existe aussi des mesures alternatives au niveau des individus (individual fairness).

Pourquoi ne pas simplement enlever la variable sensible du modèle ?

Le problème semble, à première vue, simple à régler. Un modèle prédictif de machine learning prend en entrée des données X et prédit une variable Y en sortie sur base des données contenues dans X. Il suffirait donc, a priori, simplement d’enlever la variable Z de la base de données X pour que les prédictions du modèle ne soient plus impactées par Z.

Malheureusement, dans la pratique, les variables qui composent X sont rarement indépendantes les unes des autres. La base de données X peut donc contenir des variables corrélées avec la variable sensible, et le modèle pourra se servir de ces variables comme d’un proxy de la variable sensible et fournir des prédictions biaisées, bien que Z ne fasse pas explicitement partie des données utilisées en entrée. Par exemple, dans un échantillon, le revenu d’une personne peut être utilisée comme proxy de son âge, car les revenus des individus ont tendance à augmenter avec l’âge.

Dans le cas COMPAS par exemple, l’origine ethnique du détenu n’était pas explicitement utilisée en tant que variable du modèle, mais à cause de la présence de variables proxy corrélées (e.g., le code postal, des indicateurs socio-économiques), le biais racial se reflétait toujours dans les prédictions du modèle.

Comment corriger un biais algorithmique en pratique ?

Il existe 3 grandes familles de corrections : le prétraitement (« pre-processing » : enlever le biais des données d’entrainement), le traitement en cours (« in-processing » : enlever le biais durant l’entrainement du modèle) et le post-traitement (« post-processing » : enlever le biais d’un modèle entrainé). Chacune de ces approches a ses avantages et ses inconvénients et a fait l’objet de nombreuses publications. Le lecteur intéressé pourra se référer au survey suivant [4], qui rassemble et organise les différentes publications dans le domaine de la fairness par approche (pre-, in-, post-processing), type d’algorithme utilisé (régression logistique, random forest, réseaux de neurones, etc.), mesure de fairness utilisée, etc., offrant une vue d’ensemble bien structurée de ce qui se fait dans le domaine.

Les méthodes « pre-processing »

L’idée est simple : il s’agit simplement de débiaiser les données d’entrainement pour les rendre plus proches de la réalité, de sorte que le biais ne parvienne pas jusqu’au modèle de machine learning. Quelques exemples de méthodes de pre-processing incluent par exemple :

• Rééquilibrer l’échantillonnage (en ajoutant ou supprimant des observations) ;
• Corriger le contenu de certaines variables des données X, voire complètement remplacer les variables par des nouvelles (representation learning) qui ne contiennent pas d’information sensible ;
• Changer le label (variable Y) de certaines observations.

Le pre-processing offre l’avantage de ne pas dépendre du modèle utilisé et d’être (généralement) facile à expliquer et à comprendre. Cependant, corriger adéquatement les données historiques peut être compliqué à réaliser, et il est difficile de garantir l’équité du modèle résultant. Il faut aussi mentionner le risque de perte de précision, car altérer les données peut potentiellement enlever des patterns pertinents des données.

La figure 2 montre l’ajout d’équité via une approche pre-processing. Comme visible sur le schéma, le pre-processing ne s’applique pas toujours nécessairement aux nouvelles données. Certaines méthodes (e.g. rééchantillonnage, relabeliser) ne demandent que de modifier les données d’entrainement, pour éviter que l’algorithme n’apprenne le biais. Par contre, certains algorithmes (e.g. representation learning) nécessitent aussi de modifier les nouvelles observations à prédire.

Les méthodes « in-processing »

Ces méthodes consistent à modifier directement le modèle prédictif en lui-même, de sorte que ses prédictions soient équitables. Cela peut par exemple se faire en ajoutant un terme de régularisation sur la fonction objectif de l’algorithme, ou en lui ajoutant des contraintes de fairness.

Les méthodes in-processing ont l’avantage qu’une fois le modèle entrainé, la fairness est directement inclue dans le modèle et celui-ci peut être utilisé librement, sans nécessiter de modification supplémentaire des données entrées ou des prédictions du modèle. De plus, modifier directement le modèle offre une grande flexibilité, car on peut y encoder des contraintes de fairness complexes.

Cette grande flexibilité requiert, en contrepartie, des connaissances théoriques et pratiques suffisamment approfondies pour pouvoir modifier l’algorithme en lui-même. En outre, introduire des modifications dans un modèle, telles que des contraintes, peut significativement augmenter son temps d’entrainement. Enfin, puisque les méthodes d’in-processing modifient l’entrainement d’un algorithme, la plupart des méthodes publiées sont généralement spécifiques à un modèle précis.

Les méthodes « post-processing »

Pour la dernière approche, on ne touche pas au modèle ou aux données historiques, on va simplement appliquer un ajustement aux prédictions fournies par le modèle de sorte à satisfaire les contraintes de fairness. Un algorithme de post-processing va donc généralement soit modifier les probabilités d’appartenance aux classes prédites par le modèle, soit directement modifier les décisions (classifications finales) pour certaines observations.

Les algorithmes de post-processing sont des solutions simples à mettre en place : ils sont indépendants du modèle prédictif utilisé, et peuvent donc s’utiliser avec des modèles « black-box ». De plus, le post-processing ne demande aucune modification ni des données, ni du modèle, et préserve donc l’intégrité du processus existant.

Ce genre de méthodes tend cependant généralement à dégrader plus fortement les performances du modèle que l’utilisation de méthodes d’in-processing. En effet, entrainer un modèle librement et ensuite altérer ses prédictions a posteriori pour que ces dernières remplissent des contraintes sera souvent moins efficace que d’avoir un modèle ayant été spécifiquement optimisé pour fournir des prédictions remplissant les contraintes.

Evaluer les prédictions équitables

Par définition, à partir du moment où on ajoute des contraintes sur les prédictions d’un modèle, ou si on limite l’accès à certaines informations, cela va logiquement réduire les performances de classification du modèle. Par conséquent, incorporer de l’équité dans un problème de classification implique de trouver la juste balance entre la précision du modèle et sa fairness.

De plus, même une fois qu’un équilibre entre précision et équité a été trouvé, il convient toujours de vérifier les modifications qui résultent de l’ajout des contraintes de fairness.

Prenons un exemple illustratif : supposons un algorithme fournissant des prédictions biaisées, qui a tendance à donner relativement plus de décisions favorables aux membres du groupe A comparé au groupe B. Il y a un risque qu’à l’introduction d’une contrainte de fairness, l’algorithme réponde en réduisant simplement le nombre de décisions favorables pour le groupe A pour atteindre le même niveau que le groupe B. Ce nouveau modèle est donc théoriquement plus équitable que le précédent, mais il est manifestement pire puisque cette équité a été réalisée uniquement en pénalisant l’un des groupes.

Cet exemple illustre l’importance, lors de l’introduction d’équité dans un modèle, de ne pas regarder uniquement les mesures de performance (accuracy, demographic parity, etc.), mais aussi d’investiguer la façon dont les décisions du modèle sont impactées en pratique.

Conclusion

Dans cet article, nous avons vu comment mesurer l’iniquité d’un modèle de machine learning, et présenté un aperçu des différentes approches utilisées pour éviter que le modèle ne reproduise ou ne renforce un biais appris dans les données historiques.

Il est important de signaler que les différentes approches ne sont pas mutuellement exclusives, et peuvent souvent être combinées (e.g. un pre-processing des données d’entrainement, suivi d’une méthode in-processing sur le modèle). Certaines publications dans le domaine proposent d’ailleurs des méthodes qui agissent à plusieurs niveaux du processus de classification.

Références

[1] Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.

[2] Castelnovo, A., Crupi, R., Greco, G., Regoli, D., Penco, I. G., & Cosentini, A. C. (2022). A clarification of the nuances in the fairness metrics landscape. Scientific Reports, 12(1), 4209.

[3] Corbett-Davies, S., Gaebler, J. D., Nilforoshan, H., Shroff, R., & Goel, S. (2023). The measure and mismeasure of fairness. Journal of Machine Learning Research, 24(312), 1-117.

[4] Hort, M., Chen, Z., Zhang, J. M., Harman, M., & Sarro, F. (2024). Bias mitigation for machine learning classifiers: A comprehensive survey. ACM Journal on Responsible Computing, 1(2), 1-52.

Sur un sujet similaire, voir le post IA: L’éthique en pratique.

Ce post est une contribution individuelle de Pierre Leleux, data scientist et network data analyst chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

Le classement en niveaux de sensibilité des données est le pivot sur lequel repose l’ensemble du système de sécurité des données ultérieur. L’objectif d’un système de classement de données est donc d’identifier clairement les informations qui doivent être protégées pour des raisons de sécurité et de fournir des directives adéquates en matière de classement afin que les informations qui n’ont pas besoin d’une telle protection ne soient pas inutilement classées par un système hiérarchique du secret. Une fois les données correctement classées une étiquette de confidentialité peut leur être apposée.

Dans un précédent article nous avons vu des techniques permettant de protéger des objets de données sensibles, notamment grâce à un étiquetage permettant de décider si ces objets peuvent être transmis ou pas d’un système informatique à un autre. Comme nous l’avons noté, il existe deux manières principales d’assigner une étiquette de confidentialité à un objet :

• Évaluer le contenu même de l’objet de données afin de déterminer les attributs de confidentialité.
• Baser les propriétés de confidentialité sur l’origine de l’information présente dans l’objet de données.

Malheureusement ce type de solutions ne répond pas à la question de savoir si les objets ont été étiquetés correctement ou pas, par l’utilisateur ou par le service ayant initié le transfert^1,2.

Afin de mitiger les risques, une technique fréquente est de scanner les données transférées pour la présence de certains mots-clés considérés comme pouvant indiquer du contenu classifié selon des niveaux de confidentialité (p. ex., niveaux de classification, lieux, nom de projets, acronymes de projets, termes techniques, etc.). Une telle technique impose la mise à jour fréquente de la liste des mots-clés et le résultat dépend fortement de la qualité de la liste. C’est un travail laborieux et d’autant plus difficile dans un contexte où sont interconnectés plusieurs systèmes informatiques d’organisations différentes, voire de pays différents.

Alors, est-il possible d’évaluer de manière automatique la présence de données classifiées au sein d’autres données échangées entre deux systèmes informatiques, afin de s’assurer que la politique de sécurité appliquée aux données n’est pas violée ?

Détection simple

Les systèmes de prévention de perte ou fuite de données (« Data leakage prevention (DLP) » ou « Data loss prevention (DLP) ») analysent les flux de données et appliquent des politiques afin de préserver les données sensibles en cours d’utilisation (actions sur les terminaux), en mouvement (trafic réseau), et au repos (stockage de données). En 2015 plus d’une douzaine d’entreprises promouvaient déjà leurs solutions techniques. En 2023, Chugh et al. [1] en répertoriaient plus d’une trentaine. La sélection n’est pas chose facile car, comme le faisaient remarquer Gugelmann et al. [2], les entreprises concernées sont assez réluctantes pour divulguer des informations sur le fonctionnement de leurs produits. Par ailleurs les modèles de menaces ne sont pas toujours clairement définis et varient d’un vendeur à l’autre.

Néanmoins, on peut citer plusieurs méthodes d’analyse des données [3] fréquemment utilisées dont :

• Règles d’expressions régulières : celles-ci supposent des scenarios basés sur des environnements très contrôlés (règles pour détecter des destinataires de courriels erronés ou non nécessaires, règles pour reconnaître des numéros de cartes de crédit, des numéros de passeport, etc.).
• Détection d’empreintes : il s’agit de la recherche de correspondances exactes entre les éléments d’une base de données à inspecter et des éléments fournis pour l’analyse (mots-clés, numéros d’identification spécifiques, etc.).
• Correspondance de fichiers : comparaison des valeurs de hachage cryptographique des fichiers analysés avec une liste donnée.
• Analyse statistique : voir ci-dessous.

Analyses statistiques

L’analyse se révèle plus complexe lorsque l’on considère des documents entiers et non plus certains éléments. Dès 2008, Kassidy-Clark [4] suggérait l’idée d’utiliser des techniques d’apprentissage automatique afin d’automatiser le processus d’assignation de protection appropriée aux données en fonction de leur sensibilité, afin notamment de s’affranchir des limites de la classification manuelle en terme de vitesse et de cohérence. En 2010, dans une approche plus pratique, Brown et al. [5] évaluaient l’efficacité des techniques de traitement du langage naturel statistique et d’apprentissage automatique pour attribuer automatiquement une classification de confidentialité à un document non structuré. En utilisant une approche traditionnelle d’apprentissage automatique les auteurs pouvaient obtenir une précision de classification de 80%.

Kongsgård et al. [6] ont proposé un cadre permettant de sécuriser et d’automatiser l’étiquetage des données afin d’offrir un équilibre entre justesse des étiquettes de confidentialité et flexibilité du système. L’idée est de déduire un grand nombre d’attributs³ à partir de l’objet lui-même, des circonstances de l’étiquetage, du sujet pour qui l’objet est étiqueté ainsi que de l’environnent dont est issu l’objet. Ces attributs sont ensuite utilisés pour déterminer l’étiquette de confidentialité à appliquer en fonction d’une politique donnée. Ce cadre peut aussi être utilisé pour suggérer à un utilisateur quelles étiquettes appliquer.

En 2017 des chercheurs de l’Agence des communications et de l’information de l’OTAN ont proposé un processus automatisé pouvant offrir une aide importante à l’examen manuel des documents [7]. Il consiste à fournir un pré-étiquetage automatisé des documents, accompagné d’une évaluation des niveaux de confiance concernant les étiquettes identifiées avant contrôle manuel par un opérateur. Après évaluation de différents outils disponibles dans le domaine public, les auteurs concluent que même si les résultats de la classification automatique ne sont pas suffisamment précis (bien en dessous de 100% d’exactitude) pour les documents de l’OTAN, leur utilisation apporte un soutien non négligeable au personnel concerné.

La même année, Alzhrani et al. [8] utilisent les télégrammes diplomatiques disponibles sur WikiLeaks (dont le niveau de sensibilité est connu) afin de construire des algorithmes de classification automatique et de détecter des comportements malveillants d’employés. La classification est effectuée au niveau des paragraphes de chaque document. En effet, les auteurs font remarquer que quelques caractéristiques peu fréquentes peuvent impacter la classification d’un document entier vers un plus haut niveau de classification et qu’il est erroné de supposer que toutes les portions d’un même document appartiennent au même niveau de sécurité.

Enfin, Frayling et al. [9] affirment que la classification automatique de textes en fonction de leur sensibilité est difficile. En effet la sensibilité est souvent due à une bonne connaissance contextuelle qui doit être déduite du texte. Ils donnent l’exemple du simple nom d’une entité qui, en lui-même, n’est peut-être pas sensible, mais le devient lorsque le rôle de l’entité est connu (p. ex., « Marc Dubois » et « espion »). Un expert humain peut déduire les sensibilités latentes grâce à ses connaissances du domaine dont il est question, mais les classificateurs textuels automatiques (entrainés ou pas sur des données contextualisées) ont d’importantes limites.

Malgré des progrès significatifs, les méthodes statistiques permettant de déterminer de manière automatique le niveau de sensibilité d’un objet de données, ne sont pas encore suffisamment fiables, mais cela n’empêche pas leur utilisation sous forme de recommandation. C’est par exemple ce que propose l’une des sociétés importantes du domaine.

Exemple d’application pratique

Récemment achetée par Airbus⁴, la société allemande Infodas est accréditée par l’Union Européenne, le Gouvernement allemand, et l’OTAN au niveau « secret ». Sa famille de dispositifs de sécurité matériels appelée « Secure Domain Transition (SDoT) » permet de connecter des systèmes de différents niveaux de classification. Seules les données autorisées à quitter un domaine de niveau de classification élevé peuvent le faire. Les produits SDoT utilisent des filtres (p. ex. expression régulières) pour les données structurées ou des étiquettes de confidentialité qui sont liées cryptographiquement à n’importe quel objet de données.

En particulier l’appareil d’étiquetage « SDoT Labelling Service⁵ » prend en charge la classification des données sensibles et la vérification des étiquettes (de type XML liées cryptographiquement aux objets protégés). Le service d’étiquetage, disponible sous forme de machine virtuelle ou sous forme d’appareil, permet l’étiquetage des données, compatible avec les accords de normalisation STANAG 4774 et 4778 de l’OTAN (voir article précédent) et peut être intégré aux applications standards de bureautique. L’étiquetage, qui peut être appliqué à tous les documents textuels ainsi qu’aux documents papier numérisés, n’est pas automatique mais des suggestions sont faites à un opérateur qui prend la décision finale.

Conclusions

La protection de données dont le niveau de sensibilité est bien défini, est un problème relativement bien compris pour lequel des techniques standardisées offrent des solutions efficaces. En revanche, malgré des progrès importants pour prévenir les fuites de données, l’évaluation automatique du niveau de sensibilité explicite ou latente des données, reste encore limitée. La recherche scientifique est peu développée et la plupart des outils proposent des mécanismes fondés sur des règles d’expressions régulières. Certains ajoutent des méthodes statistiques – apprentissage automatique, voire « d’intelligence artificielle » – afin de faciliter la tâche du personnel en charge de la classification, mais l’exercice reste en grande partie manuel.

Références bibliographiques

[1]     R. Chugh et A. Bales, « Market guide for data loss prevention », Gartner, G00776480, sept. 2023.

[2]     D. Gugelmann, P. Studerus, V. Lenders, et B. Ager, « Can content-based data loss prevention solutions prevent data leakage in Web traffic? », 2015.

[3]     R. Mogull, « Understanding and selecting a data loss prevention solution », SANS Institute, 2007.

[4]     K. P. Clark, « Automated security classification », Vrije Universiteit, Amsterdam, 2008.

[5]     J. D. Brown et D. Charlebois, « Security Classification Using Automated Learning (SCALE): Optimizing Statistical Natural Language Processing Techniques to Assign Security Labels to Unstructured Text », Defence R&D Canada, Technical Memorandum TM 2010-215, déc. 2010.

[6]     K. W. Kongsgård, N. A. Nordbotten, et S. Fauskanger, « Policy-based labelling: A flexible framework for trusted data labelling », in 2015 International Conference on Military Communications and Information Systems (ICMCIS), Cracow, Poland: IEEE, mai 2015, p. 1‑10. doi: 10.1109/ICMCIS.2015.7158708

[7]     M. Richter et K. Wrona, « Devil in the details: Assessing automated confidentiality classifiers in context of NATO documents », in Proceedings of the First Italian Conference on Cybersecurity (ITASEC17), Venice, Italy, janv. 2017.

[8]     K. Alzhrani, E. M. Rudd, C. E. Chow, et T. E. Boult, « Automated U.S. diplomatic cables security classification: Topic model pruning vs. classification based on clusters », 7 mars 2017, arXiv: arXiv:1703.02248. Consulté le: 2 août 2024. [En ligne]. Disponible sur: http://arxiv.org/abs/1703.02248

[9]     E. Frayling, C. Macdonald, G. McDonald, et I. Ounis, « Using entities in knowledge graph hierarchies to classify sensitive information », in Experimental IR
Meets Multilinguality, Multimodality, and Interaction, A. Barrón-Cedeño, G. Da San Martino, M. Degli Esposti, F. Sebastiani, C. Macdonald, G. Pasi, A. Hanbury, M. Potthast, G. Faggioli, et N. Ferro, Éd., in Lecture Notes in Computer Science, vol. 13390. Bologna, Italy: Springer International Publishing, sept. 2022, p. 125‑132. doi: 10.1007/978-3-031-13643-6_10

Notes

¹   C’est particulièrement le cas si des plateformes courantes (p. ex. Windows) sont utilisées fréquemment.

²   Le volume des objets à étiqueter pouvant être important (p. ex., données de capteurs), et le format de ceux-ci pouvant être incompatible avec un contrôle humain, il n’est pas réaliste d’espérer que chaque étiquetage puisse faire l’objet d’une vérification par un utilisateur.

³   Dans leur système, des modules de collection d’attributs ont accès en lecture seule à l’objet ainsi qu’aux attributs déjà renvoyés par d’autres modules. Ces modules peuvent contrôler le contenu pour certains mots-clés, fournir des attributs sur le sujet demandant accès, etc.

⁴   https://www.airbus.com/en/newsroom/press-releases/2024-03-airbus-to-acquire-infodas-and-strengthen-its-cybersecurity

⁵   https://www.infodas.com/en/products/sdot_cross_domain_solutions/labelling-service-data-classification/

Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.

De classificering in gevoeligheidsniveaus van gegevens is de hoeksteen waarop het hele latere gegevensbeveiligingssysteem rust. Het doel van een classificeringssysteem voor gegevens is dan ook om duidelijk vast te stellen welke informatie om veiligheidsredenen moet worden beschermd en om passende classificeringsrichtlijnen op te stellen, zodat informatie die deze bescherming niet nodig heeft niet onnodig wordt geclassificeerd door een hiërarchisch systeem van geheimhouding. Zodra de gegevens correct geclassificeerd zijn kan een vertrouwelijkheidslabel aangebracht worden.

In een vorig artikel zagen we de technieken waarmee gevoelige data-objects beschermd kunnen worden, namelijk dankzij labeling waarmee beslist kan worden of deze objects al dan niet van het ene informaticasysteem naar het andere kunnen overgemaakt worden. Zoals we al opmerkten bestaan er twee belangrijke manieren om een vertrouwelijkheidslabel toe te kennen aan een object.

• De inhoud van het data-object zelf evalueren om de vertrouwelijkheidsattributen te bepalen.
• De vertrouwelijkheidskenmerken baseren op de oorsprong van de informatie in het data-object.

Spijtig genoeg geeft dit type oplossingen geen antwoord op de vraag of de objecten al dan niet correct gelabeld zijn, door de gebruiker of door de dienst die de overdracht heeft geïnitieerd^1,2.

Om de risico’s te beperken, is een veelgebruikte techniek om de overgedragen gegevens te scannen op de aanwezigheid van bepaalde trefwoorden die geacht worden inhoud aan te duiden die geclassificeerd is volgens vertrouwelijkheidsniveaus (bv. classificatieniveaus, locaties, projectnamen, projectafkortingen, technische termen, enz.). Een dergelijke techniek vereist het regelmatig bijwerken van de trefwoordenlijst en het resultaat is sterk afhankelijk van de kwaliteit van die lijst. Dit is arbeidsintensief werk, en des te moeilijker in een context waarin meerdere IT-systemen van verschillende organisaties of zelfs verschillende landen met elkaar verbonden zijn.

Is het dus mogelijk om automatisch de aanwezigheid van geclassificeerde gegevens te evalueren binnen andere gegevens die worden uitgewisseld tussen twee IT-systemen, om ervoor te zorgen dat het beveiligingsbeleid dat wordt toegepast op de gegevens niet wordt geschonden?

Eenvoudige opsporing

Systemen om gegevensverlies of lekken te voorkomen (“Data leakage prevention (DLP)” of “Data loss prevention (DLP)”) analyseren de gegevensstromen en passen de policy’s toe om de gevoelige gegevens tijdens het gebruik (handelingen op terminals), in beweging (netwerkverkeer), en in rust (gegevensopslag) te vrijwaren. In 2015 promootten al meer dan een dozijn ondernemingen hun technische oplossingen. In 2023 toonden Chugh et al. [1] er al een dertigtal. De selectie was niet gemakkelijk omdat, zoals Gygelmann et al. [2] opmerkten, de betrokken ondernemingen terughoudend zijn om informatie te verspreiden over de werking van hun producten. De dreigingsmodellen zijn overigens niet altijd duidelijk omlijnd en variëren van de ene verkoper tot de andere.

We kunnen echter meerdere methodes voor gegevensanalyse [3] aanhalen die vaak gebruikt worden:

• Regels voor reguliere expressie: scenario’s die gebaseerd zijn op sterk gecontroleerde omgevingen (regels om onjuiste of onnodige e-mailontvangers te detecteren, regels om creditcardnummers, paspoortnummers, etc. te herkennen).
• Fingerprint detection: een zoekopdracht naar exacte overeenkomsten tussen elementen in een database die moet worden geïnspecteerd en elementen die zijn verstrekt voor analyse (trefwoorden, specifieke identificatienummers, enz.).
• Matching van bestanden: vergelijking van de cryptografische hashwaarden van de geanalyseerde bestanden met een bepaalde lijst.
• Statistische analyse: zie hieronder.

Statistische analyses

De analyse blijkt complexer te zijn wanneer we volledige documenten overwegen en niet langer bepaalde elementen. Al in 2008 opperde Kassidy-Clark [4] het idee om technieken voor machinaal leren te gebruiken om het proces van het toewijzen van de juiste bescherming aan gegevens op basis van hun gevoeligheid te automatiseren, met name om af te stappen van de beperkingen van handmatige classificatie op het gebied van snelheid en consistentie. In 2010 evalueerden Brown et al., met een meer praktische aanpak, [5] de effectiviteit van statistische natuurlijke taalverwerking en machinelearning-technieken voor het automatisch toekennen van een vertrouwelijkheidsclassificatie aan een ongestructureerd document. Met behulp van een traditionele machinelearning-benadering waren de auteurs in staat om een classificatienauwkeurigheid van 80% te bereiken.

Kongsgård et al. [6] hebben een kader voorgesteld om het labelen van gegevens te beveiligen en te automatiseren om een balans te vinden tussen de nauwkeurigheid van vertrouwelijkheidslabels en de flexibiliteit van het systeem. Het idee is om een groot aantal attributen³ af te leiden uit het object zelf, de omstandigheden van de labeling, het subject voor wie het object gelabeld is en de omgeving waaruit het object afkomstig is. Deze attributen worden vervolgens gebruikt om te bepalen welk vertrouwelijkheidslabel moet worden toegepast volgens een bepaald beleid. Dit kader kan ook worden gebruikt om aan een gebruiker voor te stellen welke labels toe te passen.

In 2017 stelden onderzoekers van het NAVO Communications and Information Agency een geautomatiseerd proces voor dat een aanzienlijke ondersteuning zou kunnen bieden voor het handmatig beoordelen van documenten [7]. Het bestaat uit een geautomatiseerde pre-labeling van documenten, met een evaluatie van de betrouwbaarheidsniveaus van de geïdentificeerde labels vóór een handmatige controle door een operator. Na evaluatie van verschillende tools die in het publieke domein beschikbaar zijn, concluderen de auteurs dat zelfs als de resultaten van automatische classificatie niet voldoende accuraat zijn (ver onder 100% accuraatheid) voor NATO-documenten het gebruik ervan een aanzienlijke ondersteuning biedt aan het betrokken personeel.

In hetzelfde jaar gebruikten Alzhrani et al. [8] diplomatieke telegrammen die beschikbaar zijn op WikiLeaks (waarvan het gevoeligheidsniveau bekend is) om de automatische classificatiealgoritmes aan te maken en kwaadwillige gedragingen van werknemers op te sporen. Classificatie wordt uitgevoerd op paragraafniveau van elk document. In feite wijzen de auteurs erop dat een paar weinig voorkomende kenmerken een invloed kunnen hebben op de classificatie van een volledig document naar een hoger classificatieniveau, en dat het verkeerd is om aan te nemen dat alle delen van hetzelfde document tot hetzelfde beveiligingsniveau behoren.

Tot slot bevestigen Frayling et al. [9] dat het automatisch classificeren van teksten op basis van hun gevoeligheid moeilijk is. Gevoeligheid is vaak het gevolg van een goede contextuele kennis die uit de tekst moet worden afgeleid. Ze geven het voorbeeld van de eenvoudige naam van een entiteit die op zichzelf misschien niet gevoelig is, maar dat wel wordt als de rol van de entiteit bekend is (bv. “Jan Peeters” en “spion”). Een menselijke expert kan latente gevoeligheden afleiden op basis van zijn kennis van het domein in kwestie, maar automatische tekstclassificeerders (al dan niet getraind op gecontextualiseerde gegevens) hebben aanzienlijke beperkingen.

Ondanks aanzienlijke vooruitgang zijn statistische methoden voor het automatisch bepalen van het gevoeligheidsniveau van een data-object nog niet voldoende betrouwbaar, maar dit belet niet dat ze kunnen worden gebruikt in de vorm van aanbevelingen. Dit is bijvoorbeeld wat een van de toonaangevende bedrijven op dit gebied voorstelt.

Voorbeeld van praktische toepassing

Het Duitse bedrijf Infodas is onlangs overgenomen door Airbus⁴ en is geaccrediteerd door de Europese Unie, de Duitse overheid en de NAVO wat betreft “secrecy”. De familie hardwarebeveiligingsapparaten ervan, genaamd Secure Domain Transition (SDoT), maakt het mogelijk om systemen met verschillende classificatieniveaus met elkaar te verbinden. Alleen gegevens die een domein met een hoog classificeringsniveau mogen verlaten, kunnen dat doen. SDoT-producten gebruiken filters (bv. reguliere expressies) voor gestructureerde gegevens of vertrouwelijkheidslabels die cryptografisch gekoppeld zijn aan elk data-object.

De SDoT Labelling Service⁵ ondersteunt met name de classificatie van gevoelige gegevens en de verificatie van labels (XML-tags die cryptografisch zijn gekoppeld aan beschermde objecten). De labeling-service, beschikbaar als virtuele machine of als appliance, maakt het mogelijk om gegevens te labelen, is compatibel met de NAVO-standaardisatieovereenkomsten STANAG 4774 en 4778 (zie vorig artikel) en kan worden geïntegreerd in standaard kantoorautomatiseringstoepassingen. Het labelen, dat kan worden toegepast op alle tekstdocumenten en gescande papieren documenten, gebeurt niet automatisch, maar er worden suggesties gedaan aan een operator die de uiteindelijke beslissing neemt.

Conclusies

Het beschermen van gegevens met een goed omlijnd gevoeligheidsniveau is een relatief goed begrepen probleem waarvoor gestandaardiseerde technieken effectieve oplossingen bieden. Ondanks de aanzienlijke vooruitgang in het voorkomen van datalekken, is de automatische evaluatie van de expliciete of latente gevoeligheid van gegevens nog steeds beperkt. Wetenschappelijk onderzoek is nog niet zover gevorderd en de meeste tools bieden mechanismen op basis van reguliere expressieregels. Sommige voegen statistische methoden toe – machine learning of zelfs “artificiële intelligentie” – om de taak van de medewerkers die verantwoordelijk zijn voor de classificatie te vergemakkelijken, maar de oefening blijft grotendeels handmatig.

Bibliografische referenties

[1]   R. Chugh en A. Bales, ‘Market guide for data loss prevention’, Gartner, G00776480, sep. 2023.

[2]   D. Gugelmann, P. Studerus, V. Lenders, en B. Ager, ‘Can content-based data loss prevention solutions prevent data leakage in Web traffic?’, 2015.

[3]   R. Mogull, ‘Understanding and selecting a data loss prevention solution’, SANS Institute, 2007.

[4]   K. P. Clark, ‘Automated security classification’, Vrije Universiteit, Amsterdam, 2008.

[5]   J. D. Brown en D. Charlebois, ‘Security Classification Using Automated Learning (SCALE): Optimizing Statistical Natural Language Processing Techniques to Assign Security Labels to Unstructured Text’, Defence R&D Canada, Technical Memorandum TM 2010-215, dec. 2010.

[6]   K. W. Kongsgård, N. A. Nordbotten, en S. Fauskanger, ‘Policy-based labelling: A flexible framework for trusted data labelling’, in 2015 International Conference on Military Communications and Information Systems (ICMCIS), Cracow, Poland: IEEE, mei 2015, pp. 1-10. doi: 10.1109/ICMCIS.2015.7158708

[7]   M. Richter en K. Wrona, ‘Devil in the details: Assessing automated confidentiality classifiers in context of NATO documents’, in Proceedings of the First Italian Conference on Cybersecurity (ITASEC17), Venice, Italy, jan. 2017.

[8]   K. Alzhrani, E. M. Rudd, C. E. Chow, en T. E. Boult, ‘Automated U.S. diplomatic cables security classification: Topic model pruning vs. classification based on clusters’, 7 maart 2017, arXiv: arXiv:1703.02248. Geraadpleegd: 2 augustus 2024. [Online]. Beschikbaar op: http://arxiv.org/abs/1703.02248

[9]   E. Frayling, C. Macdonald, G. McDonald, en I. Ounis, ‘Using entities in knowledge graph hierarchies to classify sensitive information’, in Experimental IR Meets Multilinguality, Multimodality, and Interaction, A. Barrón-Cedeño, G. Da San Martino, M. Degli Esposti, F. Sebastiani, C. Macdonald, G. Pasi, A. Hanbury, M. Potthast, G. Faggioli, en N. Ferro, Red., in Lecture Notes in Computer Science, vol. 13390. Bologna, Italy: Springer International Publishing, sep. 2022, pp. 125-132. doi: 10.1007/978-3-031-13643-6_10

 Noten

¹   Dat is in het bijzonder het geval wanneer de huidige platformen (bv. Windows) frequent gebruikt worden.

²   Aangezien de hoeveelheid te labelen objecten groot kan zijn (bijv. sensorgegevens) en het formaat van deze objecten incompatibel kan zijn met menselijke controle, is het onrealistisch om te verwachten dat elk label door een gebruiker kan worden gecontroleerd.

³ In hun systeem hebben modules voor attributenverzameling toegang in read-only-modus tot het object en tot attributen die al door andere modules zijn teruggestuurd. Deze modules kunnen de inhoud controleren voor bepaalde sleutelwoorden, attributen verstrekken over het onderwerp dat om toegang vraagt, enz.

⁴   https://www.airbus.com/en/newsroom/press-releases/2024-03-airbus-to-acquire-infodas-and-strengthen-its-cybersecurity

⁵   https://www.infodas.com/en/products/sdot_cross_domain_solutions/labelling-service-data-classification/

Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Oorzaken van datalekken en veiligheidsincidenten zijn onder andere het per ongeluk delen of verkeerd gebruiken van gevoelige gegevens door een bediende of onderaannemer, of opzettelijke diefstal van gegevens door een kwaadwillige insider voor persoonlijk gebruik. Spijtig genoeg zijn veel gebruikelijke methodes en aanpakken niet ontworpen tegen dergelijke schendingen door gebruikers die a priori betrouwbaar lijken. De efficiëntste technieken zijn nog steeds voorbehouden aan zeer specifieke sectoren.

Het probleem bestaat echter al langer. In bepaalde kritische domeinen zoals de staatsveiligheid is het een gekend probleem. Sinds de jaren 70 inspireerde het model Bell-LaPadula¹ de compartimentering van informaticasystemen in geïsoleerde beveiligingsdomeinen. Een organisatie kan bijvoorbeeld fysiek gescheiden systemen invoeren: een verbonden met internet voor gegevens zonder specifiek vertrouwelijkheidsniveau en een voor elke van de vertrouwelijkheidsniveaus van de organisatie zoals “beperkt”, “vertrouwelijk” of “geheim”. Daarbovenop komen vaak klassieke mechanismes zoals het gebruik van vercijferde bestandssystemen, de blokkering – of zelfs verwijdering – van USB-poorten, de beperking van copy/pasten in software, maar ook de controle van alle gegevens die circuleren op het informaticanetwerk zodat gevoelige of vertrouwelijke gegevens kunnen opgespoord worden.

Om gegevens van een niveau naar een ander over te brengen kan deze organisatie een beroep doen op gespecialiseerde IT gateways bij de bescherming van de gegevens. Deze veronderstellen dat elk gegeven, alsook de gebruiker of de dienst van het domein dat deze gegevens verstuurt, eerst wordt gekoppeld aan een vertrouwelijkheidslabel waarmee beslist wordt of de gegevens al dan niet doorgestuurd kunnen worden. Informatiebescherming gebeurt met andere woorden op het vlak van de data-objecten zelf in plaats van op het vlak van domeinen die aangemaakt werden met gescheiden informaticanetwerken (die soms ontoegankelijk zijn en leiden tot stoelendansen).

Vertrouwelijkheidslabels

De vertrouwelijkheidslabels zijn een manier om verschillende beveiligingskenmerken² te linken aan een specifiek object. Deze vertrouwelijkheidslabels kunnen eender welke nuttige informatie bevatten om beslissingen te nemen op het vlak van veiligheid en worden a priori beschouwd als correct wanneer een veiligheidsbeslissing zich daarop baseert. Er bestaan twee belangrijke manieren om een vertrouwelijkheidslabel toe te kennen aan een data-object:

• De veiligheidseigenschappen baseren op de oorsprong van de informatie aanwezig in het data-object. Dat is de eenvoudigste methode op voorwaarde dat de oorsprong van de informatie traceerbaar is.
• De eigenlijke inhoud van het data-object evalueren om de beveiligingskenmerken te bepalen. In een volgend artikel bekijken we hoe deze toewijzing min of meer automatisch kan verlopen.

Het gebruik van vertrouwelijkheidslabels heeft verschillende beperkingen. Bij de onderlinge verbinding van twee systemen op verschillende veiligheidsniveaus moet er rekening gehouden worden met het risico op verkeerde labeling van de objecten (bv. gebruikersfout, misbruikt of gecompromitteerd systeem, enz.). Bovendien:

• Weerspiegelt een vertrouwelijkheidslabel de beschermingsvereisten en de voorwaarden voor vrijgave van een object bij de creatie van dit label. De update van deze laatste vereist manuele handelingen die strikte beheersprocessen moeten volgen.
• De labeling volgt niet altijd correct de objecten, zelfs binnen eenzelfde organisatie.
• Omwille van subjectieve interpretaties van het veiligheidsbeleid kunnen de auteurs van de objecten verschillende vertrouwelijkheidslabels plakken op objecten met gelijkaardige inhoud. Dit kan leiden tot situaties waarin sterk gelijkende gegevens verschillende beveiligingsniveaus kunnen hebben.

De labeling van de informatie leidt dus tot minstens twee belangrijke uitdagingen. De eerste betreft het bestaan van een syntaxis en een gemeenschappelijke interpretatie van de labels – dit wil zeggen tussen de systemen die informatie willen uitwisselen. De andere is de definitie van een mechanisme waarmee deze labels verbonden kunnen worden aan de objecten waarbij de integriteit van deze link verzekerd wordt.

Gestandaardiseerd mechanisme

In 2010 heeft de onderzoeksgroep voor domeinoverschrijdende veiligheidsoplossingen van de Organisatie voor Wetenschap en Technologie van de NAVO een voorstel gepubliceerd voor XLM-specificatie voor labeling en verbinding van metagegevens. Dit werk werd later verwerkt in twee “standardisation agreements” of “STANAG”.

Het eerste standardisation agreement “STANAG 4774 – Confidentiality Metadata Label Syntax” [1] is een XML-schema dat gebruikt kan worden om een vertrouwelijkheidslabel weer te geven en om machtigingen van de entity’s te beschrijven. Het voorziet formaten en een gemeenschappelijke XML-gebaseerde syntaxis voor veiligheidspolicy’s en vertrouwelijkheidsmetadata. Het kan toegepast worden tussen entity’s die bestuurd worden door verschillende, identieke policy’s of zonder veiligheidspolicy. Om de interoperabiliteit tussen verschillende systemen te verzekeren bestaan er profielen voor verschillende objecttypes: SOAP, REST, Office Open XML, enz.

In het kader van deze standardisation agreement werd de syntaxis van de vertrouwelijkheidslabels ontworpen om gebruikt te worden zodat een of meerdere elementen van metadata bepaald kunnen worden aangezien deze elementen op hun beurt verbonden worden aan de data-objecten. De vertrouwelijkheidslabels kunnen drie soorten metadata specificeren:

• vertrouwelijkheidslabel door de auteur toegekend aan de informatie.
• vertrouwelijkheidslabel in een verschillende policy die vergelijkbaar is met het vertrouwelijkheidslabel van de auteur.
• vertrouwelijkheidslabel verbonden aan de beschrijvende metadata van het beveiligde object.

Het tweede standardisation agreement “STANAG 4778 – Metadata Binding Mechanism” [2] is een XML-schema dat gebruikt kan worden om willekeurige metadata (ook metadata die de syntaxis van het vertrouwelijkheidslabel gebruiken) te verbinden aan de data-objecten tijdens hun levenscyclus en doorheen verschillende organisaties. De link tussen de metadata en het object zorgt er bijvoorbeeld voor dat de oorsprong van de gegevens bewezen, hun integriteit en authenticiteit gecontroleerd, hun vertrouwelijkheid en informatiebescherming verzekerd, een controleketen opgezet en informatiedeling vergemakkelijkt kan worden. Deze manier van veiligheidsdata en -metadata met elkaar te verbinden doet denken aan de methoden voor het beheer van digitale beperkingen die gebruikt worden om onder andere digitale auteursrechtelijke werken te beschermen.

De STANAG-norm 4778 laat verschillende aanpakken toe:

• Losse verbinding: de metadata worden opgeslagen in een aparte structuur van het data-object, en de twee worden aan elkaar gekoppeld via een referentie.
• Integration: de verbinding wordt geïntegreerd in het data-object en de verbinding bevat een referentie naar het data-object.
• Encapsulation: het data-object en de metadata worden ingekapseld in de verbinding en weergegeven door een nieuw samengesteld data-object.

Aangezien een data-object samengesteld kan zijn (bv.: een document met meerdere hoofdstukken en paragrafen) en elk subelement zijn eigen metadata kan hebben, geeft de STANAG-norm 4778 na te leven regels om de metadata van een samengesteld object goed te interpreteren.

De norm definieert tot slot de syntaxis en de semantiek van het verbindingsmechanisme tussen metadata en data-objecten. Verbindingsprofielen beschrijven hoe het verbindingsmechanisme van de metadata toegepast moet worden op gegevensformaten en specifieke protocollen (bv.: Microsoft Word-documenten, JPEG-afbeeldingen), maar de norm laat niet toe datastromen zoals video’s en audiostreams te verwerken.

Merk tot slot op dat de verbinding bepaald door de norm niet sterk is en dat er een digitale handtekening toegevoegd moet worden die de data-objecten en metadata dekt, bijvoorbeeld door de W3C-aanbeveling “XML Signature Syntax and Processing te gebruiken”.

Conclusies

De toepassing van vertrouwelijkheidslabels zoals die bepaald worden in de STANAG-normen 4474 en 4778 is een belangrijk element bij de invoering van een datagecentraliseerde veiligheidsstrategie. Het gebruik van deze labels in een attribuut-gebaseerd toegangscontrolesysteem (bv.: die XACML-policy’s gebruiken) biedt een dynamische en contextuele toegangscontrole waardoor organisaties een uiterst flexibele en efficiënte naleving van de reglementering kunnen bekomen.

Er bestaan veel overwegingen wat betreft de invoering van dergelijke systemen en in het bijzonder de evaluatie van de gevoeligheid van de gegevens waar de labeling van afhangt. Daar komen we op terug in een volgend artikel.

Bibliografische referenties

[1]        Confidentiality metadata label syntax, NATO standard ADat-4774, Edition A Version 1, NATO Standardisation Office (NSO), 20 december 2017.

[2]        Metadata binding mechanism, NATO standard ADatP-4778, Edition A Version 1, NATO Standardisation Office (NSO), 26 oktober 2018.

Noten

¹   Een model ontwikkeld in de jaren 70 om het meerlagig veiligheidsbeleid te formaliseren van de defensieafdeling van de Verenigde Staten. Het model wordt gekenmerkt door het aforisme “naar boven schrijven, naar beneden lezen” (het omgekeerde is verboden).

²   De kenmerken zijn paren van het type (sleutel, waarde) die gelinkt kunnen worden aan eender welke entiteit: data-object, gebruiker, omgeving, enz.

Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Parmi les causes de violations de données et d’incidents de sécurité on trouve le partage accidentel ou la mauvaise manipulation d’informations sensibles par un employé ou un sous-traitant, ou le vol délibéré de données par un initié malveillant à des fins personnelles. Malheureusement beaucoup de méthodes et d’approches habituelles ne sont pas conçues pour se protéger de telles violations par des utilisateurs a priori de confiance et les techniques les plus efficaces sont encore réservées à des secteurs très spécifiques.

Le problème n’est pourtant pas nouveau. Il est en fait bien connu dans certains domaines critiques comme la sécurité d’un pays. Dès les années 1970, le modèle de Bell-LaPadula¹ inspirait la compartimentalisation des systèmes informatiques en domaines de sécurité isolés. Par exemple une organisation peut mettre en œuvre des systèmes séparés physiquement : l’un, connecté à Internet, pour les informations sans niveau de confidentialité particulier et un pour chacun des niveaux de confidentialité de l’organisation comme par exemple « restreint, » « confidentiel, » ou « secret. » À cela sont souvent ajoutés des mécanismes classiques comme l’utilisation de systèmes de fichiers chiffrés, le blocage – voire le retrait – de ports USB, la restriction des fonctionnalités de copier/coller dans les logiciels, mais aussi l’inspection de toutes les données circulant sur le réseau informatique afin de détecter la présence éventuelle de données sensibles ou confidentielles.

Afin de transférer des informations d’un niveau à un autre cette organisation peut avoir recours à des passerelles informatiques spécialisées dans la protection des données. Celles-ci supposent que chaque donnée, ainsi que l’utilisateur ou le service du domaine envoyant ces données, sont d’abord liés à une étiquette de confidentialité permettant de décider si les données peuvent être transmises ou pas. En d’autres termes, la protection de l’information se fait au niveau des objets de données eux-mêmes plutôt qu’au niveau des domaines créés avec des réseaux informatiques séparés (parfois imperméables et conduisant à des processus de chaises tournantes).

Étiquettes de confidentialité

Les étiquettes de confidentialité sont des moyens d’associer différents attributs² de sécurité à un objet particulier. Ces étiquettes de confidentialité peuvent contenir n’importe quelles informations utiles pour prendre des décisions de sécurité et sont a priori considérées comme correctes lorsqu’une décision de sécurité se base dessus. Il existe deux manières principales d’assigner une étiquette de confidentialité à un objet de données :

• Baser les propriétés de sécurité sur l’origine de l’information présente dans l’objet de données. C’est la méthode la plus simple, pour autant que l’origine de l’information puisse être tracée.
• Évaluer le contenu même de l’objet de données afin de déterminer les attributs de sécurité. Nous verrons dans un prochain article comment cette assignation peut être faite de manière plus ou moins automatique.

L’utilisation d’étiquettes de confidentialité présente différentes limites. Lors de l’interconnexion de deux systèmes de niveaux de sécurité différents, il faut tenir compte du risque de mauvais étiquetage des objets (p. ex., erreur de l’utilisateur, détournement ou compromission du système, etc.). De plus :

• Une étiquette de confidentialité reflète les exigences de protection et les conditions de libération d’un objet au moment de la création de cette étiquette. La mise à jour de cette dernière requiert des opérations manuelles qui doivent suivre des processus de gestion stricts.
• L’étiquetage ne voyage pas toujours correctement avec les objets, même au sein de la même organisation.
• En raison d’interprétations subjectives de la politique de sécurité, les auteurs des objets peuvent apposer des étiquettes de confidentialité différentes pour des objets au contenu similaire. Cela peut conduire à des situations où des données très similaires peuvent avoir des niveaux de protection différents.

L’étiquetage de l’information introduit donc au moins deux défis importants. Le premier concerne l’existence d’une syntaxe et d’une interprétation commune des étiquettes – c’est à dire entre les systèmes souhaitant échanger des informations. L’autre est la définition d’un mécanisme permettant de lier ces étiquettes aux objets tout en assurant l’intégrité de ce lien.

Mécanisme standardisé

En 2010, le groupe de recherche sur les solutions de sécurité inter-domaines de l’Organisation pour la science et la technologie de l’OTAN a publié une proposition de spécification XML pour l’étiquetage et la liaison des métadonnées. Ce travail a ensuite été développé dans deux accords de normalisation (« standardisation agreement » ou « STANAG »).

Le premier accord de normalisation, le « STANAG 4774 – Confidentiality Metadata Label Syntax » [1] est un schéma XML qui peut être utilisé pour représenter une étiquette de confidentialité ainsi que pour décrire les habilitations des entités. Il fournit des formats et une syntaxe commune basée sur le langage XML pour les politiques de sécurité et les métadonnées de confidentialité. Il peut s’appliquer entre des entités gouvernées par des politiques différentes, identiques, ou sans politique de sécurité. Afin d’assurer l’interopérabilité entre différents systèmes, des profils existent pour différents types d’objets : SOAP, REST, Office Open XML, etc.

Dans le cadre de cet accord de normalisation, la syntaxe des étiquettes de confidentialité a été conçue pour être utilisée afin de définir un ou plusieurs éléments de métadonnées, ces éléments de métadonnées étant à leur tour liés à des objets de données. Les étiquettes de confidentialité peuvent spécifier trois types de métadonnées :

• étiquette de confidentialité attribuée à l’information par l’auteur.
• étiquette de confidentialité dans une politique différente qui est équivalente à l’étiquette de confidentialité de l’auteur.
• étiquette de confidentialité associée aux métadonnées descriptives de l’objet protégé.

Le deuxième accord de normalisation, le « STANAG 4778 – Metadata Binding Mechanism » [2] est un schéma XML qui peut être utilisé pour lier des métadonnées arbitraires (y compris des métadonnées qui utilisent la syntaxe de l’étiquette de confidentialité) à des objets de données, au cours de la vie de ceux-ci et à travers différentes organisations. Le lien entre les métadonnées et l’objet permet par exemple de prouver l’origine des informations, de vérifier leur intégrité et authenticité, d’assurer la confidentialité et la protection de l’information, de mettre en place une chaîne de contrôle, et de faciliter le partage de l’information. Cette façon de lier données et métadonnées de sécurité n’est pas sans rappeler les méthodes de gestion numérique des restrictions utilisées pour protéger notamment les œuvres numérisées bénéficiant d’un droit d’auteur.

La norme STANAG 4778 autorise différentes approches :

• Liaison détachée : les métadonnées sont stockées dans une structure distincte de l’objet de données, et les deux sont liés par référence.
• Intégration : la liaison est intégrée dans l’objet de données et la liaison contient une référence à l’objet de données.
• Encapsulation : l’objet de données et les métadonnées sont encapsulés dans la liaison et représentés par un nouvel objet de données composite.

Puisqu’un objet de données peut être composite (p. ex., un document avec plusieurs chapitres et paragraphes), et que chaque sous-élément peut avoir ses propres métadonnées, la norme STANAG 4778 donne les règles à respecter afin de bien interpréter les métadonnées d’un objet composite.

Enfin la norme définit la syntaxe et la sémantique du mécanisme de liaison entre métadonnées et objets de données. Des profils de liaison décrivent comment appliquer le mécanisme de liaison des métadonnées à des formats de données et à des protocoles spécifiques (p. ex., documents Microsoft Word, images JPEG), mais la norme ne permet pas de traiter les flux de données comme les vidéos et les transmissions sonores.

Notons enfin que la liaison définie par la norme n’est pas forte et il faut ajouter une signature numérique couvrant l’objets de données et les métadonnées, par exemple en utilisant la recommandation du W3C « XML Signature Syntax and Processing. »

Conclusions

L’application d’étiquettes de confidentialité comme, par exemple, celles définies dans les normes STANAG 4474 et 4778 est un élément important de la mise en œuvre d’une stratégie de sécurité centrée sur les données. L’utilisation de ces étiquettes dans un système de contrôle d’accès basé sur les attributs (par ex. utilisant des politiques XACML) offre un contrôle d’accès dynamique et contextuel, permettant aux organisations d’atteindre avec une grande flexibilité, une conformité réglementaire efficace.

Il existe de nombreuses considérations liées à la mise en œuvre de tels systèmes et notamment l’évaluation de la sensibilité des informations dont dépend l’étiquetage. Cela sera l’objet d’un prochain article.

Références

[1]        Confidentiality metadata label syntax, NATO standard ADat-4774, Edition A Version 1, NATO Standardisation Office (NSO), 20 décembre 2017.

[2]        Metadata binding mechanism, NATO standard ADatP-4778, Edition A Version 1, NATO Standardisation Office (NSO), 26 octobre 2018.

Notes

¹   Un modèle développé dans les années 1970 afin de formaliser la politique de sécurité multi-niveau du département de la défense des États-Unis. Le modèle est caractérisé par l’aphorisme « écrire vers le haut, lire vers le bas » (l’inverse étant interdit).

²   Les attributs sont des paires de type (nom, valeur) qui peuvent être associées à n’importe quelle entité : objet de données, utilisateur, environnement, etc.

Ce post est une contribution individuelle de Fabien A. P. Petitcolas, spécialisé en sécurité informatique chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals.