<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>data quality &#8211; Smals Research</title>
	<atom:link href="https://www.smalsresearch.be/tag/data-quality/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.smalsresearch.be</link>
	<description></description>
	<lastBuildDate>Mon, 26 Oct 2026 14:38:33 +0000</lastBuildDate>
	<language>en-GB</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://www.smalsresearch.be/wp-content/uploads/2026/01/cropped-cropped-Smals_Research-150x150.png</url>
	<title>data quality &#8211; Smals Research</title>
	<link>https://www.smalsresearch.be</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Data Quality: utiliser le potentiel géographique</title>
		<link>https://www.smalsresearch.be/data-quality-utiliser-le-potentiel-geographique/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Fri, 16 Oct 2026 11:22:42 +0000</pubDate>
				<category><![CDATA[Presentations]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[GIS]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30716</guid>

					<description><![CDATA[Présentation données lors de la conférence FOSS4G 2026 (15/10/2026, Bruxelles, Tour-et-Taxi ; https://www.foss4g.be/) N&#8217;importe quelle source de données pose des problèmes de qualité. Il existe de nombreuses méthodes, généralement basées sur des comparaisons de chaînes de caractères, pour détecter et traiter les problèmes dans les bases de données relationnelles classiques. Mais exploiter les données géographiques [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Présentation données lors de la conférence FOSS4G 2026 (15/10/2026, Bruxelles, Tour-et-Taxi ; <a href="https://www.foss4g.be/">https://www.foss4g.be/</a>)</p>



<p class="wp-block-paragraph">N&#8217;importe quelle source de données pose des problèmes de qualité. Il existe de nombreuses méthodes, généralement basées sur des comparaisons de chaînes de caractères, pour détecter et traiter les problèmes dans les bases de données relationnelles classiques. Mais exploiter les données géographiques comme des points ou des polygones avec des techniques d&#8217;analytique spatiale permet d&#8217;identifier des erreurs impossible à détecter avec des méthodes classiques. Pour illustrer ces méthodes, nous partons des données de BeSt Address avec des librairies Python Open Source (geopandas, shapely…).</p>



<div data-wp-interactive="core/file" class="wp-block-file"><object data-wp-bind--hidden="!state.hasPdfPreview" hidden class="wp-block-file__embed" data="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf" type="application/pdf" style="width:100%;height:600px" aria-label="Embed of 2026-10-15 BeStAddressAnomalies_FOSS4G."></object><a id="wp-block-file--media-20bd4585-7f29-4afa-ab9b-d9b5ef9897d9" href="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf">2026-10-15 BeStAddressAnomalies_FOSS4G</a><a href="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf" class="wp-block-file__button wp-element-button" download aria-describedby="wp-block-file--media-20bd4585-7f29-4afa-ab9b-d9b5ef9897d9">Download</a></div>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Generatieve AI: nuttig voor het opschonen van gegevens?</title>
		<link>https://www.smalsresearch.be/generatieveai-nuttig-voor-het-opschonen-van-gegevens/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Wed, 23 Sep 2026 06:33:52 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30246</guid>

					<description><![CDATA[Na een eerste ervaring met het analyseren van een dataset hebben we ons gericht op een fundamenteel aspect: de kwaliteit van de gegevens. Met een rigoureuze en systematische aanpak hebben we onderzocht hoe tools als ChatGPT, Gemini, Copilot, Claude en Mistral presteerden wanneer het niet langer alleen ging om het analyseren van gegevens, maar ook om het opschonen ervan. ]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em>Cet article est aussi disponible&nbsp;en&nbsp;<a href="https://www.smalsresearch.be/lia-generative-utile-pour-nettoyer-des-donnees/" data-type="post" data-id="30005">français</a>.</em></p>



<p class="wp-block-paragraph">Na een <a href="https://www.smalsresearch.be/talk-to-your-data-met-chatgpt/">eerste ervaring met de analyse van een dataset</a> met behulp van tools voor generatieve AI (GenAI), die indrukwekkende resultaten opleverde, hebben wij ons gericht op een fundamenteel aspect voor elke data-analist, met name in de sector van de administratieve data: de kwaliteit van de data. Door een rigoureuze en systematische aanpak te hanteren, hebben wij geanalyseerd hoe tools zoals ChatGPT, Gemini, Copilot, Claude of Mistral presteerden wanneer het niet langer alleen gaat om data analyseren, maar ook om deze op te schonen. Voor dit experiment hebben wij gekozen voor een type data dat wij goed kennen (<a href="https://www.smalsresearch.be/data-quality-en-geografische-gegevens/">1</a>, <a href="https://www.smalsresearch.be/waarom-is-een-belgisch-adres-ingewikkeld/">2</a>): adressen in België. Er bestaan uiteraard tools die specifiek bedoeld zijn voor het opschonen van adressen, of zelfs voor <a href="https://www.smalsresearch.be/geocode-welke-tool-voor-welke-behoefte/">geocodering</a>. Maar het leek ons relevant om de voordelen en nadelen van deze nieuwe categorie tools te evalueren.</p>



<figure class="wp-block-gallery alignright has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png"><img fetchpriority="high" decoding="async" width="1024" height="529" data-id="30057" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png" alt="" class="wp-image-30057" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-300x155.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-768x397.png 768w" sizes="(max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Net als in <a href="https://www.smalsresearch.be/bepelias-een-lokale-geocoder-gebaseerd-op-best-address/">vorige blogposts</a> zijn wij uitgegaan van een <a href="https://kbopub.economie.fgov.be/kbo-open-data/login?lang=nl">dataset</a> afkomstig van de Kruispuntbank van Ondernemingen. Meer bepaald hebben wij gebruikgemaakt van een oudere dataset uit 2016, aangezien de kwaliteit van de bron inmiddels aanzienlijk is verbeterd; maar om de prestaties van een opschoonprogramma te beoordelen, is het beter om niet uit te gaan van data die al te &#8220;schoon” zijn. Een vaatwasmachine test men immers niet met reeds gewassen bestek&#8230; Deze dataset bevatte +/- 266.000 adressen, grotendeels in het Frans, van ondernemingen in het Brussels Hoofdstedelijk Gewest.</p>



<p class="wp-block-paragraph">Wij hebben twee benaderingen geprobeerd:</p>



<ul class="wp-block-list">
<li>Bij gebruik van de chat-versies worden alle adressen in CSV-formaat verzonden, vergezeld van een prompt die wij hieronder nader zullen toelichten. Deze vraagt in hoofdzaak om ”deze adressen te standaardiseren&#8221; en om, naast een Excel-bestand met het resultaat, een Python-script te verstrekken waarmee dit kan worden gereproduceerd. In deze post beschrijven wij deze aanpak.</li>



<li>Bij gebruik van de API wordt een reeks batches verzonden met adressen (in JSON), met instructies die in grote lijnen vergelijkbaar zijn met die van de eerste benadering, maar dan vereenvoudigd. Deze benadering zal in een volgende post aan bod komen.</li>
</ul>



<p class="wp-block-paragraph">Wij hebben ons verschillende vragen gesteld:</p>



<ul class="wp-block-list">
<li>Was het proces eenvoudig, of ging het gepaard met hindernissen?</li>



<li>Werden de instructies nageleefd?</li>



<li>Was het proces stabiel, of, met andere woorden, krijgen we hetzelfde resultaat als we hetzelfde verzoek met een tussenpoos van enkele uren herhalen?</li>
</ul>



<p class="wp-block-paragraph">De grootste uitdaging bij onze aanpak was het definiëren van de juiste prompt. Het uitgangspunt was om één “Markdown”-bestand aan te leveren dat alle instructies bevatte die wij toegepast wilden zien.</p>



<p class="wp-block-paragraph">Het databestand bevatte een reeks kolommen voor de volgende verschillende gegevens: “straat“ (StreetFR), ”huisnummer“ (HouseNumber), “postcode“ (Zipcode), ”gemeente“ (MunicipalityFR). Veel adressen zijn echter onjuist ingevoerd. Bijvoorbeeld:</p>



<ul class="wp-block-list">
<li>Het huisnummer staat in het veld &#8220;straat“, aan het begin (&#8220;20 Avenue Fonsny&#8221;) of aan het einde (&#8220;Avenue Fonsny 20&#8221;)</li>



<li>De namen zijn afgekort (&#8220;Av. Fonsny&#8221;, &#8220;A FONSNY&#8221;&#8230;)</li>



<li>De hoofdlettergebruik is niet uniform (&#8220;Avenue Fonsny&#8221;, &#8220;AVENUE FONSNY&#8221;)</li>



<li>Er bestaan meerdere varianten van dezelfde straat (&#8220;Boulevard Albert II&#8221;, &#8220;Boulevard du Roi Albert II&#8221;, &#8220;Boulevard Albert 2&#8243;&#8230;)</li>



<li>Indien het huisnummer niet relevant is, bestaan er talrijke manieren om dit aan te geven: &#8220;SN&#8221; (sans numéro), &#8220;ZN&#8221; (zonder nummer), &#8220;S/N&#8221;, &#8220;?&#8221;, &#8220;*&#8221;&#8230;</li>
</ul>



<h2 class="wp-block-heading">Instructies</h2>



<p class="wp-block-paragraph">In het instructiebestand hebben wij twee opschoningsfasen gedetailleerd beschreven. De eerste bestond uit het afzonderlijk analyseren van elke regel. De tweede vereiste het vergelijken van &#8220;vergelijkbare&#8221; records onderling om varianten en typfouten te identificeren.</p>



<h3 class="wp-block-heading">Fase 1: opschoning</h3>



<p class="wp-block-paragraph">In de eerste opschoningsfase moeten er drie nieuwe kolommen aangemaakt worden: &#8220;StreetFR_cleansed&#8221; en &#8220;HouseNumber_cleansed&#8221;, om daarin de opgeschoonde versie van de data uit &#8220;StreetFR&#8221; en &#8220;HouseNumber&#8221; op te nemen, evenals &#8220;ExtraInfo_cleansed&#8221;, om daarin de informatie op te nemen die volgens de tool noch deel uitmaakt van de straatnaam, noch van het huisnummer (bijvoorbeeld een verdieping).</p>



<p class="wp-block-paragraph">Wat het huisnummer betreft, vragen wij (onder andere) het volgende:</p>



<ul class="wp-block-list">
<li>Het uit het veld &#8220;StreetFR&#8221; te halen indien het daar voorkomt, waarbij diverse voorbeelden worden gegeven;</li>



<li>Het te standaardiseren, zodat er bijvoorbeeld niet de ene keer &#8220;10 a&#8221;, de andere keer &#8220;10A&#8221; of &#8220;10/A&#8221; staat:</li>
</ul>



<p class="wp-block-paragraph">Wat betreft de straatnaam vragen wij het volgende:</p>



<ul class="wp-block-list">
<li>De afkortingen van voorvoegsels uit te breiden, voornamelijk in het Frans: &#8220;Av.&#8221;, &#8220;Blvd&#8221;, &#8220;Chée&#8221;&#8230; ;</li>



<li>Alles in “title case” te zetten, waarbij ervoor wordt gezorgd dat lidwoorden en voegwoorden in kleine letters blijven: &#8220;Rue des Chats&#8221;, &#8220;Avenue de l’Indépendance&#8221;&#8230; ;</li>



<li>Ervoor te zorgen dat Romeinse cijfers in hoofdletters blijven: &#8220;Boulevard Léopold II&#8221;, &#8220;Rue Charles VI&#8221;&#8230;</li>
</ul>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructies voor fase 1</em></summary>
<p class="wp-block-paragraph"><em>In this first cleansing phase, your task is to create a cleansed copy of columns StreetFR and HouseNumber, which will be named &#8220;HouseNumber_cleansed&#8221;, &nbsp;&#8220;StreetFR_cleansed&#8221;. An additionnal column &#8220;ExtraInfo_cleansed&#8221; will also be created.</em></p>



<p class="wp-block-paragraph"><em>In &#8220;HouseNumber_cleansed&#8221;, you will:</em></p>



<ul class="wp-block-list">
<li><em>In case of the format &#8220;20 A FONSNY&#8221; in StreetFR (all in upper case ; one number, one space, one letter in &#8216;A&#8217;, &#8216;R&#8217;, &#8216;C&#8217;, &#8216;B&#8217;, &#8216;S&#8217; or &#8216;P&#8217;, one space, several letters or spaces): extract the number in &#8216;HouseNumber_cleansed&#8217; ; Do the following street type replacement: A=Avenue ; R=Rue ; C=Chaussée ; B=Boulevard ; S=Square ; P=Place</em></li>



<li><em>Extract housenumber from &#8220;StreetFR&#8221; if needed, put in &#8220;ExtraInfo_cleansed&#8221; additionnal information which doesn&#8217;t seem to be part of the house number. Extract number only at the beginning of the string (&#8220;20 Avenue Fonsny&#8221;) or at the end (&#8220;Avenue Fonsny 20&#8221; or &#8220;Avenue Fonsny, 30&#8221;), possibly followed by one letter (&#8220;Avenue Fonsny 20 A&#8221;), or with ranges (&#8220;Avenue Fonsny 20-22&#8221; or &#8220;Avenue Fonsny 20/22&#8221;), or with a box number indication (&#8220;Avenue Fonsny 20 bus 3&#8221;, &#8220;Avenue Fonsny 20 box 3&#8221;, &#8220;Avenue Fonsny 20 bt 3&#8221;, &#8220;Avenue Fonsny 20 bte 3&#8221;, &#8220;Avenue Fonsny 20 boite 3&#8221;).</em></li>



<li><em>If you have to extract a housenumber &#8220;num1&#8221; from &#8220;StreetFR&#8221; but &#8220;HouseNumber&#8221; already contains a value &#8220;num2&#8221;, keep them both in &#8220;HouseNumber_cleansed&#8221;&nbsp;: &#8220;num2 / num1&#8221;</em></li>



<li><em>Standardise in a safe way the housenumber. For instance, &#8220;20A&#8221;, &#8220;20 A&#8221;, &#8220;20a&#8221; or &#8220;20/A&#8221; should become &#8220;20A&#8221;. But do not replace &#8220;20/22&#8221; by &#8220;2022&#8221;</em></li>



<li><em>Many values represent &#8220;no number&#8221;&nbsp;: &#8220;SN&#8221; (Sans numéro, in French), &#8220;ZN&#8221; (Zonder nummer, in Dutch), &#8220;S/N&#8221;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others. Replace them by an empty string</em></li>
</ul>



<p class="wp-block-paragraph"><em>In &#8220;StreetFR_cleansed&#8221;, you will&nbsp;:</em></p>



<ul class="wp-block-list">
<li><em>Standardise street names by expanding abbreviations. For instance &#8220;Av Fonsny&#8221;, &#8220;Av. Fonsny&#8221;, &#8220;Av.Fonsny&#8221; or &#8220;A Fonsny&#8221; should all become &#8220;Avenue Fonsny&#8221;. Use several variants&nbsp;: Avenue (Av, Ave, A), Chaussée (Ch, chée), Boulevard (B, Bd, blvd, bvd), Rue (R), Place (Pl), Square (Sq). Replace those pattern only at the begining of the sentence, or if they are only preceded by numbers. Replacement should always be followed by a space.</em></li>



<li><em>Trim heading or leading spaces, and collapse consecutive spaces.</em></li>



<li><em>As described in the previous section, extract housenumber and put them in HouseNumber_cleansed</em></li>



<li><em>Set all words in title case, excepts determiner (le, la, les, du, des, aux, de&#8230;).</em></li>



<li><em>Roman numbers should be in uppercase</em></li>



<li><em>Remove all variants of &#8220;no number&#8221; (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others), at the end of the string and isolated (Not in &#8220;FonSNy&#8221;)</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Fase 2: deduplicatie</h3>



<p class="wp-block-paragraph">In deze tweede fase proberen wij varianten van dezelfde straatnaam te identificeren. Als wij bijvoorbeeld voor dezelfde postcode &#8220;Rue V. Horta&#8221; in het ene record en &#8220;Rue Victor Horta&#8221; in een ander record aantreffen, dan behouden wij de meest volledige versie voor de dataset. Het instructiebestand bevat talrijke toelichtingen en voorbeelden (zoals bijvoorbeeld dat &#8220;Boulevard Léopold II&#8221; niet mag worden samengevoegd met &#8220;Boulevard Léopold III&#8221;), waarop wij hier niet nader zullen ingaan.</p>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructies voor fase 2</em></summary>
<p class="wp-block-paragraph"><em>In this second phase, you will be more aggressive in the cleansing of street names, and take more risks. Output of this second phase will be in column &#8220;StreetFR_cleansed2&#8221;. This column will be computed starting from &#8220;StreetFR_cleansed&#8221; and will:</em></p>



<ul class="wp-block-list">
<li><em>If an initial can be expanded from other values within the same zipcode, do it. For instance&nbsp;: &#8220;rue V. Horta, 1160 Auderghem&#8221; in one record, &#8220;rue Victor Horta, 1160 Auderghem&#8221; in another, keep the longest one for both. In this case, the extension from an initial to a full name should be the only change. Do not map &#8220;Avenue V. Horta&#8221; to &#8220;Rue Victor Horta&#8221;. Do not map &#8220;Rue V. Van Horta&#8221; to &#8220;Rue Victor Van Fonsny&#8221;.</em></li>



<li><em>Within different street names sharing the same zip, cluster spelling variants, keeping in &#8220;StreetFR_cleansed2&#8221; the most frequent value. For instance, if we have, for zipcode 1060, 100 times &#8220;Avenue Fonsny&#8221; and once &#8220;Avenue Fonsmy&#8221; or &#8220;Avenue Fonsni&#8221;, keep &#8220;Avenue Fonsny&#8221; in StreetFR_cleansed2.</em></li>



<li><em>Before comparing strings, always remove street type (Avenue, Boulevard, Rue, Place, Square, Chaussée&#8230;) at the beginning of the street name. But do not map a street on a street with another street type.</em></li>



<li><em>Similarity should be at least 0.9</em></li>



<li><em>If the only difference between two street names is a diacritic symbol or punctuation, keep the most frequent one even if they don&#8217;t share the same zipcode&nbsp;: &#8220;Chaussée de Wavre&#8221; vs &#8220;Chaussee de Wavre&#8221; or &#8220;Chaussée de Wavre,&#8221;</em></li>



<li><em>Be aware of roman numbers&nbsp;: &#8220;Boulevard Léopold II&#8221; should not be merged with &#8220;Boulevard Léopold III&#8221;</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Te leveren resultaat</h3>



<p class="wp-block-paragraph">Tot slot wordt het volgende gevraagd:</p>



<ul class="wp-block-list">
<li>Een downloadbare lijst in Excel-formaat leveren, waaraan de berekende kolommen zijn toegevoegd;</li>



<li>Een of meer leesbare en gedocumenteerde Python-scripts generen waarmee de opschoning kan worden uitgevoerd.</li>
</ul>



<h2 class="wp-block-heading">Vergelijking</h2>



<p class="wp-block-paragraph">Wij hebben dezelfde data met hetzelfde Markdown-instructiebestand meerdere keren, met een tussenpoos van enkele uren, aan een reeks tools voorgelegd. Vervolgens hebben wij:</p>



<ul class="wp-block-list">
<li>Elke gegenereerde lijst geanalyseerd om na te gaan of de instructies correct waren opgevolgd;</li>



<li>Twee door dezelfde tool gegenereerde outputs vergeleken om de consistentie van het werk te beoordelen;</li>



<li>Het gegenereerde Python-script uitgevoerd om te controleren of het uitvoerbaar was en inderdaad hetzelfde resultaat opleverde als de output die rechtstreeks door de tool was gegenereerd.</li>
</ul>



<p class="wp-block-paragraph">De tools die wij hebben onderzocht, zijn de volgende:</p>



<ul class="wp-block-list">
<li>ChatGPT (OpenAI, &#8220;Plus&#8221;-abonnement), model GPT 5.6 Thinking;</li>



<li>Gemini (Google, &#8220;Pro&#8221;-abonnement), model 3.1 Pro;</li>



<li>Copilot (Microsoft, &#8220;Base&#8221;-abonnement, gratis), model GPT 5. Daarnaast hebben wij ook een &#8220;Pro&#8221;-versie getest, geïntegreerd in Excel en GitHub</li>



<li>Claude (Anthropic, &#8220;Free&#8221;-abonnement), model Sonnet 5 Medium</li>



<li>Mistral (&#8220;Free&#8221;-abonnement), &#8220;Réflexion&#8221;</li>
</ul>



<p class="wp-block-paragraph">Een eerste blik op elke resultatenlijst geeft een positieve indruk: bij het bekijken van de wijzigingen tussen de in- en outputkolommen lijken deze overwegend relevant. Deze tools “doen dus hun werk”, lijkt het. Maar bij nader inzien is de situatie niet zo rooskleurig.</p>



<h2 class="wp-block-heading">Consistentie</h2>



<p class="wp-block-paragraph">Het eerste aspect dat opvalt, is het gebrek aan consistentie bij de tools. Geen van de tools heeft tijdens de drie opeenvolgende evaluaties dezelfde bewerkingen op de data uitgevoerd (met, laten we dat nogmaals benadrukken, hetzelfde model, dezelfde data en dezelfde prompt). Hieronder staat bijvoorbeeld het percentage wijzigingen tussen de inputstraat en de gewijzigde straat aan het einde van fase 2:</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th></th><th class="has-text-align-right" data-align="right">Test 1</th><th class="has-text-align-right" data-align="right">Test 2</th><th class="has-text-align-right" data-align="right">Test 3</th><th class="has-text-align-right" data-align="right">Delta</th></tr></thead><tbody><tr><td><strong>ChatGPT</strong></td><td class="has-text-align-right" data-align="right">5,44%</td><td class="has-text-align-right" data-align="right">6,97%</td><td class="has-text-align-right" data-align="right">8,41%</td><td class="has-text-align-right" data-align="right">2,97 %</td></tr><tr><td><strong>Gemini </strong></td><td class="has-text-align-right" data-align="right">9,62%</td><td class="has-text-align-right" data-align="right">5,76%</td><td class="has-text-align-right" data-align="right">9,84%</td><td class="has-text-align-right" data-align="right">4,08%</td></tr><tr><td><strong>Copilot</strong></td><td class="has-text-align-right" data-align="right">16,20%</td><td class="has-text-align-right" data-align="right">0,27%</td><td class="has-text-align-right" data-align="right">13,52%</td><td class="has-text-align-right" data-align="right">15,93%</td></tr><tr><td><strong>Claude</strong></td><td class="has-text-align-right" data-align="right">5,28%</td><td class="has-text-align-right" data-align="right">5,22%</td><td class="has-text-align-right" data-align="right">5,30%</td><td class="has-text-align-right" data-align="right">0,08%</td></tr><tr><td><strong>Mistral</strong></td><td class="has-text-align-right" data-align="right">32,22%</td><td class="has-text-align-right" data-align="right">20,69%</td><td class="has-text-align-right" data-align="right">99,79%</td><td class="has-text-align-right" data-align="right">79,10%</td></tr></tbody></table><figcaption class="wp-element-caption">Percentage aangepaste straten door de verschillende iteraties van één en dezelfde tool.</figcaption></figure>



<figure class="wp-block-image alignright size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png"><img decoding="async" width="493" height="320" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png" alt="" class="wp-image-30059" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png 493w, https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1-300x195.png 300w" sizes="(max-width: 493px) 100vw, 493px" /></a></figure>



<p class="wp-block-paragraph">De kolom &#8220;Delta&#8221; geeft het verschil aan tussen de grootste en de kleinste waarde: dit komt dus (vrijwel) overeen met het percentage adressen dat de &#8220;voorzichtigste&#8221; test niet heeft gewijzigd, terwijl de meest &#8220;agressieve&#8221; variant dat wel heeft gedaan. Er is dus een opmerkelijke consistentie waarneembaar tussen de iteraties van Claude, en zelfs van ChatGPT, terwijl Copilot en vooral Mistral bij hetzelfde probleem radicaal andere keuzes lijken te hebben gemaakt.</p>



<p class="wp-block-paragraph">Wat de consistentie betreft: hoewel het over het algemeen volstond om in één enkel verzoek de data en instructies te verzenden om het opgeschoonde bestand en het script direct te kunnen downloaden, was dit niet altijd het geval. Bij de tweede iteratie van Copilot was het gegenereerde script bijvoorbeeld leeg. Er moest &#8220;onderhandeld&#8221; worden (drie opeenvolgende verzoeken) om het uiteindelijk te verkrijgen. In een eerdere fase van ons onderzoek kon Gemini het gevraagde bestand bij een eerste poging correct genereren, maar liep het bij de tweede poging vast: het beweerde dat het onmogelijk was om Pythoncode in zijn omgeving uit te voeren. Hoewel wij hem duidelijk maakten dat hij daar enkele uren eerder nog wel toe in staat was geweest, hielp dat niets. We moesten een nieuwe sessie starten om het opnieuw voor elkaar te krijgen.</p>



<h2 class="wp-block-heading">Uitvoering</h2>



<p class="wp-block-paragraph">Voor elke test hebben we het gegenereerde Pythonscript uitgevoerd en het resultaat ervan vergeleken met de ontvangen lijst.<br>Voor ChatGPT valt er niets te melden: de scripts worden in ongeveer één minuut uitgevoerd en leveren een resultaat op dat strikt identiek is aan de lijst.<br>Voor Claude is het eveneens bijna foutloos: een iets langere uitvoering (+/- 5 minuten), twee iteraties die een strikt conform resultaat opleverden, en één met 12 zeer kleine verschillen, telkens het gevolg van gelijkwaardige alternatieven.<br>Bij Gemini is de balans gemengder: het eerste script raakte verstrikt in een oneindige lus! Het tweede leverde een conform resultaat op, het derde 70 verschillen.<br>Bij Copilot is er nog een probleemstelling: bij één van de tests is het ons simpelweg niet gelukt om het script te verkrijgen. Voor een andere test was het direct beschikbaar, en voor de derde hebben we het na onderhandelingen verkregen. De twee scripts leverden respectievelijk 637 en 810 afwijkende regels op ten opzichte van de bijbehorende lijst.<br>Wat dit aspect betreft, gaat de titel van slechtste leerling naar Mistral (maar, ter herinnering, met een gratis account): het is de enige die nooit direct een lijst heeft kunnen genereren, maar uitsluitend Pythonscripts. Een daarvan was overigens niet uitsluitend in Python geschreven, maar bevatte ook JavaScript-instructies. Nadat wij hem hierop hadden gewezen, heeft Mistral zijn code gecorrigeerd, maar deze was nog steeds niet bruikbaar. Het was pas de derde versie die wij konden laten draaien. Bij een van onze andere tests ontbrak in de code een noodzakelijke &#8220;import&#8221;. Bovendien varieerde de uitvoeringstijd van 6 tot … 50 minuten!</p>



<h2 class="wp-block-heading">Indicatoren</h2>



<p class="wp-block-paragraph">Vervolgens hebben wij de verschillende instructies doorgenomen om te beoordelen in hoeverre deze werden nageleefd.</p>



<h3 class="wp-block-heading">&#8220;Zonder nummer&#8221;</h3>



<p class="wp-block-paragraph">In onze instructies hebben wij zeven waarden opgegeven die overeenkomen met het ontbreken van een nummer in een adres (SN, ZN, S/N, *,&nbsp;?, -, /), waarbij wij aangaven dat er nog andere waren. Sommige hebben er geen enkele geïdentificeerd (tweede Copilot-test), andere tot wel 19 (tweede Claude-test). Geen enkele tool identificeerde bij zijn verschillende iteraties dezelfde waarden.</p>



<h3 class="wp-block-heading">Hoofdletters</h3>



<p class="wp-block-paragraph">We hebben gevraagd om bij de output de hoofdletters van de straatnaam op een enigszins subtiele manier aan te passen: titelhoofdletters (title case, eerste letter van elk woord hoofdletter, de overige letters kleine letters), maar met een extra voorwaarde: de lidwoorden (de, la, des&#8230;) moesten in kleine letters blijven. Het resultaat zou dus “Rue de Sainte-Anne” moeten zijn, en niet “Rue De Sainte-Anne” of “Rue de Sainte-anne”. Wij hebben verschillende situaties waargenomen:</p>



<ul class="wp-block-list">
<li>Het volledig ontbreken van correctie, waarbij de oorspronkelijke hoofdlettergebruik behouden bleef (2e Copilot-test);</li>



<li>Een onjuist gebruik van koppeltekens (“Rue Sainte-anne”) of apostrofs (“Chaussée D’ixelles”). Verrassend, aangezien de “title”-functie van Python “Rue Sainte-Anne” en “Chaussée D’Ixelles” zou hebben geschreven (het was vervolgens “voldoende” om het lidwoord “D” in kleine letters te zetten). Er werden ook enkele inconsistenties binnen één en dezelfde lijst waargenomen, zoals “Sainte-Anne”, maar “Grand-place” of “Eglise-saint-pierre”;</li>



<li>Een van de Mistral-tests leidde tot een erg willekeurige implementatie: elk woord dat begon met een lidwoord (“de”, “la”, maar ook “d” of “l”) werd in kleine letters weergegeven.</li>
</ul>



<h3 class="wp-block-heading">Romeinse cijfers</h3>



<p class="wp-block-paragraph">Naast de hierboven beschreven correctie van hoofdletters en kleine letters hebben wij gevraagd om Romeinse cijfers in hoofdletters te laten staan. Deze komen voornamelijk voor in de namen van Belgische koningen (Albert II, Leopold I, II of III), buitenlandse vorsten (Jozef II, Karel VI&#8230;) of zelfs pausen (Leo XIII). Dit is in bijna alle tools correct geïmplementeerd. Verschillen zijn vooral waarneembaar in de manier waarop grensgevallen worden behandeld:</p>



<ul class="wp-block-list">
<li>In Brussel is er een “Rue Vilain XIIII”. Maar 14 wordt vaak geschreven als “XIV” en niet als “XIIII”. Dit verklaart ongetwijfeld waarom deze straatnaam in bijna de helft van de gevallen is weergegeven als “Rue Vilain Xiiii”;</li>



<li>Woorden als “midi” of “dix” werden door sommige tools als Romeinse cijfers beschouwd en met een hoofdletter geschreven (hoewel “MIDI” geen geldig getal is, in tegenstelling tot “DIX”). Maar aangezien Romeinse cijfers in straatnamen over het algemeen relatief kleine waarden vertegenwoordigen, zou het redelijk kunnen zijn om daarin geen “M” (1000) voor “D” (500) op te nemen. Op basis van deze observatie hebben wij hoofdzakelijk drie implementaties kunnen identificeren:
<ul class="wp-block-list">
<li>Een eenvoudige reguliere expressie waarin de toegestane tekens worden opgesomd: [IVXLCDM]+; dit was het geval bij de eerste iteratie van ChatGPT, Copilot en Mistral. In onze data worden DIX en MIDI dus beschouwd als Romeinse cijfers, maar we kunnen ons ook andere woorden voorstellen (Civil, Mix, Vil, Il, Clic&#8230;.)</li>



<li>Een lijst met aanvaardbare waarden (‘I’, ‘II’, ‘III’, ‘IV’ …), waarvoor Gemini heeft gekozen, of een van de implementaties van CoPilot</li>



<li>Een complexe, veel nauwkeurigere reguliere uitdrukking voor twee implementaties van ChatGPT of Claude, waarbij één daarvan een aanvullende lijst met uitsluitingen bevat (met daarin ‘midi’ en ‘dix’).</li>
</ul>
</li>
</ul>



<h3 class="wp-block-heading">Nummerherkenning</h3>



<p class="wp-block-paragraph">Bij het herkennen van het nummer dat in de straatnaam is opgenomen (“20 Avenue Fonsny”, “Avenue Fonsny 20” of “Avenue Fonsny, 20”) bleek er een grote verscheidenheid aan implementaties te bestaan. Hoewel ChatGPT en Claude geen noemenswaardige moeilijkheden ondervonden, liepen de andere systemen allemaal vast op meer of minder subtiele speciale gevallen. Bijvoorbeeld: twee van de drie pogingen van Gemini faalden bij het herkennen van gevallen zoals “Avenue Fonsny, 20 A”). De tweede iteratie van Copilot haalde geen enkel huisnummer aan het begin eruit, en geen enkele versie kon het geval “&#8230;, 20 A”) herkennen. Mistral laat zeer gemengde resultaten zien.</p>



<h3 class="wp-block-heading">Voorvoegsel</h3>



<p class="wp-block-paragraph">Situaties van het type “Av. Fonsny” of “A Fonsny” (te corrigeren naar “Avenue Fonsny”) werden eveneens op zeer uiteenlopende wijze geïmplementeerd. De derde iteratie van ChatGPT schoot volledig naast de doelstelling. Een “Petite rue des Loups” werd zo “Place Etite Rue des Loups”; “Abbaye de la Cambre” werd omgezet in “Avenue Bbaye de la Cambre”</p>



<h3 class="wp-block-heading">Fase 2</h3>



<p class="wp-block-paragraph">De tweede fase bestond uit het identificeren van kleine varianten tussen twee straatnamen binnen dezelfde postcode, om vervolgens de minst voorkomende waarde te vervangen door de meest voorkomende. Als wij bijvoorbeeld 10 vermeldingen van “Rue Sainte-Anne” en één van “Rue Sainte Anne” tegenkomen , vervangen wij deze laatste door de variant met het koppelteken. De moeilijkheid van deze fase ligt in het bepalen van de methoden en de drempels voor de vergelijking. Hoewel verschillende tests uitstekend zijn verlopen, was dit niet altijd het geval. Er werden met name verschillende “agressieve” fusies waargenomen. Zoals “Rue des Chalets”, gewijzigd in “Rue des Chats”; “Rue des Barques” in “Rue des Briques”, of “Rue des Ramoneurs” in “Rue des Rameurs”. Sommige systemen lijken echter nog toleranter te zijn geweest: Gemini heeft zo “Rue de la Fontaine” veranderd in “Rue de la Montagne”; “Rue Américaine” in “Rue Africaine”, of “Rue Vergote” in “Rue Verte”.</p>



<p class="wp-block-paragraph">Overigens moet worden opgemerkt dat Copilot deze fase in geen enkele iteratie heeft geïmplementeerd. Nadat wij hierop hadden aangedrongen, constateerden wij een volstrekt willekeurige implementatie. Hierbij werden uitsluitend wijzigingen in het type straat waargenomen (de “Place Saint-Vincent” werd de “Rue Saint-Vincent”; “Rue de Louvain” werd “Chaussée de Louvain”), zonder rekening te houden met de postcode. Dit is precies het tegenovergestelde van wat was gevraagd. Bovendien waren verschillende elementen van de eerste fase die in de eerste implementatie correct werkten, dat niet meer in de versie waarin beide fasen waren opgenomen.</p>



<p class="wp-block-paragraph">Wat Mistral betreft, was de situatie nog erger. De eerste test voerde geen andere correcties uit dan wijzigingen in hoofdlettergebruik of interpunctie; de tweede test bracht talrijke volstrekt ongepaste wijzigingen aan (van “Rue de Rome” naar “Rue de Mérode”; “Rue des Trois-Tilleuls” -&gt; “Rue du Loutrier”&#8230;), en dit voor 650 waarden, oftewel drie keer zoveel als de wijzigingen die bij de beste outputs werden waargenomen; de derde output lijkt simpelweg alle waarden door elkaar te hebben gehaald, met volstrekt willekeurige wijzigingen voor elke waarde. Dit verklaart de delta van 99,79 % in de bovenstaande tabel. Merk op dat het standaardiseren van de waarden van een dataset op basis van interne variaties duidelijk niet de beste aanpak is: het verdient ongetwijfeld de voorkeur om, indien mogelijk, de waarden te vergelijken met een referentiekader, dat in dit geval zou bestaan uit de lijst van alle straatnamen met hun officiële spelling.</p>



<h2 class="wp-block-heading">Cijfermatige evaluatie</h2>



<p class="wp-block-paragraph">Om de iteraties in hun totaliteit te kunnen vergelijken, hebben wij ongeveer dertig criteria vastgesteld die wij bij elk van de drie iteraties van de vijf onderzochte tools hebben beoordeeld. Voor bepaalde criteria hebben wij 2 punten toegekend indien het criterium correct of vrijwel correct was geïmplementeerd; 1 punt indien dit gedeeltelijk het geval was en 0 punten indien het helemaal niet of zeer slecht was geïmplementeerd. Sommige andere criteria zijn numeriek beoordeeld, zoals bijvoorbeeld het aantal waarden dat als “zonder nummer” werd geïdentificeerd. Dit soort criteria hebben wij omgezet in een schaal van 0 tot 2. Vervolgens hebben wij deze verschillende waarden bij elkaar opgeteld om een score te verkrijgen. Deze totale score is dus geen percentage en heeft op zichzelf geen betekenis. Zij stelt ons eenvoudigweg in staat om, met een zekere mate van objectiviteit, de verschillende outputs van de diverse tools met elkaar te vergelijken.</p>



<figure class="wp-block-image alignleft size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png"><img decoding="async" width="464" height="372" src="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png" alt="" class="wp-image-30306" style="aspect-ratio:1.2473746114424935;width:513px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png 464w, https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2-300x241.png 300w" sizes="(max-width: 464px) 100vw, 464px" /></a></figure>



<div class="wp-block-group is-nowrap is-layout-flex wp-container-core-group-is-layout-3a88641f wp-block-group-is-layout-flex">
<p class="wp-block-paragraph">De grafiek hiernaast geeft twee gegevens weer: de gemiddelde score die is waargenomen bij de drie herhalingen van dezelfde test (de hoogte van de blauwe balk en de waarden), en het verschil tussen de laagste en de hoogste waargenomen score (oranje lijn). Het spreekt voor zich dat deze metingen met een korreltje zout moeten worden genomen, aangezien ze elk slechts betrekking hebben op drie waarden. Toch maken ze het mogelijk om onze waarnemingen tot op zekere hoogte te objectiveren. Een hogere score duidt op een betere naleving van de instructies. Een kleiner verschil duidt op een betere consistentie tussen de uitvoeringen van dezelfde tool.</p>
</div>



<p class="wp-block-paragraph">Deze cijfers bevestigen het beeld dat onze analyse ons had gegeven. Claude is de duidelijke winnaar, zowel wat betreft de totale score als de stabiliteit. ChatGPT volgt op korte afstand. Verderop, op aanzienlijke afstand en nek aan nek, volgen Gemini en Copilot, terwijl Mistral ver achterblijft. Laten wij eraan herinneren dat het hier om de gratis versie gaat, maar dat geldt ook voor Claude.</p>



<h2 class="wp-block-heading">Algemene indruk</h2>



<p class="wp-block-paragraph">Onze algemene indruk tijdens deze test was dat wij over het geheel genomen het gevoel hadden een junior-ontwikkelaar tot onze beschikking te hebben: snel weliswaar, maar middelmatig, en iemand die voortdurend in de gaten moet worden gehouden. Hij maakt veel fouten en is niet consistent. Als hij gevraagd wordt een probleem op te lossen, is de kans groot dat hij tegelijkertijd problemen veroorzaakt in een heel ander deel van de code. Als hij twee keer hetzelfde moet doen, maakt hij soms radicaal verschillende keuzes.</p>



<p class="wp-block-paragraph">Het is duidelijk dat de eenvoudige aanpak (alle instructies in één keer versturen, in het vertrouwen dat de gegenereerde code correct is) voor geen van de tools werkt, in ieder geval niet voor dit specifieke gebruiksscenario. Op zijn minst moet dezelfde vraag meerdere keren worden gesteld om het resultaat te beoordelen en de beste onderdelen van elke tool te combineren. Het kostte ons echter veel tijd om deze vergelijkende analyse op te zetten, de problemen te identificeren en deze objectief te benaderen, ongeveer even lang als de tijd die wij nodig zouden hebben gehad om het script volledig zelf te schrijven. Misschien verdient onze opdrachtformulering verbetering. Misschien bevatte deze te veel instructies en hadden wij een meer iteratieve aanpak moeten volgen, maar dat zou de vergelijkingen aanzienlijk hebben bemoeilijkt. De vraag om niet alleen adressen op te schonen, maar ook het script daarvoor te leveren – zodat hergebruik mogelijk is – legde uiteraard een extra beperking op aan de tools. In een toekomstig onderzoek zullen wij deze beperking opheffen. Een meer &#8220;agentgerichte“ aanpak, waarbij een agent meerdere scripts zou kunnen opvragen en deze zou kunnen vergelijken, zou waarschijnlijk voordelen kunnen opleveren.</p>



<p class="wp-block-paragraph">Merk op dat wij ook een verbetering hebben geprobeerd: we hebben ChatGPT gevraagd: &#8220;<em>How to improve the attached prompt to make sure ChatGPT implements correctly all instructions?</em>”. Het heeft onze promptbestand aangepast, zodat het veel nauwkeuriger en gedetailleerder werd. Het resultaat was een bestand dat drie keer zo groot was. Maar helaas heeft dit de situatie niet echt verbeterd, integendeel. Copilot heeft het bij de eerste twee pogingen simpelweg opgegeven. Bij de derde poging leverde het ons wel een lijst op, maar niet het script. Gemini was in staat een script te genereren (waarvan twee van de drie moesten worden aangepast om uitvoerbaar te zijn), maar kon dit nooit daadwerkelijk uitvoeren. En we constateerden opnieuw grote verschillen tussen de verschillende iteraties van dezelfde tool.</p>



<p class="wp-block-paragraph">Bovendien bestaan er voor deze specifieke probleemstelling van het opschonen van adressen talrijke klassieke, zeer doeltreffende tools om deze taak uit te voeren. De trend van &#8220;alles met AI“, die we steeds vaker waarnemen, verdient ongetwijfeld enige matiging. In een tijd van grootschalige bosbranden, herhaaldelijke hittegolven en verwoestende overstromingen is het gebruik van tools die aanzienlijk meer energie en water verbruiken dan traditionele, beproefde methoden – die stabieler en vaak efficiënter zijn – duidelijk een aanpak die ter discussie moet worden gesteld.</p>



<p class="wp-block-paragraph">De informatica van morgen moet ongetwijfeld een belangrijke plaats inruimen voor generatieve AI, die in vele opzichten een onbetwistbare meerwaarde biedt in vele opzichten. Maar dit mag niet op een blinde manier gebeuren, waarbij de traditionele methoden, die in veel opzichten nog steeds duidelijk beter presteren, zomaar terzijde worden geschoven. Bovendien moeten we ons bewust zijn van het gebrek aan consistentie van deze tools. Dit is in veel situaties zeker geen probleem, maar kan dat in bepaalde gevallen wel zijn, met name wanneer een keuze juridische of medische gevolgen kan hebben.</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>L&#8217;IA générative&#160;: utile pour nettoyer des données&#160;?</title>
		<link>https://www.smalsresearch.be/lia-generative-utile-pour-nettoyer-des-donnees/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Mon, 07 Sep 2026 06:55:58 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30005</guid>

					<description><![CDATA[Après une première expérience d'analyse d'un ensemble de données, nous nous sommes intéressés à un aspect fondamental : la qualité des données. En adoptant une approche rigoureuse et systématique, nous avons analysé comment se comportaient des outils comme ChatGPT, Gemini, Copilot, Claude ou Mistral, quand il s'agissait, non plus simplement d'analyser des données, mais de les nettoyer. ]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em>Dit artikel is ook beschikbaar&nbsp;in het&nbsp;<a href="https://www.smalsresearch.be/generatieveai-nuttig-voor-het-opschonen-van-gegevens/" data-type="post" data-id="30246">Nederlands</a>.</em></p>



<p class="wp-block-paragraph">Après une <a href="https://www.smalsresearch.be/talk-to-your-data-avec-chatgpt/" data-type="post" data-id="26535">première expérience d&#8217;analyse d&#8217;un ensemble de données</a> en utilisant des outils d&#8217;intelligence artificielle générative (GenAI), aux résultats impressionnants, nous nous sommes intéressés à un aspect fondamental pour tout analyste de données, en particulier dans le secteur des données administratives&nbsp;: la qualité des données. En adoptant une approche rigoureuse et systématique, nous avons analysé comment se comportaient des outils comme ChatGPT, Gemini, Copilot, Claude ou Mistral, quand il s&#8217;agissait, non plus simplement d&#8217;analyser des données, mais de les nettoyer. Nous avons choisi pour cette expérience un type de données que nous connaissons bien (<a href="https://www.smalsresearch.be/qualite-de-donnees-et-donnees-geographiques/" data-type="post" data-id="21336">1</a>, <a href="https://www.smalsresearch.be/pourquoi-une-adresse-belge-cest-complique/" data-type="post" data-id="20039">2</a>)&nbsp;: les adresses en Belgique. Il existe bien évidemment des outils dédiés au nettoyage d&#8217;adresses, voire même au <a href="https://www.smalsresearch.be/geocodage-quel-outil-pour-quel-besoin/" data-type="post" data-id="18567">géocodage</a>. Mais il nous paraissait pertinent d&#8217;évaluer les bénéfices ou défauts de cette nouvelle famille d&#8217;outils.</p>



<figure class="wp-block-gallery alignright has-nested-images columns-default is-cropped wp-block-gallery-2 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png"><img loading="lazy" decoding="async" width="1024" height="529" data-id="30057" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png" alt="" class="wp-image-30057" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-300x155.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-768x397.png 768w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Comme nous l&#8217;avons déjà fait dans <a href="https://www.smalsresearch.be/bepelias-un-geocodeur-local-base-sur-best-address/">des articles précédents</a>, nous sommes partis d&#8217;un <a href="https://kbopub.economie.fgov.be/kbo-open-data/login?lang=fr">jeu de données</a> provenant de la Banque Carrefour des Entreprises. Plus précisément, nous avons utilisé un ancien jeu de données datant de 2016, la qualité de la source s&#8217;étant entre temps notablement améliorée ; mais pour évaluer les performances d&#8217;un outil de nettoyage, il est préférable de ne pas se baser sur des données trop &#8220;propres&#8221;. On ne teste pas les performances d&#8217;un lave-vaisselle avec des couverts déjà lavés&#8230; Ce jeu de données contenait +/- 266.000 adresses, pour la plupart en français, d&#8217;entreprises dans la région de Bruxelles-Capitale.</p>



<p class="wp-block-paragraph">Nous avons tenté deux approches&nbsp;: </p>



<ul class="wp-block-list">
<li>En utilisant les versions &#8220;chat&#8221;, on envoie l&#8217;ensemble des adresses sous format CSV, accompagnées d&#8217;un &#8220;prompt&#8221; que nous détaillerons ci-dessous, qui pour l&#8217;essentiel demande de &#8220;standardiser ces adresses&#8221; et de fournir, outre un fichier Excel contenant le résultat, un script en Python permettant de le reproduire. C&#8217;est cette approche que nous décrivons dans cet article.</li>



<li>En utilisant l&#8217;API, on envoie une séquence de &#8220;batch&#8221; d&#8217;adresses (en JSON), avec des instructions sensiblement similaires à celles de la première approche, mais simplifiées. Cette approche fera l&#8217;objet d&#8217;un prochain article.</li>
</ul>



<p class="wp-block-paragraph">Nous nous sommes posé diverses questions&nbsp;: </p>



<ul class="wp-block-list">
<li>Le processus était-il facile, ou semé d&#8217;obstacles&nbsp;?</li>



<li>Les instructions étaient-elles respectées&nbsp;?</li>



<li>Le processus était-il stable, ou, en d&#8217;autre termes, obtient on le même résultat si on refait la même demande à quelques heures d&#8217;intervalles&nbsp;?</li>
</ul>



<p class="wp-block-paragraph">La difficulté principale de notre approche a été de définir le bon prompt. Le principe a été de fournir d&#8217;un seul coup un fichier &#8220;Markdown&#8221; contenant toutes les instructions que nous voulions voir appliquées.</p>



<p class="wp-block-paragraph">Le fichier de données contenait une série de colonnes, pour les différentes informations suivantes&nbsp;: &#8220;rue&#8221; (StreetFR), &#8220;numéro&#8221; (HouseNumber), &#8220;code postal&#8221; (Zipcode), &#8220;municipalité&#8221; (MunicipalityFR). Mais de nombreuses adresses sont mal encodées. Par exemple&nbsp;:</p>



<ul class="wp-block-list">
<li>Le numéro se trouve dans le champ &#8220;rue&#8221;, en début (&#8220;20 Avenue Fonsny&#8221;) ou à la fin (&#8220;Avenue Fonsny 20&#8221;)</li>



<li>Le noms sont abrégés (&#8220;Av. Fonsny&#8221;, &#8220;A FONSNY&#8221;&#8230;)</li>



<li>La casse n&#8217;est pas uniforme (&#8220;Avenue Fonsny&#8221;, &#8220;AVENUE FONSNY&#8221;)</li>



<li>De multiples variantes de la même rue existent (&#8220;Boulevard Albert II&#8221;, &#8220;Boulevard du Roi Albert II&#8221;, &#8220;Boulevard Albert 2&#8243;&#8230;)</li>



<li>Si le numéro n&#8217;est pas pertinent, de nombreuses façons de l&#8217;indiquer existent&nbsp;: &#8220;SN&#8221; (sans numéro), &#8220;ZN&#8221; (zonder nummer), &#8220;S/N&#8221;, &#8220;?&#8221;, &#8220;*&#8221;&#8230;</li>
</ul>



<h2 class="wp-block-heading">Instructions</h2>



<p class="wp-block-paragraph">Dans le fichier d&#8217;instructions, nous avons décrit en détails deux phases de nettoyage. La première consistait à analyser chaque ligne individuellement. La seconde demandait de comparer des enregistrements &#8220;proches&#8221; pour tenter d&#8217;en sortir des variantes et fautes de frappe.</p>



<h3 class="wp-block-heading">Phase 1&nbsp;: nettoyage</h3>



<p class="wp-block-paragraph">Dans la première phase de nettoyage, on demande de créer trois nouvelles colonnes&nbsp;: &#8220;StreetFR_cleansed&#8221; et &#8220;HouseNumber_cleansed&#8221;, pour y placer la version nettoyée de ce qui se trouve dans &#8220;StreetFR&#8221; et &#8220;HouseNumber&#8221;, ainsi que &#8220;ExtraInfo_cleansed&#8221;, pour y mettre les informations que l&#8217;outil estime ne faire ni partie du nom de la rue, ni du numéro de maison (un étage, par exemple).</p>



<p class="wp-block-paragraph">Pour le numéro de maison, nous demandons (entre autres)&nbsp;:</p>



<ul class="wp-block-list">
<li>De l&#8217;extraire du champ &#8220;StreetFR&#8221; s&#8217;il s&#8217;y trouve, en fournissant divers exemples ;</li>



<li>De le standardiser, de sorte de ne pas avoir, par exemple, une fois &#8220;10 a&#8221;, une autre fois &#8220;10A&#8221;, ou encore &#8220;10/A&#8221;&nbsp;:</li>



<li>De remplacer toutes les variantes de &#8220;sans numéro&#8221; par une valeur vide.</li>
</ul>



<p class="wp-block-paragraph">Pour le nom de rue, nous demandons&nbsp;:</p>



<ul class="wp-block-list">
<li>D&#8217;étendre les abréviations de préfix, principalement en français&nbsp;: &#8220;Av.&#8221;, &#8220;Blvd&#8221;, &#8220;Chée&#8221;&#8230; ;</li>



<li>De tout mettre en &#8220;casse de titre&#8221; (<em>title case</em>), en veillant à garder en minuscule les articles et conjonctions&nbsp;: &#8220;Rue des Chats&#8221;, &#8220;Avenue de l&#8217;Indépendance&#8221;&#8230; ;</li>



<li>De veiller à garder en majuscules les chiffres romains&nbsp;: &#8220;Boulevard Léopold II&#8221;, &#8220;Rue Charles VI&#8221;&#8230;</li>
</ul>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructions de la phase 1</em></summary>
<p class="wp-block-paragraph"><em>In this first cleansing phase, your task is to create a cleansed copy of columns StreetFR and HouseNumber, which will be named &#8220;HouseNumber_cleansed&#8221;, &nbsp;&#8220;StreetFR_cleansed&#8221;. An additionnal column &#8220;ExtraInfo_cleansed&#8221; will also be created.</em></p>



<p class="wp-block-paragraph"><em>In &#8220;HouseNumber_cleansed&#8221;, you will:</em></p>



<ul class="wp-block-list">
<li><em>In case of the format &#8220;20 A FONSNY&#8221; in StreetFR (all in upper case ; one number, one space, one letter in &#8216;A&#8217;, &#8216;R&#8217;, &#8216;C&#8217;, &#8216;B&#8217;, &#8216;S&#8217; or &#8216;P&#8217;, one space, several letters or spaces): extract the number in &#8216;HouseNumber_cleansed&#8217; ; Do the following street type replacement: A=Avenue ; R=Rue ; C=Chaussée ; B=Boulevard ; S=Square ; P=Place</em></li>



<li><em>Extract housenumber from &#8220;StreetFR&#8221; if needed, put in &#8220;ExtraInfo_cleansed&#8221; additionnal information which doesn&#8217;t seem to be part of the house number. Extract number only at the beginning of the string (&#8220;20 Avenue Fonsny&#8221;) or at the end (&#8220;Avenue Fonsny 20&#8221; or &#8220;Avenue Fonsny, 30&#8221;), possibly followed by one letter (&#8220;Avenue Fonsny 20 A&#8221;), or with ranges (&#8220;Avenue Fonsny 20-22&#8221; or &#8220;Avenue Fonsny 20/22&#8221;), or with a box number indication (&#8220;Avenue Fonsny 20 bus 3&#8221;, &#8220;Avenue Fonsny 20 box 3&#8221;, &#8220;Avenue Fonsny 20 bt 3&#8221;, &#8220;Avenue Fonsny 20 bte 3&#8221;, &#8220;Avenue Fonsny 20 boite 3&#8221;).</em></li>



<li><em>If you have to extract a housenumber &#8220;num1&#8221; from &#8220;StreetFR&#8221; but &#8220;HouseNumber&#8221; already contains a value &#8220;num2&#8221;, keep them both in &#8220;HouseNumber_cleansed&#8221;&nbsp;: &#8220;num2 / num1&#8221;</em></li>



<li><em>Standardise in a safe way the housenumber. For instance, &#8220;20A&#8221;, &#8220;20 A&#8221;, &#8220;20a&#8221; or &#8220;20/A&#8221; should become &#8220;20A&#8221;. But do not replace &#8220;20/22&#8221; by &#8220;2022&#8221;</em></li>



<li><em>Many values represent &#8220;no number&#8221;&nbsp;: &#8220;SN&#8221; (Sans numéro, in French), &#8220;ZN&#8221; (Zonder nummer, in Dutch), &#8220;S/N&#8221;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others. Replace them by an empty string</em></li>
</ul>



<p class="wp-block-paragraph"><em>In &#8220;StreetFR_cleansed&#8221;, you will&nbsp;:</em></p>



<ul class="wp-block-list">
<li><em>Standardise street names by expanding abbreviations. For instance &#8220;Av Fonsny&#8221;, &#8220;Av. Fonsny&#8221;, &#8220;Av.Fonsny&#8221; or &#8220;A Fonsny&#8221; should all become &#8220;Avenue Fonsny&#8221;. Use several variants&nbsp;: Avenue (Av, Ave, A), Chaussée (Ch, chée), Boulevard (B, Bd, blvd, bvd), Rue (R), Place (Pl), Square (Sq). Replace those pattern only at the begining of the sentence, or if they are only preceded by numbers. Replacement should always be followed by a space.</em></li>



<li><em>Trim heading or leading spaces, and collapse consecutive spaces.</em></li>



<li><em>As described in the previous section, extract housenumber and put them in HouseNumber_cleansed</em></li>



<li><em>Set all words in title case, excepts determiner (le, la, les, du, des, aux, de&#8230;).</em></li>



<li><em>Roman numbers should be in uppercase</em></li>



<li><em>Remove all variants of &#8220;no number&#8221; (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others), at the end of the string and isolated (Not in &#8220;FonSNy&#8221;)</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Phase 2&nbsp;: déduplication</h3>



<p class="wp-block-paragraph">Dans cette seconde phase, nous tentons d&#8217;identifier des variantes du même nom de rue. Par exemple, si, pour un même code postal, on trouve &#8220;Rue V. Horta&#8221; dans un enregistrement, et &#8220;Rue Victor Horta&#8221; dans un autre, on gardera la version la plus complète pour l&#8217;ensemble. Le fichier d&#8217;instructions fournit de nombreuses précisions et exemples (comme, par exemple, de ne pas fusionner &#8220;Boulevard Léopold II&#8221; avec &#8220;Boulevard Léopold III&#8221;), que nous ne détaillerons pas ici.</p>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructions de la phase 2</em></summary>
<p class="wp-block-paragraph"><em>In this second phase, you will be more aggressive in the cleansing of street names, and take more risks. Output of this second phase will be in column &#8220;StreetFR_cleansed2&#8221;. This column will be computed starting from &#8220;StreetFR_cleansed&#8221; and will:</em></p>



<ul class="wp-block-list">
<li><em>If an initial can be expanded from other values within the same zipcode, do it. For instance&nbsp;: &#8220;rue V. Horta, 1160 Auderghem&#8221; in one record, &#8220;rue Victor Horta, 1160 Auderghem&#8221; in another, keep the longest one for both. In this case, the extension from an initial to a full name should be the only change. Do not map &#8220;Avenue V. Horta&#8221; to &#8220;Rue Victor Horta&#8221;. Do not map &#8220;Rue V. Van Horta&#8221; to &#8220;Rue Victor Van Fonsny&#8221;.</em></li>



<li><em>Within different street names sharing the same zip, cluster spelling variants, keeping in &#8220;StreetFR_cleansed2&#8221; the most frequent value. For instance, if we have, for zipcode 1060, 100 times &#8220;Avenue Fonsny&#8221; and once &#8220;Avenue Fonsmy&#8221; or &#8220;Avenue Fonsni&#8221;, keep &#8220;Avenue Fonsny&#8221; in StreetFR_cleansed2.</em></li>



<li><em>Before comparing strings, always remove street type (Avenue, Boulevard, Rue, Place, Square, Chaussée&#8230;) at the beginning of the street name. But do not map a street on a street with another street type.</em></li>



<li><em>Similarity should be at least 0.9</em></li>



<li><em>If the only difference between two street names is a diacritic symbol or punctuation, keep the most frequent one even if they don&#8217;t share the same zipcode&nbsp;: &#8220;Chaussée de Wavre&#8221; vs &#8220;Chaussee de Wavre&#8221; or &#8220;Chaussée de Wavre,&#8221;</em></li>



<li><em>Be aware of roman numbers&nbsp;: &#8220;Boulevard Léopold II&#8221; should not be merged with &#8220;Boulevard Léopold III&#8221;</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Résultat à produire</h3>



<p class="wp-block-paragraph">On demandera en conclusion&nbsp;: </p>



<ul class="wp-block-list">
<li>De fournir un listing téléchargeable au format Excel, en y ayant ajouté les colonnes calculées ;</li>



<li>De générer un ou plusieurs scripts en Python, lisibles et documentés, permettant d&#8217;effectuer le nettoyage.</li>
</ul>



<h2 class="wp-block-heading">Comparaison</h2>



<p class="wp-block-paragraph">Nous avons soumis le même jeu de données avec le même fichier Markdown d&#8217;instruction à une série d&#8217;outils, plusieurs fois et à quelques heures d&#8217;intervalle. Nous avons ensuite&nbsp;: </p>



<ul class="wp-block-list">
<li>Analysé chaque listing produit pour s&#8217;assurer que les instructions étaient bien suivies ;</li>



<li>Comparé deux listings produits par le même outil pour évaluer la constance du travail ;</li>



<li>Exécuté le script Python généré pour vérifier qu&#8217;il était exécutable et produisait bien le même résultat que le listing généré directement par l&#8217;outil.</li>
</ul>



<p class="wp-block-paragraph">Les outils que nous avons considérés sont les suivants&nbsp;:</p>



<ul class="wp-block-list">
<li>ChatGPT (OpenAI, forfait &#8220;Plus&#8221;), modèle GPT 5.6 Thinking ;</li>



<li>Gemini (Google, forfait &#8220;Pro&#8221;), modèle 3.1 Pro ;</li>



<li>Copilot (Microsoft, forfait &#8220;Base&#8221;, gratuit), modèle GPT 5. Nous avons par ailleurs également testé une version &#8220;Pro&#8221;, intégrée dans Excel et Github</li>



<li>Claude (Anthropic, forfait &#8220;Free&#8221;), modèle Sonnet 5 Medium</li>



<li>Mistral (forfait &#8220;Free&#8221;), &#8220;Réflexion&#8221;</li>
</ul>



<p class="wp-block-paragraph">Un premier aperçu de chaque listing donne une impression positive&nbsp;: en regardant les changements effectués entre les colonnes d&#8217;entrée et de sortie, ils semblent majoritairement pertinents. On pourrait donc estimer que ces outils &#8220;font leur job&#8221;. Mais en approfondissant un peu, la situation n&#8217;est pas aussi reluisante.</p>



<h2 class="wp-block-heading">Constance</h2>



<p class="wp-block-paragraph">Le premier aspect qui étonne est le manque de constance des outils. Aucun des outils n&#8217;a effectué les mêmes opérations sur les données au cours des trois évaluations successives (avec, rappelons-le, le même modèle, les mêmes données, le même prompt). Voici par exemple le pourcentage de changements entre la rue d&#8217;entrée et la rue modifiée à l&#8217;issue de la phase 2&nbsp;:</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th></th><th class="has-text-align-right" data-align="right">Essai 1</th><th class="has-text-align-right" data-align="right">Essai 2</th><th class="has-text-align-right" data-align="right">Essai 3</th><th class="has-text-align-right" data-align="right">Delta</th></tr></thead><tbody><tr><td><strong>ChatGPT</strong></td><td class="has-text-align-right" data-align="right">5,44%</td><td class="has-text-align-right" data-align="right">6,97%</td><td class="has-text-align-right" data-align="right">8,41%</td><td class="has-text-align-right" data-align="right">2,97 %</td></tr><tr><td><strong>Gemini </strong></td><td class="has-text-align-right" data-align="right">9,62%</td><td class="has-text-align-right" data-align="right">5,76%</td><td class="has-text-align-right" data-align="right">9,84%</td><td class="has-text-align-right" data-align="right">4,08%</td></tr><tr><td><strong>Copilot</strong></td><td class="has-text-align-right" data-align="right">16,20%</td><td class="has-text-align-right" data-align="right">0,27%</td><td class="has-text-align-right" data-align="right">13,52%</td><td class="has-text-align-right" data-align="right">15,93%</td></tr><tr><td><strong>Claude</strong></td><td class="has-text-align-right" data-align="right">5,28%</td><td class="has-text-align-right" data-align="right">5,22%</td><td class="has-text-align-right" data-align="right">5,30%</td><td class="has-text-align-right" data-align="right">0,08%</td></tr><tr><td><strong>Mistral</strong></td><td class="has-text-align-right" data-align="right">32,22%</td><td class="has-text-align-right" data-align="right">20,69%</td><td class="has-text-align-right" data-align="right">99,79%</td><td class="has-text-align-right" data-align="right">79,10%</td></tr></tbody></table><figcaption class="wp-element-caption">Proportion de rue modifiées par les différentes itérations d&#8217;un même outil.</figcaption></figure>



<figure class="wp-block-image alignright size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png"><img loading="lazy" decoding="async" width="493" height="320" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png" alt="" class="wp-image-30059" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png 493w, https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1-300x195.png 300w" sizes="auto, (max-width: 493px) 100vw, 493px" /></a></figure>



<p class="wp-block-paragraph">La colonne &#8220;Delta&#8221; indique la différence entre la plus grande valeur et la plus petite&nbsp;: il correspond donc (virtuellement) à la proportion d&#8217;adresses que l&#8217;essai le plus &#8220;prudent&#8221; n&#8217;a pas modifiées, alors que la variante la plus &#8220;agressive&#8221; l&#8217;a fait. On peut donc observer une remarquable constance entre les itérations de Claude, voire de ChatGPT, là où Copilot et surtout Mistral semblent avoir fait des choix radicalement différents face au même problème.</p>



<p class="wp-block-paragraph">En terme de constance, s&#8217;il suffisait en général d&#8217;envoyer en une seule requête les données et les instructions pour pouvoir directement télécharger le fichier nettoyé et le script, ça n&#8217;a pas toujours été le cas. Par exemple, à la seconde itération de Copilot, le script généré était vide. Il a fallu &#8220;négocier&#8221; (3 demandes successives) pour finalement l&#8217;obtenir. Dans une phase précédente de notre étude, Gemini a pu correctement générer le fichier demandé lors d&#8217;une première tentative, mais a bloqué lors de la seconde&nbsp;: il a prétendu qu&#8217;il lui était impossible d&#8217;exécuter du code Python dans son environnement. Nous avons eu beau lui dire qu&#8217;il en fut capable quelques heures avant, rien n&#8217;y fit. Il nous a fallu démarrer une nouvelle session pour à nouveau y arriver.</p>



<h2 class="wp-block-heading">Exécution</h2>



<p class="wp-block-paragraph">Nous avons, pour chaque test, exécuté le script Python généré et comparé le résultat avec le listing reçu.</p>



<p class="wp-block-paragraph">Pour ChatGPT, rien à signaler&nbsp;: les scripts s&#8217;exécutent en +/- une minute, produisant un résultat rigoureusement identique au listing.</p>



<p class="wp-block-paragraph">Pour Claude, c&#8217;est également presque un sans-faute&nbsp;: une exécution légèrement plus longue (+/- 5 minutes), deux itérations produisant un résultat strictement conforme, et une avec 12 différences très légères, résultat chaque fois d&#8217;alternatives équivalentes.</p>



<p class="wp-block-paragraph">Chez Gemini, le bilan est plus contrasté&nbsp;: le premier script entrait dans une boucle infinie&nbsp;! Le second produisait un résultat conforme, le troisième 70 différences.</p>



<p class="wp-block-paragraph">Avec Copilot, c&#8217;est encore un peu plus problématique&nbsp;: pour l&#8217;un des tests, nous n&#8217;avons tout simplement pas réussi à obtenir le script. Pour un autre, il était directement disponible, et pour le 3<sup>ème</sup>, nous l&#8217;avons obtenu après négociations. Les deux scripts ont produit respectivement 637 et 810 lignes différentes par rapport au listing correspondant.</p>



<p class="wp-block-paragraph">Sur cet aspect, la palme du mauvais élève revient à Mistral (mais, pour rappel, avec un compte gratuit)&nbsp;: c&#8217;est le seul qui n&#8217;a jamais pu directement générer un listing, mais uniquement un script en Python. L&#8217;un deux n&#8217;était par ailleurs pas complètement en Python, mais contenait des instructions en Javascript. Après lui avoir fait remarquer, Mistral a corrigé son code, mais n&#8217;était toujours pas exécutable. Ce n&#8217;est que la troisième version que nous avons pu exécuter. Lors d&#8217;un de nos autres tests, le code ne contenant pas un &#8220;import&#8221; nécessaire. Par ailleurs, le temps d&#8217;exécution variant de 6 à &#8230; 50 minutes&nbsp;!</p>



<h2 class="wp-block-heading">Indicateurs</h2>



<p class="wp-block-paragraph">Nous avons ensuite parcouru les différentes instructions pour évaluer à quel point elles étaient respectées.</p>



<h3 class="wp-block-heading">&#8220;Sans numéro&#8221;</h3>



<p class="wp-block-paragraph">Dans nos instructions, nous avons donné 7 valeurs correspondant à l&#8217;absence de numéro dans une adresse (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217;), en précisant qu&#8217;il y en avait d&#8217;autres. Certains n&#8217;en ont identifié aucune (2<sup>ème</sup> test Copilot), d&#8217;autres jusqu&#8217;à 19 (2<sup>ème</sup> test Claude). Aucun outil n&#8217;a identifié les mêmes valeurs lors de ses différentes itérations.</p>



<h3 class="wp-block-heading">Casse</h3>



<p class="wp-block-paragraph">Nous demandions en sortie de modifier la casse du nom de rue de façon un peu subtile&nbsp;: une casse de titre (<em>title case</em>, première lettre de chaque mot en majuscule, les autres en minuscules), mais avec une contrainte supplémentaire&nbsp;: garder les déterminant (de, la, des&#8230;) en minuscules. Nous devrions donc avoir &#8220;Rue de Sainte-Anne&#8221;, et non &#8220;Rue De Sainte-Anne&#8221; ou &#8220;Rue de Sainte-anne&#8221;. Nous avons observé plusieurs situations&nbsp;:</p>



<ul class="wp-block-list">
<li>L&#8217;absence totale de correction, gardant la casse originale (2<sup>ème</sup> test Copilot) ;</li>



<li>Une mauvaise gestion des tirets (&#8220;Rue Sainte-anne&#8221;) ou apostrophe (&#8220;Chaussée D&#8217;ixelles&#8221;). Étonnant, alors que la fonction &#8220;title&#8221; de Python aurait écrit &#8220;Rue Sainte-Anne&#8221; et &#8220;Chaussée D&#8217;Ixelles&#8221; (il &#8220;suffisait&#8221; ensuite de mettre le déterminant &#8220;D&#8221; en minuscules). On a également observé certaines incohérences dans un même listing, comme &#8220;Sainte-Anne&#8221;, mais &#8220;Grand-place&#8221; ou &#8220;Eglise-saint-pierre&#8221; ;</li>



<li>Un des tests de Mistral a mis en évidence une implémentation hasardeuse&nbsp;: chaque mot commençant par un déterminant (&#8220;de&#8221;, &#8220;la&#8221;, mais aussi &#8220;d&#8221; ou &#8220;l&#8221;) était mis en minuscules.</li>
</ul>



<h3 class="wp-block-heading">Chiffres romains</h3>



<p class="wp-block-paragraph">En complément de la correction de casse décrite ci-dessus, nous avons demandé à ce que les chiffres romains restent en majuscules. On retrouve ceux-ci principalement dans des noms de rois Belges (Albert II, Léopold I, II ou III), ou étrangers (Joseph II, Charles VI&#8230;) ou même des Papes (Léon XIII). Ceci a été pour presque tous les outils correctement implémenté. On observe principalement des différences dans la façon de gérer les cas limites&nbsp;:</p>



<ul class="wp-block-list">
<li>On a à Bruxelles une &#8220;Rue Vilain XIIII&#8221;. Or, 14 s&#8217;écrit souvent &#8220;XIV&#8221; et non &#8220;XIIII&#8221;. Ceci explique sans doute pourquoi dans près de la moitié des cas, celle-ci a été reprise comme &#8220;Rue Vilain Xiiii&#8221; ;</li>



<li>Des mots comme &#8220;midi&#8221; ou &#8220;dix&#8221; ont été considérés par certains outils comme des chiffres romains et mis en majuscule (bien que MIDI ne soit pas un nombre valide, contrairement à DIX). Mais étant donné que les chiffres romains dans les noms de rues représentent en général des valeurs relativement petites, il pourrait être raisonnable de ne pas y inclure &#8220;M&#8221; (1000) pour &#8220;D&#8221; (500). Cette observation nous a permis d&#8217;identifier principalement trois implémentations&nbsp;: 
<ul class="wp-block-list">
<li>Une simple expression régulière listant les caractères autorisés&nbsp;: [IVXLCDM]+ ; c&#8217;était le cas de la première itération de ChatGPT, de Copilot ou de Mistral. Dans notre jeu de données, DIX et MIDI sont donc considérés comme des chiffres romains, mais on pourrait imaginer d&#8217;autres mots (Civil, Mix, Vil, Il, Clic&#8230;.)</li>



<li>Une liste de valeurs acceptables (&#8216;I&#8217;, &#8216;II&#8217;, &#8216;III&#8217;, &#8216;IV&#8217; &#8230;), optée par Gemini, ou une des implémentations de CoPilot</li>



<li>Une expression régulière complexe, beaucoup plus précise, pour deux implémentations de ChatGPT ou Claude, avec pour l&#8217;une d&#8217;elle une liste additionnelle d&#8217;exclusions (contenant &#8220;midi&#8221; et &#8220;dix&#8221;).</li>
</ul>
</li>
</ul>



<h3 class="wp-block-heading">Extraction de numéro</h3>



<p class="wp-block-paragraph">L&#8217;extraction du numéro intégré au nom de rue (&#8220;20 Avenue Fonsny&#8221;, &#8220;Avenue Fonsny 20&#8221; ou &#8220;Avenue Fonsny, 20&#8221;) a montré une grande variété d&#8217;implémentations. Si ChatGPT ou Claude n&#8217;ont pas rencontré de difficulté notable, les autres ont tous buté sur des cas particuliers plus ou moins subtils. Par exemple, deux des trois essais de Gemini ont échoué à identifier des cas comme &#8220;Avenue Fonsny, 20 A&#8221;). La second itération de Copilot n&#8217;a extrait aucun numéro en tête, et aucune n&#8217;a pu identifier le cas &#8220;&#8230;, 20 A&#8221;). Mistral a un bilan très mitigé.</p>



<h3 class="wp-block-heading">Préfix</h3>



<p class="wp-block-paragraph">Les situations de type &#8220;Av. Fonsny&#8221; ou &#8220;A Fonsny&#8221; (à corriger en &#8220;Avenue Fonsny&#8221;) ont également été implémentées de façon très variable. La 3<sup>ème</sup> itération de ChatGPT est passée complètement à côté de l&#8217;objectif. Une &#8220;Petite rue des Loups&#8221; est ainsi devenue &#8220;Place Etite Rue des Loups&#8221; ; &#8220;Abbaye de la Cambre&#8221; a été transformé en &#8220;Avenue Bbaye de la Cambre&#8221;</p>



<h3 class="wp-block-heading">Phase 2</h3>



<p class="wp-block-paragraph">La seconde phase consistait à identifier des petites variantes entre deux noms de rue au sein du même code postal, pour ensuite remplacer la valeur la moins fréquente par la plus fréquente. Si nous rencontrons par exemple 10 occurrences de &#8220;Rue Sainte-Anne&#8221; et une de &#8220;Rue Sainte Anne&#8221;, nous remplaçons cette dernière par la variante avec le tiret. La difficulté de cette phase est de déterminer les méthodes et les seuils de comparaison. Si plusieurs tests ont tout à fait tiré leur épingle du jeu, ça n&#8217;a pas toujours été le cas. Principalement, plusieurs fusions &#8220;agressives&#8221; ont été observées. Comme &#8220;Rue des Chalets&#8221; changé en &#8220;Rue des Chats&#8221; ; &#8220;Rue des Barques&#8221; en &#8220;Rue des Briques&#8221;, ou &#8220;Rue des Ramoneurs&#8221; en &#8220;Rue des Rameurs&#8221;. Mais certains semblent avoir été encore plus permissifs&nbsp;: Gemini a ainsi changé &#8220;Rue de la Fontaine&#8221; en &#8220;Rue de la Montagne&#8221; ; &#8220;Rue Américaine&#8221; en &#8220;Rue Africaine&#8221;, ou &#8220;Rue Vergote&#8221; en &#8220;Rue Verte&#8221;.</p>



<p class="wp-block-paragraph">Notons par ailleurs que Copilot n&#8217;a tout simplement, dans aucune itération, implémenté cette phase. Après avoir insisté pour le faire, nous avons observé une implémentation tout à fait hasardeuse. On y a observé uniquement des changements de type de rue (&#8220;Place Saint-Vincent&#8221; devenant &#8220;Rue Saint-Vincent&#8221; ; &#8220;Rue de Louvain&#8221; devenant &#8220;Chaussée de Louvain&#8221;), sans tenir compte du code postal. Soit l&#8217;exact inverse de ce qui avait été demandé. Par ailleurs, plusieurs éléments de la première phase qui étaient au point dans la première implémentation ne l&#8217;étaient plus dans celle incluant les deux phases.</p>



<p class="wp-block-paragraph">Du côté de Mistral, ceci a été encore pire. Le premier test n&#8217;a fait d&#8217;autres corrections que des changements de casse ou de ponctuation ; le second a effectué de nombreux changements tout à fait inappropriés (&#8220;Rue de Rome&#8221; -&gt; &#8220;Rue de Mérode&#8221; ; &#8220;Rue des Trois-Tilleuls&#8221; -&gt; &#8220;Rue du Loutrier&#8221;&#8230;), ceci pour 650 valeurs, soit trois fois plus que les changements observés chez les bons élèves ; le troisième semble avoir tout simplement mélangé l&#8217;ensemble des valeurs, avec des changements complètement aléatoires pour chaque valeur. Ceci explique le taux de changements de 99,79 % du tableau ci-dessus.</p>



<p class="wp-block-paragraph">Notons que standardiser les valeurs d&#8217;un jeu de données en observant les variantes internes n&#8217;est clairement pas la meilleure approche&nbsp;: il est nettement préférable, quand c&#8217;est possible, de comparer les valeurs à une base de référence, qui, dans ce cas-ci, consisterait en la liste de tous les noms de rue avec leur orthographe officielle.</p>



<h2 class="wp-block-heading">Évaluation chiffrée</h2>



<p class="wp-block-paragraph">De sorte à pouvoir comparer de façon globale les itérations, nous avons identifié une trentaine de critères que nous avons évalués sur chacune des 3 itérations des 5 outils considérés. Pour certains critères, nous avons attribué 2 points s&#8217;il était correctement implémenté ou presque ; 1 point s&#8217;il l&#8217;était partiellement et 0 s&#8217;il ne l&#8217;était pas du tout ou très mal. Certains autres critères ont été évalués de façon numérique, comme par exemple le nombre de valeurs identifiées comme &#8220;sans numéro&#8221;. Pour ce type de critères, nous les avons transformés en une échelle de 0 à 2. Nous avons ensuite sommé ces différentes valeurs pour obtenir un score. Ce score global n&#8217;est donc pas un pourcentage et n&#8217;a pas de signification en soi. Il nous permet simplement de comparer, avec un certain degré d&#8217;objectivité, les différentes exécutions des différents outils.</p>



<p class="wp-block-paragraph">Le tableau ci-dessous reprend deux informations&nbsp;: le score moyen observé sur les 3 itérations du même outil, ainsi que sa déviation standard. Il va de soi qu&#8217;il faut prendre ces mesures avec des pincettes, étant donné qu&#8217;elles ne se rapportent chacune qu&#8217;à trois valeurs. Mais elles permettent néanmoins d&#8217;objectiver dans une certaine mesure nos observations. Un score plus élevé indique un meilleur respect des consignes. Une déviation standard plus faible indique une meilleure cohérence entre les exécutions du même outil.</p>



<figure class="wp-block-image alignleft size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png"><img loading="lazy" decoding="async" width="464" height="372" src="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png" alt="" class="wp-image-30306" style="aspect-ratio:1.2473746114424935;width:516px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png 464w, https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2-300x241.png 300w" sizes="auto, (max-width: 464px) 100vw, 464px" /></a></figure>



<p class="wp-block-paragraph">Le graphique ci-contre reprend deux informations&nbsp;: le score moyen observé sur les 3 itérations du même outil (hauteur de la barre bleue, ainsi que les valeurs), ainsi que l&#8217;écart entre le plus petit et le plus haut score observé (ligne orange). Il va de soi qu&#8217;il faut prendre ces mesures avec des pincettes, étant donné qu&#8217;elles ne se rapportent chacune qu&#8217;à trois valeurs. Mais elles permettent néanmoins d&#8217;objectiver dans une certaine mesure nos observations. Un score plus élevé indique un meilleur respect des consignes. Une écart plus faible indique une meilleure cohérence entre les exécutions du même outil.</p>



<p class="wp-block-paragraph">Ces chiffres confirment le sentiment que notre analyse nous avait montré. Claude est nettement vainqueur, tant en terme de score global que de stabilité. Il est suivi de peu par ChatGPT. On observe ensuite sensiblement derrière, au coude à coude, Gemini et Copilot, et loin derrière Mistral. Rappelons qu&#8217;il s&#8217;agit de la version gratuite, mais c&#8217;est également le cas pour Claude.</p>



<h2 class="wp-block-heading">Sentiment général</h2>



<p class="wp-block-paragraph">Notre sentiment général lors de cet exercice est que globalement, on a l&#8217;impression d&#8217;avoir à notre disposition un développeur junior, très rapide, certes, mais moyen et derrière lequel il faut être continuellement. Il fait plein d&#8217;erreurs, manque de constance. Si on lui demande de corriger un problème, il y a beaucoup de chances qu&#8217;il en introduise en même temps d&#8217;autres dans une toute autre partie du code. Si on lui demande deux fois la même chose, il fait parfois des choix radicalement différents.</p>



<p class="wp-block-paragraph">Clairement, l&#8217;approche simple (envoyer d&#8217;un bloc toutes les instructions, en se fiant au code produit) ne marche pour aucun des outils, en tout cas pour le cas d&#8217;utilisation présent. À minima, il faut demander plusieurs fois la même chose, pour évaluer le résultat et combiner les meilleurs morceaux de chaque outil. Mais le temps qu&#8217;il nous a fallu pour mettre en place cette analyse comparative, identifier les problèmes, les objectiver, a probablement été proche du temps que nous aurions mis pour écrire le script intégralement.</p>



<p class="wp-block-paragraph">Peut-être que notre prompt mérite des améliorations. Peut-être contenait-il trop d&#8217;instructions, et aurions-nous dû adopter une démarche plus itérative, mais cela aurait notablement compliqué les comparaisons. La demande de ne pas uniquement nettoyer des adresses, mais de fournir le script pour le faire, permettant ainsi une réutilisation, rajouter bien sûr une contrainte aux outils. Dans de futurs travaux, nous ferons sauter cette contrainte. Une approche plus &#8220;agentic&#8221;, ou un agent pourrait demander plusieurs scripts et les comparer, peut probablement s&#8217;avérer bénéfique.</p>



<p class="wp-block-paragraph">Notons que nous avons également tenté une amélioration&nbsp;: nous avons demandé à ChatGPT &#8220;<em>How to improve the attached prompt to make sure ChatGPT implements correctly all instructions?</em>&#8220;. Il a adapté notre fichier d&#8217;instructions, pour être beaucoup plus précis et détaillé. Il en a résulté un fichier trois fois plus volumineux. Mais ça n&#8217;a malheureusement pas vraiment amélioré la situation, bien au contraire. Copilot a tout simplement abandonné aux deux premières tentatives. À la troisième, il nous a fourni un listing, mais pas le script. Gemini a été en mesure de générer un script (dont deux sur trois qu&#8217;il a fallu modifier pour qu&#8217;ils s&#8217;exécutent), mais jamais de l&#8217;exécuter. Et nous avons à nouveau observé de grandes différences entre les différentes itérations du même outil. </p>



<p class="wp-block-paragraph">Par ailleurs, pour cette problématique précise de nettoyage d&#8217;adresse, il existe de nombreux outils classiques très efficaces pour réaliser cette tâche. La tendance du &#8220;tout à l&#8217;IA&#8221; que l&#8217;on observe de plus en plus mérite sans doute d&#8217;être modérée. À l&#8217;heure des feux de forêts massifs, des canicules à répétition et des inondations dévastatrices, se servir d&#8217;outils considérablement plus consommateur en énergie et en eau que des méthodes classiques et éprouvées, plus stables et souvent plus efficaces, est de toute évidence une approche à remettre en question.</p>



<p class="wp-block-paragraph">L&#8217;informatique de demain doit sans nul doute faire une place majeure à l&#8217;IA générative, qui a une plus-value incontestable à bien des égards. Mais sans pour autant le faire de façon aveugle et mettre à la poubelle les méthodes traditionnelles qui restent pour de nombreux aspects clairement plus performantes. Il faut par ailleurs être conscient du manque de constance de ces outils. Ce n&#8217;est certes pas un problème dans de nombreuses situations, mais peut l&#8217;être pour certaines, en particulier quand un choix peut avoir des conséquences juridiques ou médicales.</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Master Data Management, lessons learned: is een dedicated MDM-tool noodzakelijk?</title>
		<link>https://www.smalsresearch.be/master-data-management-lessons-learned-un-outil-de-mdm-dedie-est-il-indispensable_nl/</link>
		
		<dc:creator><![CDATA[Isabelle Boydens]]></dc:creator>
		<pubDate>Wed, 26 Nov 2025 09:55:47 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[data catalog]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[Information management]]></category>
		<category><![CDATA[Master Data Management]]></category>
		<guid isPermaLink="false">/?p=24525</guid>

					<description><![CDATA[De componenten van het MDM werden geïntroduceerd in een vorig blogartikel; op basis van enquêtes bij bedrijven  bespreken we hier de aandachtspunten.]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em><a href="/master-data-management-lessons-learned-un-outil-de-mdm-dedie-est-il-indispensable/">Version en français</a></em></p>



<p>De componenten van het MDM werden geïntroduceerd in een <a href="/master-data-management-mdm-concepten-voorbeelden-architecturen-en-best-practices/">vorig blogartikel</a>, en op basis van enquêtes bij bedrijven (zie referenties hieronder) bespreken we hier de aandachtspunten ervan. Is een dedicated MDM-tool noodzakelijk?</p>



<p class="wp-block-paragraph">We komen niet terug op de ‘best practices’ die in het vorige blogartikel werden genoemd en waarmee rekening moet worden gehouden om ‘<em>AI Ready Data</em>’ te verkrijgen. We herhalen wel eerst enkele belangrijke punten over Master Data Management. Vervolgens bespreken we de verschillende ‘kritieke elementen’ met betrekking tot de implementatie van een MDM, om af te sluiten met enkele suggesties.</p>



<h2 class="wp-block-heading">MDM: de <em>key points</em></h2>



<p class="wp-block-paragraph">‘Master Data Management’ (MDM) is een ‘business’-discipline waarvan de implementatie gebaseerd is op een technologie (keuze van een MDM-architectuur, een MDM-tool) waarbij semantisch met elkaar verbonden datasets tussen databases worden uitgewisseld voor toepassingsdoeleinden.</p>



<p class="wp-block-paragraph">De aanpak is gebaseerd op data governance om geïsoleerde gegevenssilo&#8217;s te voorkomen. Een <a href="/master-data-management-mdm-concepten-voorbeelden-architecturen-en-best-practices/">‘data catalog’</a> (of meta-informatiesysteem) is ook onmisbaar. Deze zorgt voor een volledige en actuele definitie van de data (via een IT en business validation workflow, versiebeheer met het genereren van delta&#8217;s tussen versies van metagegevens en de overeenkomstige applicaties). In onze sector hebben de wettelijke redenen voor het bijhouden van versies tussen metagegevens te maken met de verjaringstermijn, de periode waarin de gegevens en metagegevens moeten worden bewaard in geval van rechtszaken en nog lopende dossiers. Deze termijn kan in de sociale zekerheid variëren van 5 tot 30 jaar, of zelfs meer.&nbsp;</p>



<p class="wp-block-paragraph">Een ‘<a href="https://www.smals.be/nl/wat-we-doen/competentiecentra/data-quality" target="_blank" rel="noreferrer noopener">data quality’</a>-aanpak stroomopwaarts en stroomafwaarts van de uitwisselingsarchitectuur is eveneens essentieel om de kwaliteit van de ‘brondatabases’ te waarborgen, maar ook om de door de business gevalideerde ‘golden records’ te identificeren. De ‘golden records’ worden uitgewisseld om de traceerbaarheid van de Master Data (‘data lineage’) tussen databases te garanderen. De volgende figuur illustreert de toepassing van regels (vastgesteld door de business) om een golden record te identificeren per type cluster van vermoedelijke duplicaten (geïdentificeerd via een <a href="/data-quality-tools-retours-dexperience-et-nouveautes/">‘matching’</a>-procedure).</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="757" height="411" src="/wp-content/uploads/2025/10/Goldenrecord-1.png" alt="" class="wp-image-24213" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Goldenrecord-1.png 757w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Goldenrecord-1-300x163.png 300w" sizes="auto, (max-width: 757px) 100vw, 757px" /></figure>





<p class="wp-block-paragraph"><br>Op basis hiervan is het mogelijk om deze regels binnen enkele uren toe te passen op miljoenen records die vermoedelijke duplicaten bevatten, via performance management (de geschiedenis van de ‘niet-geselecteerde’ records wordt altijd bewaard voor het geval de eigenaars van de database de regels achteraf willen aanpassen). De volgende afbeelding toont een voorbeeld van het opstellen van een ‘golden record’ via de ‘data quality tool’ Trillium.&nbsp;</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1020" height="423" src="/wp-content/uploads/2025/10/goldenrecord2.png" alt="" class="wp-image-24219" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2.png 1020w, https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2-300x124.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2-768x318.png 768w" sizes="auto, (max-width: 1020px) 100vw, 1020px" /></figure>



<p class="wp-block-paragraph"><br>Vervolgens moeten de gegevens worden overgedragen via een te bepalen MDM-architectuur (zie volgende afbeelding). We hebben de voor- en nadelen hiervan geïdentificeerd in <a href="/master-data-management-mdm-concepten-voorbeelden-architecturen-en-best-practices/">ons vorig blogartikel</a>. Deze zullen worden aangevuld in het deel over aandachtspunten.</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1121" height="546" src="/wp-content/uploads/2025/10/architectures-1.png" alt="" class="wp-image-24226" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1.png 1121w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-300x146.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-1024x499.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-768x374.png 768w" sizes="auto, (max-width: 1121px) 100vw, 1121px" /></figure>



<h2 class="wp-block-heading"><br>Invoering van MDM: aandachtspunten</h2>



<p class="wp-block-paragraph">De interviews in de onderstaande referenties wijzen op verschillende aandachtspunten bij het opzetten van een MDM-systeem.&nbsp;</p>



<h3 class="wp-block-heading">De kwaliteit van de gegevens</h3>



<p class="wp-block-paragraph">Alle onderstaande referenties benadrukken zonder uitzondering dat een ‘<a href="https://www.smals.be/nl/wat-we-doen/competentiecentra/data-quality" target="_blank" rel="noreferrer noopener">continue data quality</a>’-aanpak in de praktijk ontbreekt en moet worden geïmplementeerd voor alle brondatabases, voordat het ‘golden record’ wordt geïdentificeerd: profilering (data audit), standaardisatie (bijvoorbeeld het opschonen van adressen) en matching (bijvoorbeeld deduplicatie).&nbsp;</p>



<h3 class="wp-block-heading">Integratie van de gegevens</h3>



<p class="wp-block-paragraph">Behalve de architectuur van het type ‘virtual directory’ vereisen alle andere architecturen een integratie van de gegevens. In de privésector van multinationals (4) wordt vaak gekozen voor centralisatie en wordt deze ook opgelegd. Deze aanpak is door veiligheid en privacy niet haalbaar in het kader van e-government, gezien de gevoeligheid van de beheerde gegevens.</p>



<p class="wp-block-paragraph">Er zijn echter specifieke beveiligde toepassingen op dit gebied die gegevensintegratie vereisen, bijvoorbeeld het <a href="https://brusselshealthnetwork.be/nl/zorgverstrekkers/ik-blijf-op-de-hoogte/de-gezondheidsdossiers-van-mijn-patienten/de-sumehr/">SumEHR</a> (Summarized Electronic Health Record of ‘patiëntendossier’), waarvan hier een schematische weergave wordt gegeven (JC Trigaux, 2009) met de uitwisseling van ‘golden records’ en het genereren van een unieke identificatiecode binnen de SumEHR-toepassing.</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="728" height="500" src="/wp-content/uploads/2025/10/Integration1.png" alt="" class="wp-image-24229" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Integration1.png 728w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Integration1-300x206.png 300w" sizes="auto, (max-width: 728px) 100vw, 728px" /></figure>



<p class="wp-block-paragraph"><br>Maar in 2025 blijkt uit een <a href="https://brusselshealthnetwork.be/nl/zorgverstrekkers/ik-blijf-op-de-hoogte/de-gezondheidsdossiers-van-mijn-patienten/de-sumehr/#zone-3" target="_blank" rel="noreferrer noopener">bericht aan artsen</a> dat de kwaliteit van de gegevens niet altijd optimaal is.&nbsp;</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/11/SUNLSchermafbeelding-2025-11-24-193649.png"><img loading="lazy" decoding="async" width="1008" height="291" src="/wp-content/uploads/2025/11/SUNLSchermafbeelding-2025-11-24-193649.png" alt="" class="wp-image-24531" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/11/SUNLSchermafbeelding-2025-11-24-193649.png 1008w, https://www.smalsresearch.be/wp-content/uploads/2025/11/SUNLSchermafbeelding-2025-11-24-193649-300x87.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/11/SUNLSchermafbeelding-2025-11-24-193649-768x222.png 768w" sizes="auto, (max-width: 1008px) 100vw, 1008px" /></a></figure>



<h3 class="wp-block-heading"> </h3>
<h3>MDM-tools</h3>



<p class="wp-block-paragraph">Daarnaast zijn er volgens de hieronder genoemde referenties, wanneer een MDM-tool met gegevensintegratie wordt gebruikt (wat de meeste van deze tools bieden), mogelijke synchronisatieproblemen, omdat sommige gegevens in batches worden overgedragen en andere continu. Er kunnen ook heterogene standaardisatiekwesties aan de orde komen&nbsp; die een belemmering vormen voor de traceerbaarheid van gegevens. MDM-tools worden soms ook traag geïntegreerd en brengen hoge kosten met zich mee (sommige tools worden gefactureerd per geïntegreerde ‘golden record’). Sommige tools zijn ondoorzichtig wat betreft de identificatie van het ‘golden record’. Bovendien heeft de gebruiker, zodra de gegevens zijn geïntegreerd, niet noodzakelijkerwijs nog controle over deze gegevens.&nbsp;</p>



<p class="wp-block-paragraph">Het gebruik van de cloud (meestal privé: Microsoft Azure, Google Cloud, Amazon Web, enz.) biedt goedkopere oplossingen dan een on-prem-ontwikkeling, maar is dit een haalbare aanpak in het kader van e-government?</p>



<p class="wp-block-paragraph">Enkele van de bekendste MDM-tools zijn: <a href="https://profisee.com/" target="_blank" rel="noreferrer noopener">Profisee</a>, <a href="https://www.piloggroup.com/" target="_blank" rel="noreferrer noopener">Pilog Group</a>, <a href="https://semarchy.com/" target="_blank" rel="noreferrer noopener">Semarchy</a>, … Sommige daarvan maken deel uit van bedrijven die verschillende softwareprogramma&#8217;s (<em>data catalog tools, data quality tools, MDM tools</em>, …) hebben verzameld in de vorm van een ‘suite’, die niet noodzakelijkerwijs onderling compatibel zijn: <a href="https://www.informatica.com/" target="_blank" rel="noreferrer noopener">Informatica</a> bijvoorbeeld. Er bestaan ook open source MDM-tools (met cloud of on-prem), waaronder bepaalde betaalde modules, zoals bijvoorbeeld <a href="https://www.atrocore.com/en" target="_blank" rel="noreferrer noopener">Altrocore</a>. Maar gezien de omvang van de databases die binnen de e-government in België worden beheerd, kunnen deze tools vragen oproepen over de ‘schaalbaarheid’.&nbsp; In elk geval moet bij de aanschaf van een MDM-tool eerst een data governance en een organisatie met bijbehorende rollen worden opgezet, een test op een representatieve PoC worden uitgevoerd en een planning worden opgesteld.</p>



<h2 class="wp-block-heading">Een ‘in house’ oplossing? Een voorbeeld op het gebied van sociale zekerheid</h2>



<p class="wp-block-paragraph">Zou naast de oplossingen die op de markt beschikbaar zijn, ook een ‘in house’ oplossing overwogen kunnen worden? We geven hier een voorbeeld uit het domein van de sociale zekerheid. In het kader van een architectuur van het type ‘virtual directory’, die een beveiligde gegevensuitwisseling met toegangsbeheer via de directory garandeert, naar het voorbeeld van de <a href="https://www.ksz-bcss.fgov.be/nl" target="_blank" rel="noreferrer noopener">kruispuntbank van de sociale zekerheid</a>, beschikken we over een ‘data catalog’, namelijk de ‘glossaria van de sociale zekerheid’, waarvan hier een voorbeeld is met betrekking tot de <a href="https://www.socialsecurity.be/lambda/portail/glossaires/dmfa.nsf/web/glossary_home_nl" target="_blank" rel="noreferrer noopener">DmfA</a> (Déclaration Multifonctionnelle &#8211; Multifunctionele Aangifte).  De data catalog oplossing voorziet in een documentatie van de uitgewisselde gegevens, inclusief versiebeheer van metadata, een validatieworkflow en beheer van meertaligheid. Deze mechanismen zorgen ook voor de actualisering van de toepassingen die verband houden met de betreffende databases, met IT- en businessvalidatie voor elk van deze databases. Dit meta-informatiesysteem draagt momenteel bij aan de jaarlijkse inning en herverdeling van 95 miljard euro aan sociale bijdragen en uitkeringen. Deze data catalog wordt momenteel langzaam gemigreerd naar de ‘<a href="https://smals-belgium.github.io/egov3-services-catalog/" target="_blank" rel="noreferrer noopener">glossaria egov 3.0</a>’. Ten slotte zou het <a href="https://www.smals.be/nl/wat-we-doen/competentiecentra/data-quality" target="_blank" rel="noreferrer noopener">competentiecentrum ‘data quality’</a> van Smals het mogelijk maken om de kwaliteit van de brondatabanken en de tussen instellingen uitgewisselde ‘golden records’ te beheren.</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1161" height="445" src="/wp-content/uploads/2025/10/Inhouse.png" alt="" class="wp-image-24257" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse.png 1161w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-300x115.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-1024x392.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-768x294.png 768w" sizes="auto, (max-width: 1161px) 100vw, 1161px" /></figure>



<h2 class="wp-block-heading"><br>Voorlopige conclusie</h2>



<p class="wp-block-paragraph">Een &#8216;in house’ oplossing, zoals hierboven beschreven, zou zeker aanpassingen ten opzichte van het bestaande systeem vereisen. De haalbaarheid en algemene toepasbaarheid ervan zouden moeten worden onderzocht. Maar het is misschien een optie om te overwegen naast de commerciële &#8220;MDM-tools&#8221; als er in onze omgeving een Master Data Management moet worden geïmplementeerd.</p>



<p class="wp-block-paragraph">Commerciële tools, ook al dekken sommige een klein deel van de publieke sector af – zoals Semarchy (1) – richten zich vooral op multinationals die producten of diensten verkopen, zoals <em>Procter &amp; Gamble (P&amp;G), Coca-Cola, General Electric of Wal-Mart</em> (4).&nbsp;</p>



<p class="wp-block-paragraph">Daarnaast blijft het nuttig om de ontwikkeling van de hierboven genoemde open source-tools te blijven volgen, waarvan de volwassenheid nog zou kunnen toenemen.&nbsp;</p>



<h2 class="wp-block-heading">Referenties</h2>



<p class="wp-block-paragraph">(1) GARTNER&nbsp;: rapports (2024, 2025) et en particulier <i>Voice of the Customers for Master Data Management, </i>Gartner<i>, </i>30 juin 2025, <i>Peer Lessons Learned for Master Data Management Solution Implementation</i><i>, Gartner, </i><i>août</i><i> 2025.</i></p>



<p class="wp-block-paragraph"><em>Interviews bij klanten en leveranciers van MDM-tools</em></p>



<p class="wp-block-paragraph">(2) LEPENIOTIS P, <i>Master data management: its importance and reasons for failed implementations</i>. Doctoral Thesis, Sheffield Hallam University Press (UK), 2020.</p>



<p class="wp-block-paragraph"><em>Analyse van MDM in twee Engelse handelsondernemingen (VK): interviews, gegevensaudits, enz.<i> </i></em></p>



<p class="wp-block-paragraph">(3) PANSARA R. (<i>MDM Specialist, TESLA, USA</i>), <i>Master Data Management Challenges</i>, In International Journal of Computer Science and Mobile Computing, Vol.10 Issue.10, October- 2021, p. 47-49.</p>



<p class="wp-block-paragraph">(4) PANSARA R.,<i>Strategies for Master Data Management Integration and Their Benefits, </i>In Scholars Journal of Engineering and Technology, 2024, p. 40-47.</p>



<p class="wp-block-paragraph"><em>Bibliografische opzoeking, case study’s,&nbsp;peilingen en interviews in de volgende Amerikaanse multinationals: Procter &amp; Gamble (P&amp;G), Coca-Cola, General Electric, Wal-Mart.</em></p>



<p class="wp-block-paragraph">(5) SMITH H. A. et al. (Queen&#8217;s School of Business, Queen&#8217;s University, Canada), <i>Developments in Practice XXX: Master Data Management: </i><i>Salvation</i><i> Or </i><i>Snake</i><i> Oil&nbsp;? In </i>Communications of the Association for Information Systems, Volume 23, Article 4, pp. 63-72, juillet 2008.</p>



<p class="wp-block-paragraph"><em>Interviews&nbsp;</em>bij <em>IT&nbsp;Managers van 15&nbsp;industriële organisaties</em></p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="wp-block-paragraph"><em><em>Deze blogpost werd geschreven door Isabelle Boydens, Data Quality Expert bij Smals Research. Dit artikel is geschreven onder haar eigen naam en weerspiegelt op geen enkele wijze de standpunten van Smals.</em></em></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Master Data Management, lessons learned&#160;: un outil de MDM dédié est-il indispensable&#160;?</title>
		<link>https://www.smalsresearch.be/master-data-management-lessons-learned-un-outil-de-mdm-dedie-est-il-indispensable/</link>
		
		<dc:creator><![CDATA[Isabelle Boydens]]></dc:creator>
		<pubDate>Wed, 19 Nov 2025 09:50:23 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[data catalog]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[Information management]]></category>
		<category><![CDATA[Master Data Management]]></category>
		<guid isPermaLink="false">/?p=24451</guid>

					<description><![CDATA[Les composantes du MDM ont été introduites dans un précédent article de blog ; sur la base d'enquêtes auprès d'entreprises, nous en évoquons ici les points d'attention.]]></description>
										<content:encoded><![CDATA[
<p><a href="/master-data-management-lessons-learned-un-outil-de-mdm-dedie-est-il-indispensable_nl/" target="_blank" rel="noopener"><span style="color: #3366ff;"><em>Nederlandstalige versie</em></span></a></p>



<p class="wp-block-paragraph">Les composantes du MDM ayant été introduites dans un <a href="/master-data-management-mdm-concepts-exemples-architectures-et-bonnes-pratiques/">précédent article de blog</a>, à partir d&#8217;enquêtes auprès d&#8217;entreprises (voir références ci-dessous), nous en évoquons ici les points d&#8217;attention. Un outil de MDM dédié est-il indispensable&nbsp;?</p>



<p class="wp-block-paragraph">Nous ne revenons pas sur les &#8220;bonnes pratiques&#8221; évoquées dans le précédent article de blog qui doivent être prises en compte afin d&#8217;obtenir des &#8220;<em>AI Ready Data</em>&#8220;. Nous rappelons toutefois dans un premier temps quelques points importants relatifs au Master Data Management. Dans un second temps, nous passons en revue les différents &#8220;éléments critiques&#8221; relatifs à la&nbsp; mise en place d&#8217;un MDM, pour conclure sur quelques pistes.</p>



<h2 class="wp-block-heading">MDM&nbsp;: les points importants</h2>



<p class="wp-block-paragraph">Le “Master data management” (MDM) est une discipline “business” dont la mise en production repose sur une technologie (choix d’une architecture de MDM, d&#8217;un outil de MDM) où des ensembles de données liées sémantiquement entre elles sont transmises entre bases de données pour des besoins applicatifs.</p>



<p class="wp-block-paragraph">L&#8217;approche repose sur une gouvernance des données pour éviter les silos de data isolées. Un “<a href="/master-data-management-mdm-concepts-exemples-architectures-et-bonnes-pratiques/">data catalog</a>” (ou système de méta-information) est également indispensable. Il en assure la définition complète et à jour (via un worklow de validation IT et business, une gestion des versions avec génération de deltas entre versions de méta-données et des applications correspondantes). Dans notre secteur, les raisons légales du maintien de versions entre méta-données tiennent à la durée de prescription, période durant laquelle les données et métadonnées doivent être conservées, en cas de procès et de dossiers encore ouverts. Cette durée peut varier dans le domaine de la sécurité sociale entre 5 à 30 ans, voir plus.&nbsp;</p>



<p class="wp-block-paragraph">Une approche “<a href="https://www.smalsresearch.be/tag/data-quality/" target="_blank" rel="noopener">data quality</a>” en amont et en aval de l’architecture d’échange est également indispensable afin d&#8217;assurer la qualité des bases de données “sources&#8221;, mais aussi pour identifier les “golden records” validés par le business. Les &#8220;golden records&#8221; seront échangés de façon à assurer la traçabilité des Master Data (“data lineage”) entre bases de données. La figure suivante illustre l&#8217;application de règles (établies par le business) afin d&#8217;identifier un golden record par type de clusters de présomptions de duplicats (identifiés via une procédure de &#8220;<a href="/data-quality-tools-retours-dexperience-et-nouveautes/">matching</a>&#8220;).</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="757" height="411" src="/wp-content/uploads/2025/10/Goldenrecord-1.png" alt="" class="wp-image-24213" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Goldenrecord-1.png 757w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Goldenrecord-1-300x163.png 300w" sizes="auto, (max-width: 757px) 100vw, 757px" /></figure>





<p class="wp-block-paragraph"><br>Sur cette base, il est possible d&#8217;appliquer ces règles en quelques heures sur des millions de records représentant des sous-ensembles de duplicats présumés, via une gestion de la performance (on conserve toujours l’historique des records &#8220;non retenus&#8221; au cas où les propriétaires de la base de données souhaiteraient adapter les règles a posteriori). La figure suivante montre un exemple d&#8217;établissement d&#8217;un &#8220;golden record&#8221; via le &#8220;data quality tool&#8221; Trillium.&nbsp;</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1020" height="423" src="/wp-content/uploads/2025/10/goldenrecord2.png" alt="" class="wp-image-24219" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2.png 1020w, https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2-300x124.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/goldenrecord2-768x318.png 768w" sizes="auto, (max-width: 1020px) 100vw, 1020px" /></figure>



<p class="wp-block-paragraph"><br>Ensuite, les données doivent être transférées via une architecture de MDM (voir figure suivante), à choisir. Nous en avons identifié les avantages et inconvénients dans <a href="/master-data-management-mdm-concepts-exemples-architectures-et-bonnes-pratiques/">notre précédent article de blog</a>. Ces derniers seront complétés dans la partie relative aux points d&#8217;attention.</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1121" height="546" src="/wp-content/uploads/2025/10/architectures-1.png" alt="" class="wp-image-24226" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1.png 1121w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-300x146.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-1024x499.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/10/architectures-1-768x374.png 768w" sizes="auto, (max-width: 1121px) 100vw, 1121px" /></figure>



<h2 class="wp-block-heading"><br>Mise en place du MDM&nbsp;: points d&#8217;attention</h2>



<p class="wp-block-paragraph">Les interviews reprises dans les références ci-dessous indiquent plusieurs points d&#8217;attention lors de la mise en place d&#8217;un système de MDM.&nbsp;</p>



<h3 class="wp-block-heading">La qualité des données</h3>



<p class="wp-block-paragraph">Toutes les références ci-dessous sans exception insistent sur le fait qu&#8217;une approche &#8220;<a href="https://www.smalsresearch.be/tag/data-quality/" target="_blank" rel="noopener">data quality continue</a>&#8221; manque dans la pratique et doit être mise en place pour toutes les bases de données sources, avant l&#8217;identification du golden record&nbsp;: profiling (audit des données), standardization (par exemple, nettoyage d&#8217;adresses) et matching (par exemple, déduplication).&nbsp;</p>



<h3 class="wp-block-heading">L&#8217;intégration des données</h3>



<p class="wp-block-paragraph">À part l&#8217;architecture de type &#8220;répertoire virtuel&#8221;, toutes les autres demandent une intégration des données. Dans le secteur privé des multinationales (4), la centralisation est souvent choisie et imposée. Cette approche n&#8217;est pas viable dans le cadre de l&#8217;e-government pour des raisons de sécurité et de vie privée, vu la sensibilité des données gérées.</p>



<p class="wp-block-paragraph">On trouve toutefois dans ce domaine des applications spécifiques sécurisées nécessitant une intégration des données, par exemple, le <a href="https://brusselshealthnetwork.be/professionnels-de-la-sante/je-minforme/le-dossier-sante-de-mes-patients/le-sumehr/">SumEHR</a> (Summarized Electronic Health Record ou &#8220;dossier du patient&#8221;) dont voici une présentation schématique (JC Trigaux, 2009) avec l&#8217;échange de golden records et la génération d&#8217;un identifiant unique au sein de l&#8217;application SumEHR.</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="728" height="500" src="/wp-content/uploads/2025/10/Integration1.png" alt="" class="wp-image-24229" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Integration1.png 728w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Integration1-300x206.png 300w" sizes="auto, (max-width: 728px) 100vw, 728px" /></figure>



<p class="wp-block-paragraph"><br>Mais en 2025, un <a href="https://brusselshealthnetwork.be/professionnels-de-la-sante/je-minforme/le-dossier-sante-de-mes-patients/le-sumehr/#zone-3" target="_blank" rel="noopener">message adressé aux médecins</a> indique que la qualité des données n&#8217;est pas toujours au rendez-vous.&nbsp;</p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1012" height="267" src="/wp-content/uploads/2025/10/integration2.png" alt="" class="wp-image-24230" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/integration2.png 1012w, https://www.smalsresearch.be/wp-content/uploads/2025/10/integration2-300x79.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/integration2-768x203.png 768w" sizes="auto, (max-width: 1012px) 100vw, 1012px" /></figure>



<h3 class="wp-block-heading"><br>Les outils de MDM</h3>



<p class="wp-block-paragraph">À cela s&#8217;ajoutent, selon les références citées ci-dessous, lorsque l&#8217;on utilise un outil de MDM avec intégration des données (ce que proposent la plupart de ces outils), des problèmes potentiels de synchronisation, certaines données étant transférées en batch, d&#8217;autres en continu. Des questions de standardisation hétérogènes peuvent également se présenter, constituant un obstacle à la&nbsp; traçabilité des données. Les outils de MDM présentent aussi parfois une certaine lenteur d&#8217;intégration ainsi qu&#8217;un coût important (certains facturent leur outil par &#8220;golden record&#8221; intégré). Certains d&#8217;entre eux sont opaques quant à l&#8217;identification du &#8220;golden record&#8221;. Par ailleurs, une fois les données intégrées, l&#8217;utilisateur n&#8217;a plus nécessairement de prise sur celles-ci.&nbsp;</p>



<p class="wp-block-paragraph">Le recours au cloud (privé la plupart du temps&nbsp;: Microsoft Azure, Google Cloud, Amazon Web, &#8230;) offre des solutions moins chères qu&#8217;un développement on-prem, mais est-ce une approche viable dans le cadre de l&#8217;e-government&nbsp;?</p>



<p><span style="color: #000000;">Citons quelques outils de MDM parmi les plus connus&nbsp;: <a style="color: #000000;" href="https://profisee.com/" target="_blank" rel="noopener">Profisee</a>, <a style="color: #000000;" href="https://www.piloggroup.com/" target="_blank" rel="noopener">Pilog Group</a>, <a style="color: #000000;" href="https://semarchy.com/" target="_blank" rel="noopener">Semarchy</a>, &#8230; Certains d&#8217;entre eux font partie de firmes ayant cumulé sous forme de &#8220;suite&#8221; les acquisitions de logiciels divers (<em>data catalog tools</em>, <em>data quality tools</em>, <em>MDM tools</em>, &#8230;), qui ne sont pas nécessairement compatibles entre eux&nbsp;: <a style="color: #000000;" href="https://www.informatica.com/" target="_blank" rel="noopener">Informatica</a>, par exemple. Il existe également des outils de MDM open source (avec cloud ou on-prem), incluant certains modules payants, comme <a style="color: #000000;" href="https://www.atrocore.com/en" target="_blank" rel="noopener">Altrocore</a>, par exemple. Mais par rapport au volume des bases de données gérées au sein de l&#8217;e-government en Belgique, ces derniers peuvent poser des questions de &#8220;passage à l&#8217;échelle&#8221;.  Dans tous les cas, en cas d&#8217;acquisition d&#8217;un outil de MDM, il faut préalablement avoir mis en place une data governance et une organisation, des rôles associés, effectué un test sur un PoC représentatif et prévoir un planning.</span></p>



<h2 class="wp-block-heading">Une solution &#8220;<span style="color: #000000;">in house</span>&#8221;&nbsp;? Un exemple dans le domaine de la sécurité sociale</h2>



<p class="wp-block-paragraph"><span style="color: #000000;">A côté des solutions du marché, une solution &#8220;in house&#8221; pourrait-elle être envisagée&nbsp;? Nous en présentons un exemple dans le domaine de la sécurité sociale. Dans le cadre d&#8217;une architecture de type &#8220;répertoire virtuel&#8221; assurant un échange sécurisé des données via l&#8217;annuaire avec gestion des accès, à l&#8217;instar de la</span> <a href="https://www.ksz-bcss.fgov.be/fr" target="_blank" rel="noopener">banque carrefour de la sécurité sociale</a>, <span style="color: #000000;">nous disposons d&#8217;un &#8220;data catalog&#8221;, à savoir les &#8220;glossaires de la sécurité sociale&#8221;, dont voici un exemple s&#8217;agissant de la</span> <a href="https://www.socialsecurity.be/lambda/portail/glossaires/dmfa.nsf/web/glossary_home_fr" target="_blank" rel="noreferrer noopener">DmfA</a> (Déclaration Multifonctionnelle &#8211; Multifunctionele Aangifte) documentant les données échangées avec gestion des versions de méta-données, worfkow de validation, gestion du multilinguisme. Ces derniers assurent également la mise à jour des applicatifs liés aux bases de données concernées avec validation IT et business pour chacune d&#8217;entre elles. Ce système de méta-information contribue actuellement au prélèvement et à la redistribution annuels de 95 milliards d&#8217;euros de cotisations et prestations sociales. Ce data catalog est en cours <span style="color: #0000ff;"><span style="color: #000000;">de lente migration vers des</span> &#8220;<a href="https://smals-belgium.github.io/egov3-services-catalog/" target="_blank" rel="noopener">glossaires egov 3.0</a>&#8220;. </span>Enfin, le <span style="color: #0000ff;"><span style="color: #000000;"><a href="https://www.smalsresearch.be/tag/data-quality/" target="_blank" rel="noopener">centre de compétence &#8220;data quality&#8221;</a> dont dispose Smals permettrait de gérer la qualité des bases de données sources ainsi que les <span style="color: #3366ff;"><span style="color: #000000;">golden records</span> <span style="color: #000000;">échangés entre institutions. </span></span></span></span></p>



<figure class="wp-block-image aligncenter"><img loading="lazy" decoding="async" width="1161" height="445" src="/wp-content/uploads/2025/10/Inhouse.png" alt="" class="wp-image-24257" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse.png 1161w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-300x115.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-1024x392.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/10/Inhouse-768x294.png 768w" sizes="auto, (max-width: 1161px) 100vw, 1161px" /></figure>



<h2 class="wp-block-heading"><br>Conclusion provisoire</h2>



<p class="wp-block-paragraph">Une solution &#8220;in house&#8221;, telle que présentée ci-dessus, demanderait certainement des adaptations par rapport à l&#8217;existant. Son caractère réaliste et généralisable devrait être examiné. Mais il s&#8217;agit peut-être d&#8217;une piste à envisager à côté des &#8220;outils de MDM&#8221; commerciaux, si un Master Data Management doit être mis en place dans notre environnement.</p>



<p class="wp-block-paragraph">En effet les outils commerciaux, même si certains d&#8217;entre eux couvrent pour une petite part de marché le secteur public, comme <a href="https://semarchy.com/" target="_blank" rel="noopener">Semarchy</a> (1), s&#8217;adressent surtout aux multinationnales vendant des produits ou services, telles que <i>Procter &amp; Gamble (P&amp;G), Coca-Cola, General Electric</i> ou encore,<i> Wal-Mart</i> (4).&nbsp;</p>



<p class="wp-block-paragraph">A côté de cela, il restera utile de suivre l&#8217;évolution des outils open source, évoqués plus haut, dont la maturité pourrait prendre de l&#8217;ampleur.&nbsp;</p>



<h2 class="wp-block-heading">Références</h2>



<p class="wp-block-paragraph">(1) GARTNER&nbsp;: rapports (2024, 2025) et en particulier <i>Voice of the Customers for Master Data Management, </i>Gartner<i>, </i>30 juin 2025, <i>Peer Lessons Learned for Master Data Management Solution Implementation</i><i>, Gartner, </i><i>août</i><i> 2025.</i></p>



<p class="wp-block-paragraph"><i>Enquêtes</i> <i>auprès</i><i> de clients et de </i><i>fournisseurs</i><i> d&#8217;outils de MDM</i>.</p>



<p class="wp-block-paragraph">(2) LEPENIOTIS P, <i>Master data management: its importance and reasons for failed implementations</i>. Doctoral Thesis, Sheffield Hallam University Press (UK), 2020.</p>



<p class="wp-block-paragraph"><i>Analyse</i><i> du MDM dans deux </i><i>entreprises</i> <i>commerciales</i><i> anglaises (UK)&nbsp;: interviews, audits de données, … </i></p>



<p class="wp-block-paragraph">(3) PANSARA R. (<i>MDM Specialist, TESLA, USA</i>), <i>Master Data Management Challenges</i>, In International Journal of Computer Science and Mobile Computing, Vol.10 Issue.10, October- 2021, p. 47-49.</p>



<p class="wp-block-paragraph">(4) PANSARA R.,<i>Strategies for Master Data Management Integration and Their Benefits, </i>In Scholars Journal of Engineering and Technology, 2024, p. 40-47.</p>



<p class="wp-block-paragraph"><i>Recherche </i><i>bibliographique</i><i>, case studies, </i><i>sondages</i><i> et interviews dans les </i><i>mulitinationales</i> <i>américaines</i> <i>suivantes</i><i>&nbsp;: Procter &amp; Gamble (P&amp;G), Coca-Cola, General Electric, Wal-Mart.</i></p>



<p class="wp-block-paragraph">(5) SMITH H. A. et al. (Queen&#8217;s School of Business, Queen&#8217;s University, Canada), <i>Developments in Practice XXX: Master Data Management: </i><i>Salvation</i><i> Or </i><i>Snake</i><i> Oil&nbsp;? In </i>Communications of the Association for Information Systems, Volume 23, Article 4, pp. 63-72, juillet 2008.</p>



<p class="wp-block-paragraph"><i>Interviews </i><i>auprès</i> <i>d’IT</i><i> Managers de 15 </i><i>organisations</i> <i>industrielles</i>.</p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="wp-block-paragraph"><em>Ce post est une contribution d’Isabelle Boydens, Data Quality Expert chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals</em></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Master Data Management (MDM): concepten, voorbeelden, architecturen en best practices</title>
		<link>https://www.smalsresearch.be/master-data-management-mdm-concepten-voorbeelden-architecturen-en-best-practices/</link>
		
		<dc:creator><![CDATA[Isabelle Boydens]]></dc:creator>
		<pubDate>Wed, 27 Aug 2025 08:37:36 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[Information management]]></category>
		<category><![CDATA[Master Data Management]]></category>
		<category><![CDATA[metainformation system]]></category>
		<guid isPermaLink="false">/?p=23340</guid>

					<description><![CDATA[Wat houdt Master Datamanagement in? Welke problemen kan het oplossen?]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em><a href="/master-data-management-mdm-concepts-exemples-architectures-et-bonnes-pratiques/" target="_blank" rel="noopener">Version en français</a></em></p>



<p class="wp-block-paragraph">In dit artikel illustreren we de problematiek waarop Master Data Management (MDM) een antwoord biedt. Vervolgens definiëren we deze tak van de informatica aan de hand van voorbeelden en tonen we de verbanden met data governance en datamanagement. We stellen ook een implementatiemethode voor, evenals de bijbehorende architecturen met hun voor- en nadelen.&nbsp;</p>



<h2 class="wp-block-heading">De probleemstelling</h2>



<p class="wp-block-paragraph">Master Data Management heeft als doel twee soorten problemen op te lossen.</p>



<p class="wp-block-paragraph">Enerzijds kunnen bepaalde gegevens verspreid, gedupliceerd en heterogeen zijn in verschillende semantisch met elkaar verbonden toepassingen en databases (DB&#8217;s).</p>



<p class="wp-block-paragraph">Anderzijds kunnen gegevens tussen verschillende DB&#8217;s verschillen (bijvoorbeeld wat betreft het formaat of het definitiedomain) of in een verschillend tempo evolueren. Dit kan leiden tot ernstige bedrijfsproblemen. Zo vormen een gebrek aan traceerbaarheid tussen onderling afhankelijke databases of een gebrek aan “AI-ready” gegevens, een belemmering voor de efficiënte implementatie van AI-projecten, die momenteel in opkomst zijn.</p>



<p class="wp-block-paragraph">Master Data Management is dus een vakgebied dat zich richt op het elimineren van inconsistenties en operationele storingen en het verbeteren van de kwaliteit van de gegevens en de dienstverlening.</p>



<h2 class="wp-block-heading">Definitie en voorbeelden</h2>



<p class="wp-block-paragraph">Master Data Management is meer een vakgebied dan een softwareprogramma en is gebaseerd op data governance en datamanagement.&nbsp;</p>



<p class="wp-block-paragraph">Bij data governance legt het management van een instelling verschillende zaken vast. Een verantwoordingskader op hoog niveau moet de voorwaarden voor het beheer van masterdata vastleggen (&#8220;policy settings&#8221;). Deze masterdata zijn van fundamenteel belang voor het bedrijf (bijvoorbeeld het adres van de werkgever of het bedrijf) en worden gedeeld tussen verschillende databases. Daartoe moeten rollen worden vastgesteld op verschillende niveaus: business- en technisch beheer van MDM, van het meta-informatiesysteem, van de datakwaliteit, van de architectuur, enz. Ten slotte wordt een passende organisatie opgezet voor de evaluatie, creatie, consumptie en controle van de data.</p>



<p class="wp-block-paragraph">Op basis van de policy settings maakt datamanagement het mogelijk om op iteratieve en incrementele wijze masterdata te identificeren, definiëren en modelleren via een eerste case study die door de betrokken business wordt gevalideerd, met het oog op een bredere aanpak die drie gelijktijdige assen omvat.</p>



<p class="wp-block-paragraph">In de eerste plaats moet een meta-informatiesysteem of transversale woordenlijst (&#8220;glossarium&#8221;) met data met een hoge toegevoegde waarde (“Data Catalog”) worden opgezet, een onderwerp waarover we in maart 2025 een blogartikel in het Frans en het Nederlands hebben gepubliceerd (6). De Data Catalog kan ook data beheren die niet tussen databases wordt gedeeld en waarvan de documentatie belangrijk is.</p>



<p class="wp-block-paragraph">Ten tweede moet een aanpak worden geïmplementeerd die gericht is op de kwaliteit van de data (6, 7, 8, 9, 10, 11). Deze omvat twee soorten methoden. Correctieve methoden (9), via datakwaliteitsinstrumenten (Batch en Rest API in de <a href="https://www.ict-reuse.be/nl/service/dataqualityimprovement">ReUse-catalogus</a>), maken het mogelijk om problemen (afwijkingen, vermoedelijke dubbele vermeldingen, te verwijderen adressen, enz.) aan te pakken wanneer deze zich al in de databases voordoen. Preventieve methoden (7, 8, 11) maken het mogelijk om het ontstaan van afwijkingen te voorkomen door de oorzaak (of oorzaken) ervan op te sporen tussen instellingen en verzenders in de informatiestromen (bijvoorbeeld problemen met de interpretatie van de wet, het ontstaan van een nieuw concept (virusmutaties, &#8230;), inconsistente definities, bugs, &#8230;) en deze structureel aan de bron te verwijderen, zodat ze niet meer/niet in de data voorkomen (in de toekomst, zie <a href="https://reuse.smals.be/fr/recherche-resultats">ReUse-catalogus</a>).</p>



<p class="wp-block-paragraph">Onderstaande figuur illustreert op schematische wijze de twee methoden, die op elkaar kunnen inwerken.</p>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-image aligncenter size-full"><a href="/wp-content/uploads/2025/08/DQ-1.png"><img loading="lazy" decoding="async" width="602" height="341" src="/wp-content/uploads/2025/08/DQ-1.png" alt="" class="wp-image-23353" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/08/DQ-1.png 602w, https://www.smalsresearch.be/wp-content/uploads/2025/08/DQ-1-300x170.png 300w" sizes="auto, (max-width: 602px) 100vw, 602px" /></a></figure>



<p class="wp-block-paragraph">Ten derde zorgt een Master Datamanagement-systeem voor de keuze van een integratie tussen de betreffende databases en de datacatalogus (of meta-informatiesysteem). Er bestaan verschillende architecturen, die we later zullen bespreken.</p>



<p class="wp-block-paragraph">Deze belangrijke stappen maken het mogelijk om gesynchroniseerde gegevens in verschillende projecten en toepassingen transversaal te beheren. Het doel van de MDM-aanpak is om inspanningen te bundelen en de synchronisatie, kwaliteit, uitwisseling en controle van data tussen de verschillende silo&#8217;s te waarborgen. En dit vrijwel in realtime of in uitgestelde modus (wanneer een goedkeuringsworkflow nodig is voor de validatie van wijzigingen en versies).</p>



<p class="wp-block-paragraph">Bijvoorbeeld (2, 5): MDM maakt het mogelijk om gevallen te behandelen waarin twee verschillende termen in dezelfde betekenis worden gebruikt en moeten worden geharmoniseerd (bv. te betalen bedrag, verschuldigd bedrag) of gevallen waarin eenzelfde term verschillende betekenissen kan hebben (zo kan loon bijvoorbeeld brutoloon, basisloon, loon en salaris, of nettoloon betekenen, enz.). In onze Belgische context moet ook rekening worden gehouden met de harmonisatie tussen de termen in de verschillende gebruikte talen, wat een extra factor van complexiteit is. Er is namelijk geen noodzakelijk één-op-één verband tussen de verschillende termen in de verschillende landstalen voor een bepaald concept.</p>



<p class="wp-block-paragraph">Masterdata zijn dus de kleinste samenhangende sets van identifiers en attributen die op unieke wijze de belangrijkste entiteiten van een instelling of onderneming beschrijven en worden gebruikt in verschillende conceptueel en functioneel met elkaar verbonden databases en businessprocessen.</p>



<h2 class="wp-block-heading">Masterdatamanagement: implementatiemethode</h2>



<p class="wp-block-paragraph">Aangezien een Master Datamanagement-project in de eerste plaats een businessproject is, omvat het, voordat een IT-systeem wordt geïmplementeerd, de volgende, vaak iteratieve stappen (1, 3, 4):&nbsp;</p>



<ul class="wp-block-list">
<li>Bepaal de omvang van het project (begin met een “bescheiden” essentieel project, dat incrementeel en iteratief kan zijn, “nice to have”)</li>



<li>Een agenda (planning) voor de implementatie opstellen, een continu project (ontwerp en onderhoud) ondersteund door de hiërarchie, met inbegrip van de volgende punten:</li>



<li>Accent leggen (analyse) en identificeren:
<ul class="wp-block-list">
<li>De gebruikers van de data, hun doelstellingen</li>



<li>De authentieke bronnen</li>



<li>De belangrijkste concepten en de masterdata (unieke identificatie, hoofdcategorieën, &#8230;). Let op: soms zijn compromissen nodig, de keuze van de masterdata is niet noodzakelijkerwijs deterministisch</li>



<li>Gebeurtenissen/processen die van invloed kunnen zijn op de masterdata (bijwerking, delen en verwijderen als gevolg van wetgevende wijzigingen of de werkelijke situatie – bijvoorbeeld: mutaties van virussen en veranderingen in medische concepten, enz.)</li>



<li>De bijbehorende organisatie (bijv. validatieworkflow)</li>



<li>Het beheer van versies van masterdata en metadata (6)</li>



<li>De kwaliteit van de data: evaluatie en verbetering (6, 7, 8, 9, 10, 11) – zie hierboven</li>



<li>Beveiliging en privacy</li>
</ul>
</li>



<li>Definieer KPI&#8217;s of metrics om de resultaten van de MDM-aanpak te valideren, meten en opvolgen, bijvoorbeeld:
<ul class="wp-block-list">
<li>Kwaliteitsbarometers DmfA: opvolging van anomalieën, financiële indicatoren (AR-KB 2017), … (11)</li>



<li>Metingen van de traceerbaarheid tussen semantisch gekoppelde databases.</li>
</ul>
</li>



<li>Zoals hierboven vermeld, stapsgewijs een referentiekader of glossarium van data of een meta-informatiesysteem (6) opstellen, rekening houdend met de belangrijke functionaliteiten voor een latere productie:
<ul class="wp-block-list">
<li>Versiebeheer (planning) van masterdata en metadata (evoluerende wetgeving, verjaringstermijn, bewijskracht, opkomst van nieuwe concepten, &#8230;)</li>



<li>Validatieworkflow</li>



<li>Meertaligheid</li>



<li>Erfenis</li>



<li>Standaard en uitwisselingsformaat (“Write Once Publish Many”)</li>



<li>Multibase en meertalig zoeken</li>
</ul>
</li>



<li>Een strategie voor evolutie en change management opstellen voor de overgang van de huidige situatie (“AS IS”) naar de toekomstige situatie (“TO BE”)</li>



<li>Rollen en business- en IT-teams (MDM, Data Quality, Architectuur, &#8230;) opstellen</li>



<li>Standaarden definiëren (aanbevolen voor analyse: (12))</li>



<li>Een methode bepalen voor de integratie van de betrokken databases; via het referentiekader of glossarium voor transversale data, dat we in het volgende punt zullen bekijken: de integratiearchitecturen, met hun voor- en nadelen op het vlak van:
<ul class="wp-block-list">
<li>datakwaliteit (10)</li>



<li>beveiliging en privacy</li>



<li>prestaties</li>



<li> mate van intrusiviteit in de betrokken informatiesystemen</li>
</ul>
</li>
</ul>



<h2 class="wp-block-heading">Integratiearchitecturen tussen databases en eventueel gekoppelde Data Catalogs, met hun voor- en nadelen </h2>



<p class="wp-block-paragraph">De volgende schema&#8217;s zijn aangepast uit (5) en gewijzigd in overeenstemming met de huidige oplossingen (1, 2, 3, 4)</p>



<ol class="wp-block-list">
<li><strong> Virtuele directories </strong></li>
</ol>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172500A.png"><img loading="lazy" decoding="async" width="862" height="453" src="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172500A.png" alt="" class="wp-image-23343" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172500A.png 862w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172500A-300x158.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172500A-768x404.png 768w" sizes="auto, (max-width: 862px) 100vw, 862px" /></a></figure>



<p class="wp-block-paragraph">Met een virtuele directory maakt het dataregister (in het midden van het schema, in het rood) het mogelijk om, op basis van een kennisbank met toegangsrechten, data uit de brondatabases over te dragen naar de gebruikers. Er zijn overeenkomsten met de KSZ, een stellair netwerk dat de uitwisseling van data tussen instellingen mogelijk maakt. Wat de sociale zekerheid betreft, kunnen gegevensgebruikers een glossarium van de data (of “Data Catalog” in het schema) raadplegen in de verschillende versies, online op het portaal van de sociale zekerheid (6). <em>Dit is een goede oplossing in de genoemde context.</em></p>



<ul class="wp-block-list">
<li><em>Voordelen</em>: eerbiediging van de privacy, veiligheid, de brondata hoeven niet te worden gewijzigd</li>



<li><em>Nadelen</em>: mogelijke prestatieproblemen, de dataproducenten moeten hun Data Catalog delen, uniformiseren, in hetzelfde tempo bijwerken en toegankelijk maken voor de gebruikers.   </li>
</ul>



<ol start="2" class="wp-block-list">
<li><strong> Consolidatie</strong></li>
</ol>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172600B.png"><img loading="lazy" decoding="async" width="927" height="491" src="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172600B.png" alt="" class="wp-image-23344" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172600B.png 927w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172600B-300x159.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172600B-768x407.png 768w" sizes="auto, (max-width: 927px) 100vw, 927px" /></a></figure>



<p class="wp-block-paragraph">Bij consolidatie worden de brondata in één keer (“one shot”) naar een gemeenschappelijke database gekopieerd. Er staat geen “Data Catalog” op het schema, omdat de gemeenschappelijke database vervolgens wordt gedesynchroniseerd van de “brondata” die zij geacht wordt te vertegenwoordigen. <em>Deze oplossing wordt niet aanbevolen.</em> Ze werd in het verleden in de toepassing gebracht voor het beheer van zorgpremies, maar werd later opgegeven.&nbsp;</p>



<ul class="wp-block-list">
<li><em>Voordelen</em>: eenvoudig voor data-producenten: de brondatabases hoeven niet te worden gewijzigd</li>



<li><em>Nadelen</em>: de brondatabases en hun Data Catalog kunnen in hun eigen tempo evolueren en de gemeenschappelijke database in een ander tempo (“ghost factory”, bron van redundantie): er doen zich problemen voor op het vlak van de kwaliteit van de ‘geconsolideerde’ data, het delen van een “gemeenschappelijke Data Catalog” heeft geen zin meer.</li>
</ul>



<ol start="3" class="wp-block-list">
<li><strong> Samenwerking</strong></li>
</ol>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172635C.png"><img loading="lazy" decoding="async" width="1010" height="468" src="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172635C.png" alt="" class="wp-image-23345" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172635C.png 1010w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172635C-300x139.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172635C-768x356.png 768w" sizes="auto, (max-width: 1010px) 100vw, 1010px" /></a></figure>



<p class="wp-block-paragraph">Bij samenwerking delen de brondatabases de gemeenschappelijke “masterdata” in een nieuwe database en blijven ze hun niet-gemeenschappelijke data beheren. Voor gemeenschappelijke data die in één exemplaar worden beheerd (dus zonder redundantie), wordt een “Data Catalog” ter beschikking gesteld van alle datagebruikers en gezamenlijk bijgewerkt door de dataproducenten. <em>Dit is een goede oplossing als de brondatabases moeten worden geherstructureerd omdat ze bijvoorbeeld technisch en conceptueel verouderd zijn</em></p>



<ul class="wp-block-list">
<li><em>Voordelen</em>: de masterdata zijn op één plek toegankelijk (wat goed is voor de datakwaliteit) en hun ‘Data Catalog’ is gemeenschappelijk, het voor datagebruikers toegankelijke deel wordt verspreid. De privacy en veiligheid zijn gewaarborgd. Elke data-producent blijft zijn eigen data beheren en deze worden niet gedeeld.</li>



<li><em>Nadelen</em>: de brondatabases moeten worden geherstructureerd, mogelijke prestatieproblemen.</li>
</ul>



<ol start="4" class="wp-block-list">
<li><strong> Centralisatie</strong></li>
</ol>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172738D.png"><img loading="lazy" decoding="async" width="962" height="523" src="/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172738D.png" alt="" class="wp-image-23346" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172738D.png 962w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172738D-300x163.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/08/Schermafbeelding-2025-07-04-172738D-768x418.png 768w" sizes="auto, (max-width: 962px) 100vw, 962px" /></a></figure>



<h2 class="wp-block-heading">Voorlopige conclusies </h2>



<p class="wp-block-paragraph">Wat de voorgestelde architecturen betreft (en rekening houdend met alle voorafgaande stappen die in dit artikel zijn geïllustreerd), lijkt de virtuele directory met “Data Catalog” de beste oplossing. Als een (herstructurering van) de brondatabases nodig is, kan samenwerking worden overwogen.&nbsp;</p>



<p class="wp-block-paragraph">In een volgende blogartikel over Master Data Management zullen we kijken naar de lessen die in België en in het buitenland zijn geleerd over het gebruik van Master Data Management op basis van de tools en implementatiemethoden, en zullen we een typologie van MDM-tools geven met een kritische en constructieve blik.&nbsp;</p>



<h2 class="wp-block-heading">Referenties</h2>



<p class="wp-block-paragraph">(1) DUBOIS P. et al. (University of Paris), <em>Harnessing Data Integrity: A Study of Master Data Management Best Practices</em>. MZ Computing Journal, vol 5, issue 1, 2023.</p>



<p class="wp-block-paragraph">(2)<em> Hype Cycle for Data and Analytics Governance 2025</em>, Gartner, 19 June 2025 &#8211; ID G00827117.</p>



<p class="wp-block-paragraph">(3) LEPENIOTIS P, <em>Master data management: its importance and reasons for failed implementations</em>. Doctoral Thesis, Sheffield Hallam University Press, 2020 (3 vol.).</p>



<p class="wp-block-paragraph">(4) SINGH A. et al., <em>Best Practices for Creating and Maintaining Material Master Data in Industrial Systems</em> In International journal of research and analytical reviews, vol 10, issue 1, Janvier 2023.</p>



<p class="wp-block-paragraph">(5) TRIGAUX J.-C., <a href="https://www.smalsresearch.be/master-data-management-mise-en-place-dun-referentiel-de-donnees/"><em>Master Data Management &#8211; Mise en place d’un référentiel de données</em></a>. Bruxelles,&nbsp; Smals Research, Deliverable 2009/TRIM4/01.&nbsp;</p>



<p class="wp-block-paragraph">(6) BOYDENS I., <a href="/de-kern-van-data-governance-datacatalogs-of-meta-informatiesystemen/">De kern van data governance: ‘data catalogs’ of Metadata Management Systemen</a>, Brussel, Smals Research, blogartikel, 19/03/2025 (<em>link beschikbaar naar de Franstalige versie</em>).</p>



<p class="wp-block-paragraph">(7) BOYDENS I., HAMITI G. en VAN EECKHOUT R., <em>A service at the heart of database quality</em>. <em>Presentation of an ATMS prototype</em>. In Le Courrier des statistiques, Parijs, INSEE, 2023, nr. 6, 11 p. (gepubliceerd op 2/10/2023).&nbsp;<a href="https://www.insee.fr/en/information/7673386?sommaire=7673393">Link naar het artikel.</a></p>



<p class="wp-block-paragraph">(8) BOYDENS I., HAMITI G. en VAN EECKHOUT R., <a href="/data-quality-anomalies-transactions-management-system-atms-prototype-work-in-progress-2/">Data Quality: “Anomalies &amp; Transactions Management System” (ATMS), prototype &amp; “work in progress”</a>, Brussel, Smals Research, blogartikel, 02/12/2020, last update 04/07/2025. (<em>link beschikbaar naar de Franstalige versie</em>).</p>



<p class="wp-block-paragraph">(9) BOYDENS I., CORBESIER I. en HAMITI G., <a href="/data-quality-tools-retours-dexperience-et-nouveautes/">Data Quality Tools&nbsp;: retours d&#8217;expérience et nouveautés</a>, Brussel, Smals Research, blogartikel, 07/12/2021.</p>



<p class="wp-block-paragraph">(10) BOYDENS I.,&nbsp;<a href="/dix-bonnes-pratiques-pour-ameliorer-et-maintenir-la-qualite-des-donnees/">Dix bonnes pratiques pour améliorer et maintenir la qualité des données</a>, Brussel, Smals Research, blogartikel, 16/06/2014, last update: december 2021.</p>



<p class="wp-block-paragraph">(11) BOYDENS I., <a href="/data-quality-back-tracking-depuis-les-premieres-experimentations-a-la-parution-dun-arrete-royal/">Data Quality &amp; Back Tracking&nbsp;: depuis les premières expérimentations à la parution d&#8217;un Arrêté Royal</a>, Brussel, Smals Research, blogartikel, 14/05/2018.</p>



<p class="wp-block-paragraph">(12) XLS en het FedVoc-bestand gepubliceerd op GitHub van BelgIF <a href="https://github.com/belgif/fedvoc">GitHub – </a><a href="https://github.com/belgif/fedvoc">belgif</a><a href="https://github.com/belgif/fedvoc">/</a><a href="https://github.com/belgif/fedvoc">fedvoc</a><a href="https://github.com/belgif/fedvoc">: Federal Vocabularies</a></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Master Data Management (MDM)&#160;:  concepts, exemples, architectures et bonnes pratiques</title>
		<link>https://www.smalsresearch.be/master-data-management-mdm-concepts-exemples-architectures-et-bonnes-pratiques/</link>
		
		<dc:creator><![CDATA[Isabelle Boydens]]></dc:creator>
		<pubDate>Wed, 20 Aug 2025 06:37:57 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[Information management]]></category>
		<category><![CDATA[Master Data Management]]></category>
		<category><![CDATA[metainformation system]]></category>
		<guid isPermaLink="false">/?p=22926</guid>

					<description><![CDATA[En quoi consiste le Master Data Management ? Quels problèmes permet-il de résoudre ? ]]></description>
										<content:encoded><![CDATA[<p><a href="/master-data-management-mdm-concepten-voorbeelden-architecturen-en-best-practices/" target="_blank" rel="noopener"><em>Nederlandstalige versie</em></a></p>
<p style="text-align: justify;">Dans cet article, nous illustrons la problématique à laquelle répond la gestion des Master Data (« Master Data Management (MDM) »). Nous définissons ensuite cette branche de l’informatique sur la base d’exemples et montrons ses liens avec la gouvernance et la gestion de données (“data governance” et “data management”). Nous présentons également une méthode de mise en œuvre ainsi que des architectures associées avec leurs avantages et inconvénients. </p>
<h2>La problématique à résoudre</h2>
<p style="text-align: justify;">La gestion des Master Data vise à résoudre deux types de difficultés.</p>
<p style="text-align: justify;">D’une part, certaines données peuvent être dispersées, dupliquées et hétérogènes dans différentes applications et bases de données (DB) sémantiquement liées entre elles.</p>
<p style="text-align: justify;">D’autre part, d’une DB à l’autre, les données peuvent diverger (quant au format ou au domaine de définition, par exemple) ou évoluer à des rythmes différents. En conséquence, des problèmes métier graves peuvent se poser. On observe ainsi un manque de traçabilité entre bases de données interdépendantes ou encore, l’absence de données de qualité « AI ready », ce qui constitue un obstacle à la mise en place efficace des projets d’IA croissants à l’heure actuelle.</p>
<p style="text-align: justify;">Les buts de la gestion des Master Data sont donc l’élimination des incohérences et des dysfonctionnements opérationnels ainsi que l’amélioration de la qualité des données et du service rendu.</p>
<h2>Définition et exemples</h2>
<p style="text-align: justify;">Le Master Data Management est davantage une discipline métier qu’un logiciel et repose sur la gouvernance des données et le data management. </p>
<p style="text-align: justify;">La gouvernance des données (“data governance”) est la spécification par la direction de l’institution de plusieurs éléments. Un cadre de responsabilité de haut niveau doit spécifier les modalités de gestion des Master Data (« policy settings »). Celles-ci sont fondamentales pour le business (par exemple&nbsp;: adresse de l&#8217;employeur ou de l&#8217;entreprise) et sont partagées entre plusieurs bases de données. A cette fin, des rôles doivent être identifiés à différents niveaux&nbsp;: gestion métier et technique du MDM, du système de méta-information, de la qualité des données, de l’architecture, … Enfin, une organisation appropriée pour l’évaluation, la création, la consommation et le contrôle des données est mise en place.</p>
<p style="text-align: justify;">Le « data management » permet, sur la base des  « policy settings », de manière itérative et incrémentale, l’identification, la définition et la modélisation des Master Data, via un premier “case study” validé par le métier concerné, en vue d’une approche plus large, ce qui comporte trois axes concommitants.</p>
<p style="text-align: justify;">En premier lieu, un système de méta-information ou glossaire transversal de données à haute valeur ajoutée (« data catalog »<em>)</em> doit être mis en place, sujet à propos duquel nous avons publié un article de blog en français et néerlandais en mars 2025 (6). Le catalogue de données peut aussi gérer les données non partagées entre bases de données et dont la documentation est importante.</p>
<p style="text-align: justify;">En second lieu, une approche focalisée sur la qualité des données (6, 7, 8, 9, 10, 11) doit être mise en place. Elle inclut deux types de méthodes. Les <em>méthodes curatives</em> (9), via des <em>data quality tools</em>, (Batch et Rest API sur le <a href="https://www.ict-reuse.be/fr/service/dataqualityimprovement">catalogue ReUse</a>) permettent de traiter les problèmes (anomalies, présomptions de doublons, adresses à nettoyer,…) quand ils sont déjà présents dans les bases de données. Les <em>méthodes préventives</em> (7, 8, 11) permettent quant à elles de prévenir l’émergence d’anomalies en en détectant la cause (ou les causes) entre institutions et expéditeurs dans les flux d&#8217;information (par exemple, problème d’interprétation de la loi, émergence d’un nouveau concept (mutations de virus, …), définitions incohérentes, bugs, &#8230;) et en les supprimant structurellement à la source, de sorte qu’elles ne se présentent plus/pas dans les bases de données (à venir, voir <a href="https://reuse.smals.be/fr/recherche-resultats">Catalogue ReUse</a>).</p>
<p style="text-align: justify;">La figure ci-dessous illustre les deux méthodes schématiquement, lesquelles peuvent interagir entre elles.</p>
<p style="text-align: justify;"><img loading="lazy" decoding="async" class="alignleft size-full wp-image-17749" src="/wp-content/uploads/2022/09/CuratifPreventif-e1663237978615.png" alt="" width="1094" height="620" srcset="https://www.smalsresearch.be/wp-content/uploads/2022/09/CuratifPreventif-e1663237978615.png 1094w, https://www.smalsresearch.be/wp-content/uploads/2022/09/CuratifPreventif-e1663237978615-300x170.png 300w, https://www.smalsresearch.be/wp-content/uploads/2022/09/CuratifPreventif-e1663237978615-1024x580.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2022/09/CuratifPreventif-e1663237978615-768x435.png 768w" sizes="auto, (max-width: 1094px) 100vw, 1094px" /></p>
<p style="text-align: justify;"> </p>
<p style="text-align: justify;">Enfin, en troisième lieu, un système de Master Data Management assure le choix d’une intégration entre les DB concernées et le catalogue de données (ou système de méta-information), il existe différentes architectures, que nous verrons plus loin.</p>
<p style="text-align: justify;">Ces étapes importantes permettront de gérer transversalement des données synchronisées dans différents projets et applications. L’objectif de l’approche MDM est de mutualiser les efforts et d’assurer la synchronisation, la qualité, le partage et le contrôle des données à travers les différents silos. Et ce, quasiment en temps réel ou en mode différé (quand un workflow d’approbation s’impose pour la validation des modifications et des versions).</p>
<p style="text-align: justify;">Par exemple (2, 5)&nbsp;: le MDM permettra de traiter les cas où deux termes différents sont utilisés dans le même sens et doivent être harmonisés (<em>montant à payer</em>, <em>montant dû</em>) ou encore, ceux où un même terme peut avoir plusieurs sens différents (ainsi, <em>salaire</em> peut signifier <em>salaire brut</em>, <em>salaire de base</em>, <em>salaire et traitements</em>, ou encore, <em>salaire net</em>, …). Dans notre contexte belge, il faudra prendre également en considération l&#8217;harmonisation entre les termes des différentes langues usitées, ce qui est un facteur de complexité supplémentaire. En effet, il n&#8217;y a pas de relation biunivoque nécessaire, pour un concept donné, entre les différents termes des différentes langues nationales.</p>
<p style="text-align: justify;">Plus rigoureusement, on distingue des données suivantes dans le cadre du MDM (pour plus de facilté, nous parlerons par la suite de Master Data)&nbsp;:</p>
<ul>
<li style="list-style-type: none;">
<ul>
<li><em>Master Data</em> &nbsp;: le plus petit nombre d’ensembles cohérents d’identifiants et d’attributs qui décrivent de manière unique les entités principales d’une institution ou d’une entreprise et sont utilisés dans plusieurs bases de données et processus métier liés conceptuellement et fonctionnellement entre eux.</li>
<li><em>Data “non master”</em>&nbsp;: donnée (provisoirement) non partagée par plus d’une base de données à un instant t (exemple fictif&nbsp;: nom de l’ouvrier affilié à l’ONVA, Office National des Vacances Annuelles &#8211; prélève et redistribue les pécules des ouvriers)</li>
<li><em>Reference Data</em>&nbsp;:  taxonomies, listes de codes partagés (exemple&nbsp;: codes pays) – <em>bijlage – annexes dans les glossaires de la sécurité sociale</em></li>
<li><em>Operationnal Data</em>&nbsp;: données sensibles potentiellement constituées des trois premières et d’un traitement confidentiel, demandant un échange sécurisé (exemple&nbsp;: le montant de prestations de maladie professionnelles dues au travailleur T, dont le n° de RN est &#8230; pour l&#8217;instant t.).</li>
</ul>
</li>
</ul>
<h2>Master Data Management&nbsp;: méthode de mise en oeuvre</h2>
<p style="text-align: justify;">Sachant qu’un projet de Master Data Management est avant tout un projet métier, avant la mise en place d’un système informatique, il comporte les étapes suivantes souvent itératives (1, 3, 4)&nbsp;: </p>
<ul style="text-align: justify;">
<li>Définir l’étendue du projet (commencer par un projet “modeste” essentiel, qui peut être incrémental et itératif, “nice to have”)</li>
<li>Définir un agenda haut niveau (planning) de mise en œuvre, projet continu (conception et maintenance) soutenu par la hiérarchie, ce qui inclut les points suivants&nbsp;:</li>
<li>Mettre du relief (analyse), et identifier&nbsp;:
<ul>
<li>Les utilisateurs des données, leurs objectifs</li>
<li>Les sources authentiques</li>
<li>Les concepts principaux, et les Master Data (identifiant unique, catégories principales, …). Attention&nbsp;: des compromis sont parfois nécessaires, le choix des Master Data n’est pas nécessairement déterministe</li>
<li>Les événements/processus pouvant affecter les Master Data (mise à jour, partage, et suppression, dus à l’évolution de la législation ou du réel appréhendé – par exemple&nbsp;: mutations de virus et évolution des concepts en médecine, …)</li>
<li>l’organisation associée (p. ex. workflow de validation)</li>
<li>La gestion des versions des Master Data et des métadonnées (6)</li>
<li>La qualité des données&nbsp;: évaluation et amélioration (6, 7, 8, 9, 10, 11) – voir supra</li>
<li>La sécurité et la vie privée</li>
</ul>
</li>
<li>Définir des KPI ou métriques pour valider, mesurer et suivre les résultats de l’approche MDM, par exemple&nbsp;: 
<ul>
<li>Baromètres de qualité DmfA: suivi des anomalies, indicateurs financiers (AR-KB 2017), … (11)</li>
<li>Mesures de la traçabilité entre bases de données sémantiquement liées entre elles.</li>
</ul>
</li>
<li>Établir de façon incrémentale, comme évoqué plus haut, un référentiel ou glossaire des données ou système de méta-information (6) en retenant les fonctionnalités importantes pour une mise en production ultérieure&nbsp;:
<ul>
<li>Gestion des versions (planning) des Master Data et des métadonnées (législation évolutive, durée de prescription, force probante, émergence de nouveaux concepts, …)</li>
<li>workflow de validation</li>
<li>Multilinguisme</li>
<li>Héritage</li>
<li>Standard et format d’échange (« Write Once Publish Many”)</li>
<li>Recherche multibase et multilingue</li>
</ul>
</li>
<li>Établir une stratégie d’évolution, de gestion du changement pour le passage de la situation antérieure ou actuelle (« AS IS ») à la situation à venir (« TO BE »)</li>
<li>Établir des rôles et des équipes business et IT (MDM, Data Quality, Architecture, …)</li>
<li>Définir les standards (recommandé pour l’analyse&nbsp;: (12))</li>
<li>Établir une méthode d’intégration des bases de données concernées ; via le référentiel ou glossaire transversal des données, ce que nous allons voir au point suivant&nbsp;: les architectures d’intégrations, avec leurs avantages et inconvénients sur le plan&nbsp;:
<ul>
<li>de la qualité des données (10)</li>
<li>de la sécurité et de la vie privée</li>
<li>de la performance</li>
<li>du caractère plus ou moins intrusif dans les systèmes d’information concernés</li>
</ul>
</li>
</ul>
<h2 style="text-align: justify;">Architectures d&#8217;intégration entre bases de données et data catalogs éventuellement liés, avec leurs avantages et inconvénients </h2>
<p>Les schémas qui suivent sont adaptés de (5) et modifiés selon les solutions actuelles (1, 2, 3, 4)</p>
<h3>1. Les répertoires virtuels </h3>
<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-23031" src="/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172500A.png" alt="" width="862" height="453" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172500A.png 862w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172500A-300x158.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172500A-768x404.png 768w" sizes="auto, (max-width: 862px) 100vw, 862px" /></p>
<p style="text-align: justify;">Avec un Répertoire virtuel, l&#8217;annuaire des données (au centre du schéma, en rouge) permet, en fonction d&#8217;une base de connaissance sur les autorisations de consultation, le transfert des données des bases de données sources vers les consommateurs. Il y a des similarité avec la BCSS qui est un réseau stellaire permettant l&#8217;échange de données entre institutions. S&#8217;agissant de la sécurité sociale, les consommateurs de données peuvent consulter un glossaire des données (ou &#8220;data catalog&#8221; dans le schéma) au fil des versions, en ligne sur le portail de la sécurité sociale (6). <em>Il s&#8217;agit d&#8217;une bonne solution dans le contexte évoqué.</em></p>
<ul>
<li style="text-align: justify;"><em>Avantages</em>&nbsp;: respect de la vie privée, sécurité, les bases de données sources ne doivent pas être modifiées</li>
<li style="text-align: justify;"><em>Désavantages </em>: questions de performance éventuelles, les producteurs de données doivent partager leur data catalog, l’unifier, en assurer la mise à jour au même rythme et le rendre accessible aux consommateurs.   </li>
</ul>
<h3>2. la consolidation</h3>
<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-23032" src="/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172600B.png" alt="" width="927" height="491" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172600B.png 927w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172600B-300x159.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172600B-768x407.png 768w" sizes="auto, (max-width: 927px) 100vw, 927px" /></p>
<p style="text-align: justify;">Dans la consolidation, les bases de données sources sont copiées dans une base de données commune en une seule fois (&#8220;one shot&#8221;). Aucun &#8220;data catalog&#8221; ne se trouve sur le schéma car la base de données commune est ensuite désynchronisée des bases de &#8220;données sources&#8221; qu&#8217;elle est censée représenter. <em>Cette solution n&#8217;est pas conseillée</em><strong>.</strong> Elle fut appliquée par le passé à la gestion des bons de cotisations en soins de santé, puis abandonnée. </p>
<ul>
<li style="text-align: justify;"><em>Avantages</em>&nbsp;: simple pour les producteurs de données&nbsp;: les bases de données sources ne doivent pas être modifiées</li>
<li style="text-align: justify;"><em>Désavantages</em>&nbsp;: les bases de données sources et leur data catalog peuvent évoluer à leur propre rythme et la base de donnée commune à un autre rythme (“ghost factory”, source de redondance)&nbsp;: des problèmes se posent au niveau de la qualité des données &#8220;consolidée&#8221;, partager un “data catalog commun” n’a plus de sens</li>
</ul>
<h3>3. La coopération</h3>
<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-23033" src="/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172635C.png" alt="" width="1010" height="468" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172635C.png 1010w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172635C-300x139.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172635C-768x356.png 768w" sizes="auto, (max-width: 1010px) 100vw, 1010px" /></p>
<p style="text-align: justify;"><span style="color: #000000;">Avec la coopération, les bases de données sources partagent les &#8220;Master Data&#8221; communes dans une nouvelle base de données et continuent à gérer leurs données qui ne sont pas communes. Pour les données communes qui sont gérées en un seul exemplaire (donc, sans redondance), un</span><span style="color: #000000;"> &#8220;data catalog&#8221; est mis à disposition de tous les consommateurs de données et mis à jour de manière collégiale par les producteurs de données. <em>Il s&#8217;agit d&#8217;une bonne solution si les bases de données sources demandent une restructuration parce que, par exemple, elles sont devenues obsolètes techniquement et conceptuellement.</em></span></p>
<ul>
<li style="text-align: justify;"><em>Avantages</em>&nbsp;: les Master Data sont accessibles en un endroit unique (ce qui est bon pour la qualité des données) et leur &#8220;data catalog&#8221; est commun, la partie accessible pour les consommateurs de données est diffusée. Le respect de la vie privée et la sécurité sont assurés. Chaque producteur de données continue à gérer les données qui lui sont propres et ne sont pas partagées.</li>
<li style="text-align: justify;"><em>Désavantages</em>&nbsp;: les bases de données sources doivent être restructurées, questions de performance éventuelles</li>
</ul>
<h3>4. La centralisation</h3>
<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-23035" src="/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172738D.png" alt="" width="962" height="523" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172738D.png 962w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172738D-300x163.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/07/Schermafbeelding-2025-07-04-172738D-768x418.png 768w" sizes="auto, (max-width: 962px) 100vw, 962px" /></p>
<p> </p>
<p style="text-align: justify;">Avec la centralisation, les bases de données sources partagent leurs Master Data dans une nouvelle base de données unique sur laquelle les producteurs de données n&#8217;ont plus seuls le pouvoir. Cette nouvelle base de données est gérée selon une organisation collégiale coordonnée et imposée aux producteurs de données. Un seul &#8220;data catalog&#8221; en définit le contenu harmonisé (on le voit représenté en rouge dans le schéma et à l&#8217;extérieur, accessible à toutes les parties, producteurs et consommateurs). Ce « data catalog » est également géré de manière collégiale et coordonnée, imposée aux producteurs de données.</p>
<p style="text-align: justify;"><span style="color: #000000;"> <em>Pour les raisons évoquées (dans les inconvénients ci-dessous), au sein du domaine d&#8217;application de l&#8217;administration publique, cette solution n&#8217;est pas conseillée</em>. Elle est parfois pratiquée dans le secteur privé au sein d&#8217;une multinationale, par exemple (elle fut appliquée dans les années 1990 chez <em>AT&amp;T Laboratories</em> aux USA).</span></p>
<ul>
<li style="text-align: justify;"><em>Avantages</em><strong> : </strong>les Master Data et leur catalogue sont accessibles en un endroit unique (ce qui est bon pour la qualité des données) et leur data catalog est commun</li>
<li style="text-align: justify;"><em>Inconvénients </em>: les bases de données sources doivent être restructurées et perdent leur pouvoir sur les données dont elles avaient la gestion seules, il y a des<span style="color: #000000;"> questions potentiellement graves de vie privée, de sécurité et de performance (beaucoup de requêtes)</span></li>
</ul>
<h2>Conclusions provisoires </h2>
<p style="text-align: justify;">En ce qui concerne les architectures proposées (et toutes les étapes préalables illustrées dans cet article étant prises en compte), <span style="color: #3366ff;"><span style="color: #000000;">le répertoire virtuel avec &#8220;data catalog</span>&#8220;</span> semble la meilleure solution. Si un (<em>reengineering</em>) de bases de données source est requis,<span style="color: #000000;"> la coopération</span> peut-être envisagée. </p>
<p style="text-align: justify;"><span style="color: #000000;">Dans un prochain article de blog sur le Master Data Management, nous envisagerons les &#8220;lessons learned&#8221; en Belgique et à l&#8217;étranger sur le recours aux Master Data Management selon les outils et les méthodes de mise en oeuvre, ainsi qu&#8217;une typologie des MDM Tools avec un regard critique et constructif. </span></p>
<h2>Références</h2>
<p style="text-align: justify;">(1) DUBOIS P. et al. (University of Paris), <em>Harnessing Data Integrity: A Study of Master Data Management Best Practices</em>. MZ Computing Journal, vol 5, issue 1, 2023.</p>
<p style="text-align: justify;">(2)<em> Hype Cycle for Data and Analytics Governance 2025</em>, Gartner, 19 June 2025 &#8211; ID G00827117.</p>
<p style="text-align: justify;">(3) LEPENIOTIS P, <em>Master data management: its importance and reasons for failed implementations</em>. Doctoral Thesis, Sheffield Hallam University Press, 2020 (3 vol.).</p>
<p style="text-align: justify;">(4) SINGH A. et al., <em>Best Practices for Creating and Maintaining Material Master Data in Industrial Systems</em> In International journal of research and analytical reviews, vol 10, issue 1, Janvier 2023.</p>
<p style="text-align: justify;">(5) TRIGAUX J.-C., <a href="https://www.smalsresearch.be/master-data-management-mise-en-place-dun-referentiel-de-donnees/"><em>Master Data Management &#8211; Mise en place d’un référentiel de données</em></a>. Bruxelles,  Smals Research, Deliverable 2009/TRIM4/01. </p>
<p style="text-align: justify;">(6) BOYDENS I., <a href="/au-coeur-de-la-data-governance-les-data-catalogs-ou-systemes-de-meta-information/">Au coeur de la “data governance”: les “data catalogs” ou systèmes de méta-information</a>, Bruxelles, Smals Research, article de blog, 19/03/2025 (<em>inclut un lien vers la version néerlandaise</em>).</p>
<p style="text-align: justify;">(7) BOYDENS I., HAMITI G. et VAN EECKHOUT R<em>., A service at the heart of database quality. Presentation of an ATMS prototype</em>. In Le Courrier des statistiques, Paris, INSEE, 2023, n°6, 11 p. (publié le 2/10/2023). <a href="https://www.insee.fr/en/information/7673386?sommaire=7673393">Lien vers l&#8217;article.</a></p>
<p style="text-align: justify;">(8) BOYDENS I., HAMITI G. et VAN EECKHOUT R., <a href="/data-quality-anomalies-transactions-management-system-atms-prototype-work-in-progress/">Data Quality&nbsp;: &#8220;Anomalies &amp; Transactions Management System&#8221; (ATMS), prototype &amp; &#8220;work in progress&#8221;</a>, Bruxelles, Smals Research, article de blog, 02/12/2020, last update 04/07/2025.<em> (inclut un lien vers la version néerlandaise</em>).</p>
<p style="text-align: justify;">(9) BOYDENS I., CORBESIER I. et HAMITI G., <a href="/data-quality-tools-retours-dexperience-et-nouveautes/">Data Quality Tools&nbsp;: retours d&#8217;expérience et nouveautés</a>, Bruxelles, Smals Research, article de blog, 07/12/2021.</p>
<p style="text-align: justify;">(10) BOYDENS I., <a href="/dix-bonnes-pratiques-pour-ameliorer-et-maintenir-la-qualite-des-donnees/">Dix bonnes pratiques pour améliorer et maintenir la qualité des données</a>, Bruxelles, Smals Research, article de blog, 16/06/2014, last update&nbsp;: décembre 2021.</p>
<p style="text-align: justify;">(11) BOYDENS I., <a href="/data-quality-back-tracking-depuis-les-premieres-experimentations-a-la-parution-dun-arrete-royal/">Data Quality &amp; Back Tracking&nbsp;: depuis les premières expérimentations à la parution d&#8217;un Arrêté Royal</a>, Bruxelles, Smals Research, article de blog, 14/05/2018.</p>
<p style="text-align: justify;">(12) XLS et le fichier FedVoc publié sur le GitHub de BelgIF <a href="https://github.com/belgif/fedvoc">GitHub – </a><a href="https://github.com/belgif/fedvoc">belgif</a><a href="https://github.com/belgif/fedvoc">/</a><a href="https://github.com/belgif/fedvoc">fedvoc</a><a href="https://github.com/belgif/fedvoc">: Federal Vocabularies</a></p>
<hr />
<p style="text-align: justify;"><em>Ce post est une contribution d’Isabelle Boydens, Data Quality Expert chez Smals Research. Cet article est écrit en son nom propre et n’impacte en rien le point de vue de Smals</em></p>
<p style="text-align: justify;"> </p>
<h2>Annexe (3)</h2>
<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-22991" src="/wp-content/uploads/2025/07/image-1.png" alt="" width="1486" height="892" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/07/image-1.png 1486w, https://www.smalsresearch.be/wp-content/uploads/2025/07/image-1-300x180.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/07/image-1-1024x615.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/07/image-1-768x461.png 768w" sizes="auto, (max-width: 1486px) 100vw, 1486px" /></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Data Quality</title>
		<link>https://www.smalsresearch.be/talk-data-quality/</link>
		
		<dc:creator><![CDATA[Smals Research]]></dc:creator>
		<pubDate>Wed, 11 Jun 2025 09:25:42 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[[NL]]]></category>
		<category><![CDATA[News]]></category>
		<category><![CDATA[Research talks]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">/?p=22891</guid>

					<description><![CDATA[Derde Research Talk.   
Interview met Isabelle Boydens van Smals Research over Data Quality.]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><strong>(FR)</strong> Entretien avec <a href="/author/boydens/" target="_blank" rel="noopener">Isabelle Boydens</a> de Smals Research sur la qualité des données. À propos de l’importance de la qualité des données pour Smals et les organisations gouvernementales pour lesquelles Smals travaille. À propos des défis, des approches et des développements. Troisième conférence d&#8217;une série de Research talks.</p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="wp-block-paragraph"><strong>(NL)</strong> Interview in het Frans (NL ondertitels beschikbaar) met <a href="/author/boydens/" target="_blank" rel="noreferrer noopener">Isabelle Boydens</a> van Smals Research over Data Quality. Over het belang van data quality voor Smals en de overheidsorganisaties waarvoor Smals werkt. Over uitdagingen, aanpak en evoluties. Derde gesprek in een reeks van Research talks.</p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="wp-block-paragraph"><strong>(EN)</strong> Interview in French (EN subtitles available) with <a href="/author/boydens/" target="_blank" rel="noreferrer noopener">Isabelle Boydens</a> from Smals Research about Data Quality. About the importance of data quality for Smals and the government institutions Smals works for. About challenges, approach and evolutions. Third conversation in a series of Research talks.</p>



<figure class="wp-block-embed is-type-rich is-provider-embed-handler wp-block-embed-embed-handler wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe loading="lazy" title="ResearchTalk - Data Quality" width="500" height="281" src="https://www.youtube.com/embed/rdbXJoqlBg4?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Data Ingestion (LLMs) &#038; Data quality (FNRS, ULB, le 21 mai 2025 à 13H30)</title>
		<link>https://www.smalsresearch.be/data-ingestion-llms-data-quality-fnrs-ulb-le-21-mai-2025-a-13h30/</link>
		
		<dc:creator><![CDATA[Smals Research]]></dc:creator>
		<pubDate>Wed, 30 Apr 2025 07:56:56 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[News]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">/?p=22479</guid>

					<description><![CDATA[Cette année on abordera le processus de "data ingestion" de l'information pour alimenter l'IA generative ou les LLMs.]]></description>
										<content:encoded><![CDATA[
<p>La prochaine réunion du groupe de contact FNRS « <a href="https://www.frs-fnrs.be/fr/financements/diffusion-et-echanges/groupes-de-contact/91-fr/nos-financements/mobilite-fnrs/groupes-de-contact/103-sciences-appliquees" target="_blank" rel="noopener">Analyse critique et amélioration de la qualité de l’information numérique</a> » se tiendra le <strong>mercredi 21 mai 2025 à 13h30</strong> à l’<a href="https://www.ulb.be/" target="_blank" rel="noopener">Université libre de Bruxelles</a> (auditoire AY 2 108, <a href="https://www.ulb.be/fr/plans-et-acces/solbosch" target="_blank" rel="noopener">bâtiment A campus du Solbosch</a>).</p>
<p><strong>Le thème de cette année abordera le processus de &#8220;data ingestion&#8221; à savoir les différentes étapes pour acheminer en batch ou en temps réel de l&#8217;information pour alimenter l&#8217;IA generative ou les LLMs avec une gestion des versions.</strong></p>
<p>L&#8217;oratrice, <a href="/author/Fokou/"><strong>Katy Fokou</strong></a>, diplômée en sciences appliquées et cognitives (Université de Liège et Université d&#8217;Edinburgh, Faculté d’informatique) et membre de la section &#8220;recherche&#8221; de Smals, est spécialisée en IA. Elle présentera une conférence intitulée&nbsp;: <strong><em>« Qualité des données dans le processus d’ingestion pour les grands modèles de langage&nbsp;: pratiques et défis ».</em></strong></p>
<p>Sa conférence portera sur le processus de &#8220;data ingestion&#8221; à savoir les différentes étapes pour acheminer en batch ou en temps réel de l&#8217;information pour alimenter l&#8217;IA generative ou les LLMs (qu’utilisent, par exemple, Chat GPT, Gemini, Co-Pilot, …) avec une gestion des versions, incluant toutes les questions liées à la qualité des données mais aussi aux biais (de genre, de race, …) à traiter ainsi que leur impact sur les technologies concernées. Elle envisagera les moyens pratiques de les maîtriser.<br /><br />Cet exposé d&#8217;une heure environ sera introduit par <strong><a href="https://isabelle-boydens.web.ulb.be/">Isabelle Boydens.</a>, </strong>présidente du groupe de Contact FNRS &#8220;<em>Analyse critique et amélioration de la qualité de l&#8217;information numérique</em>&#8220;.</p>
<p>La conférence sera suivie d&#8217;une table ronde, animée par <a href="https://max.de.wilde.web.ulb.be/"><strong>Max De Wilde</strong></a>. Une réception dans le patio clôturera la réunion à 15h35 où les échanges pourront se poursuivre.<br /> </p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>Programme complet et informations utiles sur le site du <a href="https://mastic.ulb.ac.be/2025/03/reunion-du-groupe-de-contact-fnrs-analyse-critique-et-amelioration-de-la-qualite-de-linformation-numerique-12/"><strong>Ma en STIC (Sciences et technologies de l&#8217;information et de la communication)</strong></a></li>
<li>Mise à jour du 23 mai 2025<strong style="font-size: revert; color: initial;">&nbsp;: </strong>vous pouvez désormais consulter <a style="font-size: revert;" href="https://mastic.ulb.ac.be/wp-content/uploads/2025/05/FNRS2025IB.pdf" type="attachment" id="4395">l’introduction d’Isabelle Boydens</a> et <a style="font-size: revert;" href="https://mastic.ulb.ac.be/wp-content/uploads/2025/05/data_and_ai.pdf" data-type="attachment" data-id="4396">la présentation de Katy Fokou</a></li>
</ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>.</ul>
</li>
</ul>
<p> </p>


]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>De kern van data governance: &#8216;data catalogs&#8217; of Metadata Management Systemen</title>
		<link>https://www.smalsresearch.be/de-kern-van-data-governance-datacatalogs-of-meta-informatiesystemen/</link>
		
		<dc:creator><![CDATA[Isabelle Boydens]]></dc:creator>
		<pubDate>Wed, 26 Mar 2025 08:47:16 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[data catalog]]></category>
		<category><![CDATA[data governance]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[egov]]></category>
		<category><![CDATA[Information management]]></category>
		<category><![CDATA[metainformation system]]></category>
		<guid isPermaLink="false">/?p=22101</guid>

					<description><![CDATA[Met de toenemende complexiteit van applicaties is datadocumentatie van vitaal belang voor goed datagovernance.]]></description>
										<content:encoded><![CDATA[
<p><a href="/au-coeur-de-la-data-governance-les-data-catalogs-ou-systemes-de-meta-information/" target="_blank" rel="noopener"><em>Version en français</em></a></p>



<p class="wp-block-paragraph">Met de opkomst en toenemende complexiteit van IT-toepassingen is het documenteren van data en programma&#8217;s meer dan ooit van vitaal belang voor een goed &#8216;<strong>data governance</strong>&#8216;, ongeacht de betrokken sector.</p>



<p class="wp-block-paragraph">Begin jaren 2000 hebben we meegewerkt aan het opzetten van de glossaria van de sociale zekerheid en hebben we de verdere ontwikkeling ervan gevolgd. De concepten in deze blogpost zijn ons dus niet onbekend, aangezien sommige kenmerken sinds de jaren 2000 niet zijn veranderd.</p>



<p class="wp-block-paragraph">Na het definiëren van het concept van een “<strong>data catalog</strong>” of “<strong>metadata management systeem</strong>”, schetsen we de organisatie, belangrijkste functies [1] en best practices. Ter afsluiting stellen we een reeks generaliseerbare methodologische aanbevelingen op.</p>



<p class="has-medium-font-size wp-block-paragraph"><strong><strong>Metadata Management Systeem</strong> of “Data Catalog”: definitie en beheerstrategie</strong></p>



<p class="wp-block-paragraph">“Meta-informatie” wordt vaak gedefinieerd als “informatie over informatie”. We hanteren hier de volgende definitie: een metadata management systeem is een geautomatiseerd documentair systeem ontworpen om een set informatie of data te beschrijven, te interpreteren en zo het beheer ervan te vergemakkelijken. Dergelijke systemen gebruiken is van strategisch belang wanneer informatie een instrument is om actie op de realiteit te ondernemen [2].</p>



<p class="wp-block-paragraph">Een metadata management systeem behoort tot de managementstrategie. De bijbehorende kosten komen voort uit analyse, ontwerp, ontwikkeling of aanschaf van software en onderhoud. De verwachte winsten zijn een betere interpretatie van de informatie, gemakkelijker hergebruik van reeds bestaande toepassingen, een grotere geloofwaardigheid van het systeem en lagere beheerkosten (correcties achteraf in de database, vergoeding van schade veroorzaakt door de verspreiding van onjuiste gegevens, etc.)[3].</p>



<p class="has-medium-font-size wp-block-paragraph"><strong>Metadata Management Systeem of “Data Catalog”: functies</strong></p>



<p class="wp-block-paragraph"><strong>Data Ingestion, Rollen, IAM, beheer van de regels</strong></p>



<p class="wp-block-paragraph">We presenteren achtereenvolgens de volgende functionaliteiten: rollen en impact, beheer van meertalige velden, versiebeheer, implementatie van overervingsmechanismen, toepassing van het WOPM-concept (<em>Write Once Publish Many</em>), standaarden, Graph Databases, publicatie als een REST API, multibasezoeksysteem, deployment van een workflow voor documentvalidatie (eventueel inclusief gesuperviseerde Machine Learning in de Data Catalogs) en een paar woorden over de software.</p>



<p class="wp-block-paragraph">Een Data Catalog moet automatisch gevoed of vergeleken worden met andere gerelateerde systemen: dit staat bekend als “data ingestion”. Zo werden in het begin van de jaren 2000 de glossaria van de sociale zekerheid gecreëerd, waarin de uitwisseling van informatie tussen de RSZ en de dienstverleners enerzijds en de werkgevers of erkende sociale secretariaten anderzijds werd gedocumenteerd. Deze glossaria werden gevoed met de eerste basisinformatie, die toen gestructureerd werd in Word, met behulp van een PERL-programma. Er bestaan andere, modernere methoden hiervoor, afhankelijk van de context.</p>



<p class="wp-block-paragraph">Een Data Catalog is bedoeld voor IT- en business managers die verantwoordelijk zijn voor het beheer van databases, bijvoorbeeld via een portaal dat toegankelijk is voor burgers voor het elektronisch indienen van aangiften bij de overheid. Het doel is dat iedereen op een gemeenschappelijke basis werkt. Hierbij worden toegangsrechten beheerd via een IAM.</p>



<p class="wp-block-paragraph">Het doel van dit metadata management systeem is om de daaropvolgende procedures voor het invoeren, vertalen en valideren van documentatie gedeeltelijk te automatiseren, de integriteit ervan te versterken en de versies ervan te beheren in overeenstemming met juridische wijzigingen. De bedoeling is om “de kennis en de processen die deze genereren” te modelleren. Het woordenboek bevat daarom zowel beschrijvende informatie (bijvoorbeeld het definitiedomein van een veld) als functionele informatie (bijvoorbeeld de formele specificatie van controles om inkomende aangiften te testen). Bovendien kunnen de schema&#8217;s van uitgewisselde berichten tussen burgers en de overheid of andere partijen worden gegenereerd vanuit de Data Catalog.</p>



<p class="wp-block-paragraph"><strong>Beheer van meertalige velden</strong></p>



<p class="wp-block-paragraph">Technische documentatie moet verdeeld worden in de verschillende nationale talen. Hetzelfde geldt in elke supranationale context. Gecontroleerde meertalige tabellen (gevalideerd door vertalers, juristen en IT) maken het mogelijk om bij de inbreng van de definities de informatie te integreren in één taal en de equivalenten in de andere talen te bekomen. Dit alles kan indien nodig op specifiek niveau worden ingevuld (zie hieronder: <em>overerving</em>). Op die manier wordt de manuele werkbelasting geminimaliseerd, wordt het inbrengproces versneld en wordt de coherentie van het geheel versterkt.</p>



<p class="wp-block-paragraph"><strong>Versiebeheer</strong></p>



<p class="wp-block-paragraph">Versiebeheer is fundamenteel op administratief gebied [3]. De wetgeving wijzigt vaak en alle opeenvolgende versies moeten ten minste gedurende de verjaringstermijn worden bewaard (bij het behandelen van achterstallige betalingen is het bijvoorbeeld essentieel om eerdere definities uit de database te kunnen halen, aangezien geregistreerde verklaringen de wettelijke status van “bewijskracht” hebben, d.w.z. dat ze als “bewijs” kunnen worden gebruikt in een rechtsprocedure). Het is daarom cruciaal om precies vast te stellen welke wijzigingen er in elke nieuwe versie zijn aangebracht ten opzichte van de vorige. Deze “delta” wordt overigens verspreid onder het standaardformaat, zodanig dat de wijzigingen semigestructureerd geïntegreerd kunnen worden in de toepassingen die de databases omkaderen. Elk item dat de beschrijving van gegevens voor een bepaalde versie specificeert, verwijst naar het corresponderende bestand (in de door de gebruiker gekozen taal) met details van de gewijzigde velden ten opzichte van de direct voorgaande versie, inclusief de geschiedenis van verwijderde documenten.</p>



<p class="wp-block-paragraph"><strong>Validatieworkflow (en supervised ML)</strong></p>



<p class="wp-block-paragraph">Vanwege de juridische, sociale en financiële belangen die op het spel staan, moet elke nieuwe versie worden gevalideerd door de betrokken IT- en juridische experts. Om deze validatie te structureren, begeleidt een workflowsysteem de implementatie van de Data Catalog. Dit maakt deel uit van een jaarlijks updateschema waarin de perioden voor bijwerking, validatie, acceptatie en productie nauwkeurig zijn vastgelegd. De workflow wordt centraal “gestuurd&#8221; door een team dat zich aan deze taak wijdt en ontplooit zich op gedecentraliseerde wijze, zoals bijvoorbeeld in het kader van het extranet van de sociale zekerheid (Figuur 1). Telkens een nieuwe versie aangemaakt wordt, wordt de historiek bijgehouden van de uitwisselingen tussen de verschillende verantwoordelijken, zodat men het interpretatieproces kan opvolgen. Aan de hand van een view kunnen de beheerders het aantal “<em>fiats</em>” volgen dat vereist is voor de publicatie van een nieuwe versie. Dit biedt een overzicht van verschillende onderling verbonden Data Catalogs.</p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/02/image-4.png"><img loading="lazy" decoding="async" width="976" height="397" src="/wp-content/uploads/2025/02/image-4.png" alt="" class="wp-image-21851" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/02/image-4.png 976w, https://www.smalsresearch.be/wp-content/uploads/2025/02/image-4-300x122.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/02/image-4-768x312.png 768w" sizes="auto, (max-width: 976px) 100vw, 976px" /></a></figure>



<p class="wp-block-paragraph"><a href="/wp-content/uploads/2025/02/image-4.png"></a></p>



<p class="wp-block-paragraph"><em>Figuur 1. Documentatie over de glossaria van de sociale zekerheid: IT- en bedrijfsworkflow</em></p>



<p class="wp-block-paragraph">Daarnaast zijn er <em>nu ook gecontroleerde supervised ML-functies</em> met menselijke tussenkomst om metadatawijzigingen te valideren op basis van wijzigingen aan de data (op voorwaarde dat deze eerst zijn gevalideerd door de bedrijfsregels van de corresponderende databases, om te voorkomen dat metadata worden gegenereerd op basis van onjuiste gegevens).</p>



<p class="wp-block-paragraph"><strong>Overerving en hergebruik in een meertalige context</strong></p>



<p class="wp-block-paragraph">Het metadata management systeem kan ontworpen zijn om enkele tientallen administratieve databases te documenteren met een groot aantal gemeenschappelijke velden, waarvan sommige kenmerken identiek zijn (bijvoorbeeld formaat) en andere verschillend (bijvoorbeeld verplichte of optionele aard van een veld). Een overervingsmechanisme moet daarom geïntegreerd worden.</p>



<p class="wp-block-paragraph">Overerving (Figuur 2) wordt gedefinieerd als de relatie tussen een generieke klasse A (die we hier “stereotype” noemen of algemeen vocabulaire dat weinig evolueert) en al zijn instanties <em>{a<sub>1</sub>, a<sub>2</sub>, &#8230;</em><em>a<sub>n</sub>}</em>, waarbij de properties (p<em><sub>1</sub></em>, p<em><sub>2</sub></em>, &#8230;p<em><sub>k</sub></em>) van klasse A een subset zijn van de properties van elk object dat uit klasse A wordt geïnstantieerd. Tijdens de instantiëring kan deze subset van generieke eigenschappen worden aangevuld met een andere subset van eigenschappen die specifiek zijn voor elke instantie (p<em><sub>1+pa1</sub></em>, p<em><sub>2+pa2</sub></em>, &#8230;p<em><sub>k+pan</sub></em>). Dit mechanisme kan worden toegepast op een willekeurig aantal “meta”-niveaus.</p>



<figure class="wp-block-image size-full is-resized"><a href="/wp-content/uploads/2025/01/image-15.png"><img loading="lazy" decoding="async" width="672" height="469" src="/wp-content/uploads/2025/01/image-15.png" alt="" class="wp-image-21842" style="width:501px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/01/image-15.png 672w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-15-300x209.png 300w" sizes="auto, (max-width: 672px) 100vw, 672px" /></a></figure>



<p class="wp-block-paragraph"><a href="/wp-content/uploads/2025/01/image-15.png"></a><em>Figuur 2. Documentatie over de glossaria van de sociale zekerheid: overervingsprincipe</em></p>



<p class="wp-block-paragraph">De waarden van de generieke properties (“naam”&#8217;, “definitiedomein”, “beschrijving”, “type”, “lengte”) van het stereotype “rekeningnummer” worden dus opgeslagen in een “gecontroleerde” tabel van generiek gestructureerde data, vooraf vertaald en gevalideerd door de juristen en IT.</p>



<p class="wp-block-paragraph">De generieke en specifieke waarden worden vervolgens samengevoegd tot een semigestructureerd veld. Deze functionaliteiten bieden voordelen in termen van updatetijd (elke generieke waarde moet slechts eenmaal gecodeerd worden)&nbsp; en in termen van consistentie. Het systeem garandeert dat gemeenschappelijke data dezelfde waarden krijgen en voorkomt menselijke fouten die inherent zijn aan handmatige invoering.</p>



<p class="wp-block-paragraph"><strong>WOPM (<em>Write Once Publish Many</em>), Standaarden, Graph Database en publicatie in de vorm van REST API</strong></p>



<p class="wp-block-paragraph">De toepassing omvat gestructureerde lijsten (postcodes, activiteitencategorieën, …) die in de praktijk verspreid moeten worden voor documentaire doeleinden (in de geest van een metadata management systeem) maar ook met het oog op het testen van de aangiften gestuurd door de burgers en die opgeslagen zijn in de databases. Om aan beide te voldoen, moet de toepassing worden ontworpen volgens het WOPM-concept (“Write Once Publish Many”), zodat dezelfde gestructureerde tabel (bijvoorbeeld een lijst met postcodes) automatisch in verschillende formaten wordt gegenereerd: voor mensen leesbare en voor machines leesbare formaten. Dezelfde bron kan zo gebruikt worden binnen onderling afhankelijke toepassingen.</p>



<p class="wp-block-paragraph">Vandaag bestaan er, met de komst van het “Semantische Web”, talrijke standaarden op dit gebied. Sommige bieden generieke syntaxis voor het gebruik van metadata, zoals <a href="https://op.europa.eu/en/web/eu-vocabularies/dcat-ap">DCAT</a>, een EU-aanbeveling. Op technisch niveau kunnen deze standaarden worden aangevuld met XML of JSON, die vooral handig zijn voor het samenvoegen van tabellen (Figuur 4), en andere formaten.</p>



<p class="wp-block-paragraph">Een graph database (Figuur 3) brengt de status van relaties tussen verschillende datacatalogi in beeld, en het deel van de metadata dat al dan niet compleet is. Afhankelijk van hoe volledig ze zijn, kun je beslissen of je een datacatalogus wel of niet publiceert in de vorm van een REST API binnen een instelling (Figuur 3).</p>



<p><img loading="lazy" decoding="async" class="alignleft size-full wp-image-21826" src="/wp-content/uploads/2025/01/image-9.png" alt="" width="870" height="539" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/01/image-9.png 870w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-9-300x186.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-9-768x476.png 768w" sizes="auto, (max-width: 870px) 100vw, 870px" /></p>



<p class="wp-block-paragraph"><a href="/wp-content/uploads/2025/01/image-9.png"></a><em>Figuur 3. Gebruik van een graph database om de volledigheid te controleren van een Data Catalog &#8211; Bron: </em><a href="https://www.collibra.com/"><em>Collibra website</em></a></p>



<p class="wp-block-paragraph">De Data Catalog kan worden gepubliceerd in de vorm van een REST API en zelf andere REST API&#8217;s hosten of aansluiten op reeds bestaande commerciële software. Bepaalde standaarden, zoals de hierboven genoemde JSON (afbeelding 4), vergemakkelijken deze koppelingen aan (1).<a href="/wp-content/uploads/2025/01/image-12.png"></a></p>



<figure class="wp-block-image size-full"><a href="/wp-content/uploads/2025/01/image-12.png"><img loading="lazy" decoding="async" width="594" height="464" src="/wp-content/uploads/2025/01/image-12.png" alt="" class="wp-image-21830" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/01/image-12.png 594w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-12-300x234.png 300w" sizes="auto, (max-width: 594px) 100vw, 594px" /></a></figure>



<p class="wp-block-paragraph"><em>Figuur 4. Voorbeeld van het koppelen van twee metadatasystemen via JSON (Bron zie opmerking 3)</em></p>



<p class="wp-block-paragraph"><strong>Multibase zoeksysteem</strong></p>



<p class="wp-block-paragraph">Een “multibase” zoeksysteem (Figuur 5) moet worden opgezet, waarmee “full text” kan worden gezocht in het geïntegreerde documentensysteem op basis van specifieke parameters met behulp van Booleaanse logica, evenals sorteer- en filtersystemen. De output van de zoekfunctie kan in verschillende formaten worden gepresenteerd, afhankelijk van het beoogde gebruik (menselijk leesbaar of machinaal leesbaar).</p>



<figure class="wp-block-image size-full is-resized"><a href="/wp-content/uploads/2025/01/image-8.png"><img loading="lazy" decoding="async" width="993" height="759" src="/wp-content/uploads/2025/01/image-8.png" alt="" class="wp-image-21824" style="width:544px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/01/image-8.png 993w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-8-300x229.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/01/image-8-768x587.png 768w" sizes="auto, (max-width: 993px) 100vw, 993px" /></a></figure>



<p class="wp-block-paragraph"><a href="/wp-content/uploads/2025/01/image-8.png"></a><em>Figuur 5. Voorbeeld van multibase, multilingual en multifield searches met opties (bron: social security glossaries)</em></p>



<p class="wp-block-paragraph"><strong>Voortdurende beoordeling en onderhoud van de kwaliteit van gegevens en metadata</strong></p>



<p class="wp-block-paragraph">Het handhaven van de kwaliteit van data en metadata is van fundamenteel belang. Er zijn twee complementaire benaderingen. We kunnen werken met een complete data quality tool om problemen aan te pakken die al aanwezig zijn in de databases, inclusief profilering-, standaardiserings- en matchingfuncties (<a href="file:///BOYDENS%20I.,%20CORBESIER%20I.%20et%20HAMITI%20G.,&nbsp;Data%20Quality%20Tools%20:%20retours%20d'expérience%20et%20nouveautés,%2007/12/2021.">curatieve aanpak</a>). Om te voorkomen dat dezelfde fouten zich ad infinitum bij de bron herhalen, kunnen we gebruik maken van <a href="https://www.insee.fr/en/information/7673386?sommaire=7673393">backtracking en ATMS</a> (<a href="file:///BOYDENS%20I.,%20HAMITI%20G.%20et%20VAN%20EECKHOUT%20R.,%20Data%20Quality:%20%22Anomalies%20&amp;%20Transactions%20Management%20System%22%20(ATMS),%20prototype%20&amp;%20%22work%20in%20progress%22,%2002/12/2020">preventieve aanpak</a>), bedacht bij Smals Research om de oorzaken van kwaliteitsproblemen bij de bron op te lossen (<a href="https://www.ict-reuse.be/fr/recherche-resultats">zie ReUse-catalogus</a>). De kwaliteit van data en de bijbehorende metadata continu verbeteren is cruciaal (zie het <a href="https://www.smals.be/nl/wat-we-doen/competentiecentra/data-quality">competentiecentrum Data Quality’ op de Smals-website</a>, inclusief REST API&#8217;s uit de <a href="https://www.ict-reuse.be/">Smals Software ReUse-catalogus</a>) (5).</p>



<p class="wp-block-paragraph"><strong>Software</strong></p>



<p class="wp-block-paragraph">Op <strong><em>softwareniveau</em></strong> bestaan er buiten “<em>home made”</em>-oplossingen zoals de glossaria van de sociale zekerheid, waarnaar verschillende figuren van deze blogpost verwijzen, ook “open source” development environments zoals <a href="https://egeria-project.org/?ref=ihc-interactivesection-hc">Egeria</a> die ontwikkelingen vereisen, of commerciële instrumenten zoals <a href="https://www.collibra.com/products/data-catalog">Collibra</a>, <a href="https://atlan.com/p/data-catalog/?device=c&amp;location=9195606&amp;utm_term=data%20catalog&amp;utm_campaign=o1dc_info_gs_roe&amp;utm_source=adwords&amp;utm_medium=ppc&amp;hsa_acc=2847088672&amp;hsa_net=adwords&amp;hsa_grp=158179028309&amp;hsa_ver=3&amp;hsa_kw=data%20catalog&amp;hsa_tgt=kwd-1253084802&amp;hsa_mt=p&amp;hsa_ad=690036047692&amp;hsa_src=g&amp;hsa_cam=20998657589&amp;gad_source=1&amp;gclid=EAIaIQobChMIr6yon-OdiwMVOzkGAB3_HQSXEAAYASAAEgLI0fD_BwE">Altan</a>, <a href="https://www.ibm.com/products/information-governance-catalog">Infosphere</a>, &#8230;</p>



<p class="has-medium-font-size wp-block-paragraph"><strong>Metadata Management Systeem: methodologische aanbevelingen &nbsp;</strong></p>



<p class="wp-block-paragraph">De metadata management systemen hebben drie potentiële hinderpalen. De eerste hangt samen met het feit dat deze systemen oneindig uitbreidbaar zijn. Dit is voornamelijk het geval wanneer in te vullen velden “vrij” zijn, waarbij de natuurlijke taal zijn eigen metataal is. Dit brengt aanzienlijke beheerkosten met zich mee wanneer er een groot aantal manuele updates zijn. De tweede valkuil bestaat erin dat de metadata zelf foutief en onzeker kunnen zijn: wanneer ze contextueel zijn, kan de validatie ervan niet aan strikte integriteitsbeperkingen worden onderworpen. De derde hinderpaal hangt samen met het tijdsverschil tussen de bijwerking van een data en van de bijbehorende metadata, waarbij deze laatste, vooral als het voorkomt onder tekstuele vorm, meestal pas aangemaakt wordt op het einde van een min of meer lange analysefase.</p>



<p class="wp-block-paragraph">Zo roepen verschillende auteurs de onlosmakelijke praktische problemen op die het “misbruik” van metadata met zich meebrengt in een doortastende communicatie “<em>The Metadata Myth” </em><a href="#_ftn4">[4]</a><em>.</em> Wat betreft geospatiale databases die worden beheerd door het Bureau of Census en de National Aeronautics and Space Administration (NASA) resulteerde de implementatie van een federaal metadatasysteem waarvoor elk nieuw record de integratie van ongeveer 300 metadata vereiste, in de volgende problemen: buitensporige kosten in termen van personeel en middelen, zware updates, esoterische documentatie en, ten slotte, een aanzienlijke vermindering van de data-uitwisseling. NASA heeft dit systeem echter niet verlaten, maar wel vereenvoudigd en geherstructureerd.</p>



<p>Op basis van onze ervaring op dit gebied stellen wij de volgende vijf aanbevelingen voor:</p>



<ul class="wp-block-list">
<li>Identificeer een minimumset van verplichte metadata.</li>



<li>Geef voorkeur aan automatisch gegenereerde meta-informatie (of bijvoorbeeld op basis van lijsten van gecontroleerde waarden), deze informaties zijn immers minder “duur” in termen van updates en zijn daarbij ook betrouwbaarder (cfr. supervised ML onder de hierboven aangegeven voorwaarden).</li>



<li>Creëer verschillende niveaus van metadata, aangepast aan verschillende toepassingen (generieke en specifieke metadata, bijvoorbeeld).</li>



<li>Leg directe verbanden tussen gedocumenteerde toepassingen en de bijbehorende metagegevens (principe van integriteit en consistentie).</li>



<li>Pas KPI&#8217;s toe gedurende de gehele levenscyclus van de Data Catalog om verschillende belangrijke statistieken te monitoren, zoals het raadplegingspercentage voor verschillende delen van de Data Catalog (6).</li>
</ul>



<p class="wp-block-paragraph">Naast de toepassing die in dit artikel wordt gepresenteerd, zijn deze aanbevelingen van toepassing op elke empirische database waarvan de interpretatie strategisch is, als instrument om te handelen op de werkelijkheid, en dus op elke “Data Catatog”.</p>



<p class="wp-block-paragraph"><em>Deze blogpost werd geschreven door Isabelle Boydens, Data Quality Expert bij Smals Research. Dit artikel is geschreven onder haar eigen naam en weerspiegelt op geen enkele wijze de standpunten van Smals.</em></p>



<hr class="wp-block-separator has-alpha-channel-opacity"/>



<p class="wp-block-paragraph">[1] O. Olesen-Bagneux, <em>The Entreprise Data Catalog&nbsp;:Improve Data Discovery, Ensure Data Governance, and Enable Innovation.</em> Boston, O&#8217;Reilly, 2023.</p>



<p class="wp-block-paragraph"><a href="#_ftnref1">[</a>2] “In mei 1999, tijdens haar interventie in Kosovo, bombardeerde de NAVO per ongeluk de Chinese ambassade in Belgrado: de cartografische databanken die toen gebruikt werden om raketten te leiden, gaven een verouderde en dus onbruikbare kaart van de stad weer” BOYDENS I., L&#8217;océan des données et le canal des normes.”&nbsp; In CARRIEU-COSTA M.-J., BRYDEN A. en COUVEINHES P. eds, Les Annales des Mines, Reeks &#8220;Responsabilité et Environnement&#8221; (themanummer: &#8220;La normalisation&nbsp;: principes, histoire, évolutions et perspectives&#8221;), Paris, n° 67, juli 2012, p. 22-29 (<a href="https://isabelle-boydens.web.ulb.be/annales.pdf">link naar het artikel</a>&nbsp;&#8211;&nbsp;<a href="https://www.annales.org/re/2012/re_67_juillet_2012.html">Inhoud van nummer 67 van Annales des Mines</a>).</p>



<p class="wp-block-paragraph">[3] Marcus Christie, Suresh Marru, Sudhakar Pamidighantam, Isuru Ranawaka, and Dimuthu Wannipurage. 2023. <em>Airavata Data Catalog: A Multi-tenant Metadata Service for Efficient Data Discovery and Access Control. </em>In <em>Practice and Experience in Advanced Research Computing</em> (PEARC ’23), July 23–27, 2023, Portland, OR, USA. ACM, New York, NY, USA https://doi.org/ 10.1145/3569951.3597572</p>



<p class="wp-block-paragraph">[4]Foreman T. W., Wiggins H. V., Porter D.L., <em>Metadata Myth&nbsp;: Misunderstanding the Implications of Federal Metadata Standards</em>. <em>Proceedings of the First IEEE Metadata Conference</em>. Maryland: IEEE, 1996 (http://www.llnl.gov/liv_comp/metadata/ieee-md.4-96.html).</p>



<p class="wp-block-paragraph">[5] BOYDENS I., &#8220;<em>Strategic Issues Relating to Data Quality for E-government: Learning from an Approach Adopted in Belgium</em>&#8220;. In ASSAR S., BOUGHZALA I. en BOYDENS I., eds., &#8220;Practical Studies in E-Government: “Best Practices from Around the World&#8221;, New York, Springer, 2011, p. 113-130 (<a href="https://books.google.be/books?id=DzZk-Riel_MC&amp;pg=PA113&amp;lpg=PA113&amp;dq=Isabelle+Boydens&amp;source=bl&amp;ots=tvh3D5fX6_&amp;sig=RBEI35wYjdFzYi13LpEIQc63OGY&amp;hl=fr&amp;ei=QQP4TOiXA4uShAeUmbHnAg&amp;sa=X&amp;oi=book_result&amp;ct=result&amp;resnum=1&amp;ved=0CBYQ6AEwADgo#v=onepage&amp;q&amp;f=false">hoofdstuk 7</a>). BOYDENS I., HAMITI G. en VAN EECKHOUT R., A service at the heart of database quality. Presentation of an ATMS prototype. In Le Courrier des statistiques, Parijs, INSEE, 2023, nr. 6, 11 p. (gepubliceerd op 2/10/2023).&nbsp;<a href="https://www.insee.fr/en/information/7673386?sommaire=7673393">Link naar het artikel.</a></p>



<p class="wp-block-paragraph">[6] <a href="https://ieeexplore.ieee.org/author/871573943652700">Asmae Boufassil</a>;&nbsp;<a href="https://ieeexplore.ieee.org/author/672334240177954">Fadwa Bouhafer</a>;&nbsp;<a href="https://ieeexplore.ieee.org/author/822997910164517">Mohamed Cherradi</a>;&nbsp;<a href="https://ieeexplore.ieee.org/author/37085666963">Anass El Haddadi</a>, <em>Data Catalog: Approaches, Trends, and Future Directions</em>. In <a href="https://ieeexplore.ieee.org/xpl/conhome/10472709/proceeding">17th International Conference on Signal-Image Technology &amp; Internet-Based Systems (SITIS)</a>, <strong>&nbsp; IEEE<em>:</em></strong> 21 March 2024, <strong>DOI:&nbsp;</strong><a href="https://doi.org/10.1109/SITIS61268.2023.00067">10.1109/SITIS61268.2023.00067</a></p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
