<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Vandy Berten &#8211; Smals Research</title>
	<atom:link href="https://www.smalsresearch.be/author/berten/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.smalsresearch.be</link>
	<description></description>
	<lastBuildDate>Fri, 16 Oct 2026 14:20:07 +0000</lastBuildDate>
	<language>en-GB</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.4</generator>

<image>
	<url>https://www.smalsresearch.be/wp-content/uploads/2026/01/cropped-cropped-Smals_Research-150x150.png</url>
	<title>Vandy Berten &#8211; Smals Research</title>
	<link>https://www.smalsresearch.be</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Data Quality: utiliser le potentiel géographique</title>
		<link>https://www.smalsresearch.be/data-quality-utiliser-le-potentiel-geographique/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Fri, 16 Oct 2026 11:22:42 +0000</pubDate>
				<category><![CDATA[Presentations]]></category>
		<category><![CDATA[data quality]]></category>
		<category><![CDATA[GIS]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30716</guid>

					<description><![CDATA[Présentation données lors de la conférence FOSS4G 2026 (15/10/2026, Bruxelles, Tour-et-Taxi ; https://www.foss4g.be/) N&#8217;importe quelle source de données pose des problèmes de qualité. Il existe de nombreuses méthodes, généralement basées sur des comparaisons de chaînes de caractères, pour détecter et traiter les problèmes dans les bases de données relationnelles classiques. Mais exploiter les données géographiques [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Présentation données lors de la conférence FOSS4G 2026 (15/10/2026, Bruxelles, Tour-et-Taxi ; <a href="https://www.foss4g.be/">https://www.foss4g.be/</a>)</p>



<p class="wp-block-paragraph">N&#8217;importe quelle source de données pose des problèmes de qualité. Il existe de nombreuses méthodes, généralement basées sur des comparaisons de chaînes de caractères, pour détecter et traiter les problèmes dans les bases de données relationnelles classiques. Mais exploiter les données géographiques comme des points ou des polygones avec des techniques d&#8217;analytique spatiale permet d&#8217;identifier des erreurs impossible à détecter avec des méthodes classiques. Pour illustrer ces méthodes, nous partons des données de BeSt Address avec des librairies Python Open Source (geopandas, shapely…).</p>



<div data-wp-interactive="core/file" class="wp-block-file"><object data-wp-bind--hidden="!state.hasPdfPreview" hidden class="wp-block-file__embed" data="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf" type="application/pdf" style="width:100%;height:600px" aria-label="Embed of 2026-10-15 BeStAddressAnomalies_FOSS4G."></object><a id="wp-block-file--media-20bd4585-7f29-4afa-ab9b-d9b5ef9897d9" href="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf">2026-10-15 BeStAddressAnomalies_FOSS4G</a><a href="https://www.smalsresearch.be/wp-content/uploads/2026/10/2026-10-15-BeStAddressAnomalies_FOSS4G.pdf" class="wp-block-file__button wp-element-button" download aria-describedby="wp-block-file--media-20bd4585-7f29-4afa-ab9b-d9b5ef9897d9">Download</a></div>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Generatieve AI: nuttig voor het opschonen van gegevens?</title>
		<link>https://www.smalsresearch.be/generatieveai-nuttig-voor-het-opschonen-van-gegevens/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Wed, 23 Sep 2026 06:33:52 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30246</guid>

					<description><![CDATA[Na een eerste ervaring met het analyseren van een dataset hebben we ons gericht op een fundamenteel aspect: de kwaliteit van de gegevens. Met een rigoureuze en systematische aanpak hebben we onderzocht hoe tools als ChatGPT, Gemini, Copilot, Claude en Mistral presteerden wanneer het niet langer alleen ging om het analyseren van gegevens, maar ook om het opschonen ervan. ]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em>Cet article est aussi disponible&nbsp;en&nbsp;<a href="https://www.smalsresearch.be/lia-generative-utile-pour-nettoyer-des-donnees/" data-type="post" data-id="30005">français</a>.</em></p>



<p class="wp-block-paragraph">Na een <a href="https://www.smalsresearch.be/talk-to-your-data-met-chatgpt/">eerste ervaring met de analyse van een dataset</a> met behulp van tools voor generatieve AI (GenAI), die indrukwekkende resultaten opleverde, hebben wij ons gericht op een fundamenteel aspect voor elke data-analist, met name in de sector van de administratieve data: de kwaliteit van de data. Door een rigoureuze en systematische aanpak te hanteren, hebben wij geanalyseerd hoe tools zoals ChatGPT, Gemini, Copilot, Claude of Mistral presteerden wanneer het niet langer alleen gaat om data analyseren, maar ook om deze op te schonen. Voor dit experiment hebben wij gekozen voor een type data dat wij goed kennen (<a href="https://www.smalsresearch.be/data-quality-en-geografische-gegevens/">1</a>, <a href="https://www.smalsresearch.be/waarom-is-een-belgisch-adres-ingewikkeld/">2</a>): adressen in België. Er bestaan uiteraard tools die specifiek bedoeld zijn voor het opschonen van adressen, of zelfs voor <a href="https://www.smalsresearch.be/geocode-welke-tool-voor-welke-behoefte/">geocodering</a>. Maar het leek ons relevant om de voordelen en nadelen van deze nieuwe categorie tools te evalueren.</p>



<figure class="wp-block-gallery alignright has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png"><img fetchpriority="high" decoding="async" width="1024" height="529" data-id="30057" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png" alt="" class="wp-image-30057" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-300x155.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-768x397.png 768w" sizes="(max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Net als in <a href="https://www.smalsresearch.be/bepelias-een-lokale-geocoder-gebaseerd-op-best-address/">vorige blogposts</a> zijn wij uitgegaan van een <a href="https://kbopub.economie.fgov.be/kbo-open-data/login?lang=nl">dataset</a> afkomstig van de Kruispuntbank van Ondernemingen. Meer bepaald hebben wij gebruikgemaakt van een oudere dataset uit 2016, aangezien de kwaliteit van de bron inmiddels aanzienlijk is verbeterd; maar om de prestaties van een opschoonprogramma te beoordelen, is het beter om niet uit te gaan van data die al te &#8220;schoon” zijn. Een vaatwasmachine test men immers niet met reeds gewassen bestek&#8230; Deze dataset bevatte +/- 266.000 adressen, grotendeels in het Frans, van ondernemingen in het Brussels Hoofdstedelijk Gewest.</p>



<p class="wp-block-paragraph">Wij hebben twee benaderingen geprobeerd:</p>



<ul class="wp-block-list">
<li>Bij gebruik van de chat-versies worden alle adressen in CSV-formaat verzonden, vergezeld van een prompt die wij hieronder nader zullen toelichten. Deze vraagt in hoofdzaak om ”deze adressen te standaardiseren&#8221; en om, naast een Excel-bestand met het resultaat, een Python-script te verstrekken waarmee dit kan worden gereproduceerd. In deze post beschrijven wij deze aanpak.</li>



<li>Bij gebruik van de API wordt een reeks batches verzonden met adressen (in JSON), met instructies die in grote lijnen vergelijkbaar zijn met die van de eerste benadering, maar dan vereenvoudigd. Deze benadering zal in een volgende post aan bod komen.</li>
</ul>



<p class="wp-block-paragraph">Wij hebben ons verschillende vragen gesteld:</p>



<ul class="wp-block-list">
<li>Was het proces eenvoudig, of ging het gepaard met hindernissen?</li>



<li>Werden de instructies nageleefd?</li>



<li>Was het proces stabiel, of, met andere woorden, krijgen we hetzelfde resultaat als we hetzelfde verzoek met een tussenpoos van enkele uren herhalen?</li>
</ul>



<p class="wp-block-paragraph">De grootste uitdaging bij onze aanpak was het definiëren van de juiste prompt. Het uitgangspunt was om één “Markdown”-bestand aan te leveren dat alle instructies bevatte die wij toegepast wilden zien.</p>



<p class="wp-block-paragraph">Het databestand bevatte een reeks kolommen voor de volgende verschillende gegevens: “straat“ (StreetFR), ”huisnummer“ (HouseNumber), “postcode“ (Zipcode), ”gemeente“ (MunicipalityFR). Veel adressen zijn echter onjuist ingevoerd. Bijvoorbeeld:</p>



<ul class="wp-block-list">
<li>Het huisnummer staat in het veld &#8220;straat“, aan het begin (&#8220;20 Avenue Fonsny&#8221;) of aan het einde (&#8220;Avenue Fonsny 20&#8221;)</li>



<li>De namen zijn afgekort (&#8220;Av. Fonsny&#8221;, &#8220;A FONSNY&#8221;&#8230;)</li>



<li>De hoofdlettergebruik is niet uniform (&#8220;Avenue Fonsny&#8221;, &#8220;AVENUE FONSNY&#8221;)</li>



<li>Er bestaan meerdere varianten van dezelfde straat (&#8220;Boulevard Albert II&#8221;, &#8220;Boulevard du Roi Albert II&#8221;, &#8220;Boulevard Albert 2&#8243;&#8230;)</li>



<li>Indien het huisnummer niet relevant is, bestaan er talrijke manieren om dit aan te geven: &#8220;SN&#8221; (sans numéro), &#8220;ZN&#8221; (zonder nummer), &#8220;S/N&#8221;, &#8220;?&#8221;, &#8220;*&#8221;&#8230;</li>
</ul>



<h2 class="wp-block-heading">Instructies</h2>



<p class="wp-block-paragraph">In het instructiebestand hebben wij twee opschoningsfasen gedetailleerd beschreven. De eerste bestond uit het afzonderlijk analyseren van elke regel. De tweede vereiste het vergelijken van &#8220;vergelijkbare&#8221; records onderling om varianten en typfouten te identificeren.</p>



<h3 class="wp-block-heading">Fase 1: opschoning</h3>



<p class="wp-block-paragraph">In de eerste opschoningsfase moeten er drie nieuwe kolommen aangemaakt worden: &#8220;StreetFR_cleansed&#8221; en &#8220;HouseNumber_cleansed&#8221;, om daarin de opgeschoonde versie van de data uit &#8220;StreetFR&#8221; en &#8220;HouseNumber&#8221; op te nemen, evenals &#8220;ExtraInfo_cleansed&#8221;, om daarin de informatie op te nemen die volgens de tool noch deel uitmaakt van de straatnaam, noch van het huisnummer (bijvoorbeeld een verdieping).</p>



<p class="wp-block-paragraph">Wat het huisnummer betreft, vragen wij (onder andere) het volgende:</p>



<ul class="wp-block-list">
<li>Het uit het veld &#8220;StreetFR&#8221; te halen indien het daar voorkomt, waarbij diverse voorbeelden worden gegeven;</li>



<li>Het te standaardiseren, zodat er bijvoorbeeld niet de ene keer &#8220;10 a&#8221;, de andere keer &#8220;10A&#8221; of &#8220;10/A&#8221; staat:</li>
</ul>



<p class="wp-block-paragraph">Wat betreft de straatnaam vragen wij het volgende:</p>



<ul class="wp-block-list">
<li>De afkortingen van voorvoegsels uit te breiden, voornamelijk in het Frans: &#8220;Av.&#8221;, &#8220;Blvd&#8221;, &#8220;Chée&#8221;&#8230; ;</li>



<li>Alles in “title case” te zetten, waarbij ervoor wordt gezorgd dat lidwoorden en voegwoorden in kleine letters blijven: &#8220;Rue des Chats&#8221;, &#8220;Avenue de l’Indépendance&#8221;&#8230; ;</li>



<li>Ervoor te zorgen dat Romeinse cijfers in hoofdletters blijven: &#8220;Boulevard Léopold II&#8221;, &#8220;Rue Charles VI&#8221;&#8230;</li>
</ul>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructies voor fase 1</em></summary>
<p class="wp-block-paragraph"><em>In this first cleansing phase, your task is to create a cleansed copy of columns StreetFR and HouseNumber, which will be named &#8220;HouseNumber_cleansed&#8221;, &nbsp;&#8220;StreetFR_cleansed&#8221;. An additionnal column &#8220;ExtraInfo_cleansed&#8221; will also be created.</em></p>



<p class="wp-block-paragraph"><em>In &#8220;HouseNumber_cleansed&#8221;, you will:</em></p>



<ul class="wp-block-list">
<li><em>In case of the format &#8220;20 A FONSNY&#8221; in StreetFR (all in upper case ; one number, one space, one letter in &#8216;A&#8217;, &#8216;R&#8217;, &#8216;C&#8217;, &#8216;B&#8217;, &#8216;S&#8217; or &#8216;P&#8217;, one space, several letters or spaces): extract the number in &#8216;HouseNumber_cleansed&#8217; ; Do the following street type replacement: A=Avenue ; R=Rue ; C=Chaussée ; B=Boulevard ; S=Square ; P=Place</em></li>



<li><em>Extract housenumber from &#8220;StreetFR&#8221; if needed, put in &#8220;ExtraInfo_cleansed&#8221; additionnal information which doesn&#8217;t seem to be part of the house number. Extract number only at the beginning of the string (&#8220;20 Avenue Fonsny&#8221;) or at the end (&#8220;Avenue Fonsny 20&#8221; or &#8220;Avenue Fonsny, 30&#8221;), possibly followed by one letter (&#8220;Avenue Fonsny 20 A&#8221;), or with ranges (&#8220;Avenue Fonsny 20-22&#8221; or &#8220;Avenue Fonsny 20/22&#8221;), or with a box number indication (&#8220;Avenue Fonsny 20 bus 3&#8221;, &#8220;Avenue Fonsny 20 box 3&#8221;, &#8220;Avenue Fonsny 20 bt 3&#8221;, &#8220;Avenue Fonsny 20 bte 3&#8221;, &#8220;Avenue Fonsny 20 boite 3&#8221;).</em></li>



<li><em>If you have to extract a housenumber &#8220;num1&#8221; from &#8220;StreetFR&#8221; but &#8220;HouseNumber&#8221; already contains a value &#8220;num2&#8221;, keep them both in &#8220;HouseNumber_cleansed&#8221;&nbsp;: &#8220;num2 / num1&#8221;</em></li>



<li><em>Standardise in a safe way the housenumber. For instance, &#8220;20A&#8221;, &#8220;20 A&#8221;, &#8220;20a&#8221; or &#8220;20/A&#8221; should become &#8220;20A&#8221;. But do not replace &#8220;20/22&#8221; by &#8220;2022&#8221;</em></li>



<li><em>Many values represent &#8220;no number&#8221;&nbsp;: &#8220;SN&#8221; (Sans numéro, in French), &#8220;ZN&#8221; (Zonder nummer, in Dutch), &#8220;S/N&#8221;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others. Replace them by an empty string</em></li>
</ul>



<p class="wp-block-paragraph"><em>In &#8220;StreetFR_cleansed&#8221;, you will&nbsp;:</em></p>



<ul class="wp-block-list">
<li><em>Standardise street names by expanding abbreviations. For instance &#8220;Av Fonsny&#8221;, &#8220;Av. Fonsny&#8221;, &#8220;Av.Fonsny&#8221; or &#8220;A Fonsny&#8221; should all become &#8220;Avenue Fonsny&#8221;. Use several variants&nbsp;: Avenue (Av, Ave, A), Chaussée (Ch, chée), Boulevard (B, Bd, blvd, bvd), Rue (R), Place (Pl), Square (Sq). Replace those pattern only at the begining of the sentence, or if they are only preceded by numbers. Replacement should always be followed by a space.</em></li>



<li><em>Trim heading or leading spaces, and collapse consecutive spaces.</em></li>



<li><em>As described in the previous section, extract housenumber and put them in HouseNumber_cleansed</em></li>



<li><em>Set all words in title case, excepts determiner (le, la, les, du, des, aux, de&#8230;).</em></li>



<li><em>Roman numbers should be in uppercase</em></li>



<li><em>Remove all variants of &#8220;no number&#8221; (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others), at the end of the string and isolated (Not in &#8220;FonSNy&#8221;)</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Fase 2: deduplicatie</h3>



<p class="wp-block-paragraph">In deze tweede fase proberen wij varianten van dezelfde straatnaam te identificeren. Als wij bijvoorbeeld voor dezelfde postcode &#8220;Rue V. Horta&#8221; in het ene record en &#8220;Rue Victor Horta&#8221; in een ander record aantreffen, dan behouden wij de meest volledige versie voor de dataset. Het instructiebestand bevat talrijke toelichtingen en voorbeelden (zoals bijvoorbeeld dat &#8220;Boulevard Léopold II&#8221; niet mag worden samengevoegd met &#8220;Boulevard Léopold III&#8221;), waarop wij hier niet nader zullen ingaan.</p>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructies voor fase 2</em></summary>
<p class="wp-block-paragraph"><em>In this second phase, you will be more aggressive in the cleansing of street names, and take more risks. Output of this second phase will be in column &#8220;StreetFR_cleansed2&#8221;. This column will be computed starting from &#8220;StreetFR_cleansed&#8221; and will:</em></p>



<ul class="wp-block-list">
<li><em>If an initial can be expanded from other values within the same zipcode, do it. For instance&nbsp;: &#8220;rue V. Horta, 1160 Auderghem&#8221; in one record, &#8220;rue Victor Horta, 1160 Auderghem&#8221; in another, keep the longest one for both. In this case, the extension from an initial to a full name should be the only change. Do not map &#8220;Avenue V. Horta&#8221; to &#8220;Rue Victor Horta&#8221;. Do not map &#8220;Rue V. Van Horta&#8221; to &#8220;Rue Victor Van Fonsny&#8221;.</em></li>



<li><em>Within different street names sharing the same zip, cluster spelling variants, keeping in &#8220;StreetFR_cleansed2&#8221; the most frequent value. For instance, if we have, for zipcode 1060, 100 times &#8220;Avenue Fonsny&#8221; and once &#8220;Avenue Fonsmy&#8221; or &#8220;Avenue Fonsni&#8221;, keep &#8220;Avenue Fonsny&#8221; in StreetFR_cleansed2.</em></li>



<li><em>Before comparing strings, always remove street type (Avenue, Boulevard, Rue, Place, Square, Chaussée&#8230;) at the beginning of the street name. But do not map a street on a street with another street type.</em></li>



<li><em>Similarity should be at least 0.9</em></li>



<li><em>If the only difference between two street names is a diacritic symbol or punctuation, keep the most frequent one even if they don&#8217;t share the same zipcode&nbsp;: &#8220;Chaussée de Wavre&#8221; vs &#8220;Chaussee de Wavre&#8221; or &#8220;Chaussée de Wavre,&#8221;</em></li>



<li><em>Be aware of roman numbers&nbsp;: &#8220;Boulevard Léopold II&#8221; should not be merged with &#8220;Boulevard Léopold III&#8221;</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Te leveren resultaat</h3>



<p class="wp-block-paragraph">Tot slot wordt het volgende gevraagd:</p>



<ul class="wp-block-list">
<li>Een downloadbare lijst in Excel-formaat leveren, waaraan de berekende kolommen zijn toegevoegd;</li>



<li>Een of meer leesbare en gedocumenteerde Python-scripts generen waarmee de opschoning kan worden uitgevoerd.</li>
</ul>



<h2 class="wp-block-heading">Vergelijking</h2>



<p class="wp-block-paragraph">Wij hebben dezelfde data met hetzelfde Markdown-instructiebestand meerdere keren, met een tussenpoos van enkele uren, aan een reeks tools voorgelegd. Vervolgens hebben wij:</p>



<ul class="wp-block-list">
<li>Elke gegenereerde lijst geanalyseerd om na te gaan of de instructies correct waren opgevolgd;</li>



<li>Twee door dezelfde tool gegenereerde outputs vergeleken om de consistentie van het werk te beoordelen;</li>



<li>Het gegenereerde Python-script uitgevoerd om te controleren of het uitvoerbaar was en inderdaad hetzelfde resultaat opleverde als de output die rechtstreeks door de tool was gegenereerd.</li>
</ul>



<p class="wp-block-paragraph">De tools die wij hebben onderzocht, zijn de volgende:</p>



<ul class="wp-block-list">
<li>ChatGPT (OpenAI, &#8220;Plus&#8221;-abonnement), model GPT 5.6 Thinking;</li>



<li>Gemini (Google, &#8220;Pro&#8221;-abonnement), model 3.1 Pro;</li>



<li>Copilot (Microsoft, &#8220;Base&#8221;-abonnement, gratis), model GPT 5. Daarnaast hebben wij ook een &#8220;Pro&#8221;-versie getest, geïntegreerd in Excel en GitHub</li>



<li>Claude (Anthropic, &#8220;Free&#8221;-abonnement), model Sonnet 5 Medium</li>



<li>Mistral (&#8220;Free&#8221;-abonnement), &#8220;Réflexion&#8221;</li>
</ul>



<p class="wp-block-paragraph">Een eerste blik op elke resultatenlijst geeft een positieve indruk: bij het bekijken van de wijzigingen tussen de in- en outputkolommen lijken deze overwegend relevant. Deze tools “doen dus hun werk”, lijkt het. Maar bij nader inzien is de situatie niet zo rooskleurig.</p>



<h2 class="wp-block-heading">Consistentie</h2>



<p class="wp-block-paragraph">Het eerste aspect dat opvalt, is het gebrek aan consistentie bij de tools. Geen van de tools heeft tijdens de drie opeenvolgende evaluaties dezelfde bewerkingen op de data uitgevoerd (met, laten we dat nogmaals benadrukken, hetzelfde model, dezelfde data en dezelfde prompt). Hieronder staat bijvoorbeeld het percentage wijzigingen tussen de inputstraat en de gewijzigde straat aan het einde van fase 2:</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th></th><th class="has-text-align-right" data-align="right">Test 1</th><th class="has-text-align-right" data-align="right">Test 2</th><th class="has-text-align-right" data-align="right">Test 3</th><th class="has-text-align-right" data-align="right">Delta</th></tr></thead><tbody><tr><td><strong>ChatGPT</strong></td><td class="has-text-align-right" data-align="right">5,44%</td><td class="has-text-align-right" data-align="right">6,97%</td><td class="has-text-align-right" data-align="right">8,41%</td><td class="has-text-align-right" data-align="right">2,97 %</td></tr><tr><td><strong>Gemini </strong></td><td class="has-text-align-right" data-align="right">9,62%</td><td class="has-text-align-right" data-align="right">5,76%</td><td class="has-text-align-right" data-align="right">9,84%</td><td class="has-text-align-right" data-align="right">4,08%</td></tr><tr><td><strong>Copilot</strong></td><td class="has-text-align-right" data-align="right">16,20%</td><td class="has-text-align-right" data-align="right">0,27%</td><td class="has-text-align-right" data-align="right">13,52%</td><td class="has-text-align-right" data-align="right">15,93%</td></tr><tr><td><strong>Claude</strong></td><td class="has-text-align-right" data-align="right">5,28%</td><td class="has-text-align-right" data-align="right">5,22%</td><td class="has-text-align-right" data-align="right">5,30%</td><td class="has-text-align-right" data-align="right">0,08%</td></tr><tr><td><strong>Mistral</strong></td><td class="has-text-align-right" data-align="right">32,22%</td><td class="has-text-align-right" data-align="right">20,69%</td><td class="has-text-align-right" data-align="right">99,79%</td><td class="has-text-align-right" data-align="right">79,10%</td></tr></tbody></table><figcaption class="wp-element-caption">Percentage aangepaste straten door de verschillende iteraties van één en dezelfde tool.</figcaption></figure>



<figure class="wp-block-image alignright size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png"><img decoding="async" width="493" height="320" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png" alt="" class="wp-image-30059" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png 493w, https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1-300x195.png 300w" sizes="(max-width: 493px) 100vw, 493px" /></a></figure>



<p class="wp-block-paragraph">De kolom &#8220;Delta&#8221; geeft het verschil aan tussen de grootste en de kleinste waarde: dit komt dus (vrijwel) overeen met het percentage adressen dat de &#8220;voorzichtigste&#8221; test niet heeft gewijzigd, terwijl de meest &#8220;agressieve&#8221; variant dat wel heeft gedaan. Er is dus een opmerkelijke consistentie waarneembaar tussen de iteraties van Claude, en zelfs van ChatGPT, terwijl Copilot en vooral Mistral bij hetzelfde probleem radicaal andere keuzes lijken te hebben gemaakt.</p>



<p class="wp-block-paragraph">Wat de consistentie betreft: hoewel het over het algemeen volstond om in één enkel verzoek de data en instructies te verzenden om het opgeschoonde bestand en het script direct te kunnen downloaden, was dit niet altijd het geval. Bij de tweede iteratie van Copilot was het gegenereerde script bijvoorbeeld leeg. Er moest &#8220;onderhandeld&#8221; worden (drie opeenvolgende verzoeken) om het uiteindelijk te verkrijgen. In een eerdere fase van ons onderzoek kon Gemini het gevraagde bestand bij een eerste poging correct genereren, maar liep het bij de tweede poging vast: het beweerde dat het onmogelijk was om Pythoncode in zijn omgeving uit te voeren. Hoewel wij hem duidelijk maakten dat hij daar enkele uren eerder nog wel toe in staat was geweest, hielp dat niets. We moesten een nieuwe sessie starten om het opnieuw voor elkaar te krijgen.</p>



<h2 class="wp-block-heading">Uitvoering</h2>



<p class="wp-block-paragraph">Voor elke test hebben we het gegenereerde Pythonscript uitgevoerd en het resultaat ervan vergeleken met de ontvangen lijst.<br>Voor ChatGPT valt er niets te melden: de scripts worden in ongeveer één minuut uitgevoerd en leveren een resultaat op dat strikt identiek is aan de lijst.<br>Voor Claude is het eveneens bijna foutloos: een iets langere uitvoering (+/- 5 minuten), twee iteraties die een strikt conform resultaat opleverden, en één met 12 zeer kleine verschillen, telkens het gevolg van gelijkwaardige alternatieven.<br>Bij Gemini is de balans gemengder: het eerste script raakte verstrikt in een oneindige lus! Het tweede leverde een conform resultaat op, het derde 70 verschillen.<br>Bij Copilot is er nog een probleemstelling: bij één van de tests is het ons simpelweg niet gelukt om het script te verkrijgen. Voor een andere test was het direct beschikbaar, en voor de derde hebben we het na onderhandelingen verkregen. De twee scripts leverden respectievelijk 637 en 810 afwijkende regels op ten opzichte van de bijbehorende lijst.<br>Wat dit aspect betreft, gaat de titel van slechtste leerling naar Mistral (maar, ter herinnering, met een gratis account): het is de enige die nooit direct een lijst heeft kunnen genereren, maar uitsluitend Pythonscripts. Een daarvan was overigens niet uitsluitend in Python geschreven, maar bevatte ook JavaScript-instructies. Nadat wij hem hierop hadden gewezen, heeft Mistral zijn code gecorrigeerd, maar deze was nog steeds niet bruikbaar. Het was pas de derde versie die wij konden laten draaien. Bij een van onze andere tests ontbrak in de code een noodzakelijke &#8220;import&#8221;. Bovendien varieerde de uitvoeringstijd van 6 tot … 50 minuten!</p>



<h2 class="wp-block-heading">Indicatoren</h2>



<p class="wp-block-paragraph">Vervolgens hebben wij de verschillende instructies doorgenomen om te beoordelen in hoeverre deze werden nageleefd.</p>



<h3 class="wp-block-heading">&#8220;Zonder nummer&#8221;</h3>



<p class="wp-block-paragraph">In onze instructies hebben wij zeven waarden opgegeven die overeenkomen met het ontbreken van een nummer in een adres (SN, ZN, S/N, *,&nbsp;?, -, /), waarbij wij aangaven dat er nog andere waren. Sommige hebben er geen enkele geïdentificeerd (tweede Copilot-test), andere tot wel 19 (tweede Claude-test). Geen enkele tool identificeerde bij zijn verschillende iteraties dezelfde waarden.</p>



<h3 class="wp-block-heading">Hoofdletters</h3>



<p class="wp-block-paragraph">We hebben gevraagd om bij de output de hoofdletters van de straatnaam op een enigszins subtiele manier aan te passen: titelhoofdletters (title case, eerste letter van elk woord hoofdletter, de overige letters kleine letters), maar met een extra voorwaarde: de lidwoorden (de, la, des&#8230;) moesten in kleine letters blijven. Het resultaat zou dus “Rue de Sainte-Anne” moeten zijn, en niet “Rue De Sainte-Anne” of “Rue de Sainte-anne”. Wij hebben verschillende situaties waargenomen:</p>



<ul class="wp-block-list">
<li>Het volledig ontbreken van correctie, waarbij de oorspronkelijke hoofdlettergebruik behouden bleef (2e Copilot-test);</li>



<li>Een onjuist gebruik van koppeltekens (“Rue Sainte-anne”) of apostrofs (“Chaussée D’ixelles”). Verrassend, aangezien de “title”-functie van Python “Rue Sainte-Anne” en “Chaussée D’Ixelles” zou hebben geschreven (het was vervolgens “voldoende” om het lidwoord “D” in kleine letters te zetten). Er werden ook enkele inconsistenties binnen één en dezelfde lijst waargenomen, zoals “Sainte-Anne”, maar “Grand-place” of “Eglise-saint-pierre”;</li>



<li>Een van de Mistral-tests leidde tot een erg willekeurige implementatie: elk woord dat begon met een lidwoord (“de”, “la”, maar ook “d” of “l”) werd in kleine letters weergegeven.</li>
</ul>



<h3 class="wp-block-heading">Romeinse cijfers</h3>



<p class="wp-block-paragraph">Naast de hierboven beschreven correctie van hoofdletters en kleine letters hebben wij gevraagd om Romeinse cijfers in hoofdletters te laten staan. Deze komen voornamelijk voor in de namen van Belgische koningen (Albert II, Leopold I, II of III), buitenlandse vorsten (Jozef II, Karel VI&#8230;) of zelfs pausen (Leo XIII). Dit is in bijna alle tools correct geïmplementeerd. Verschillen zijn vooral waarneembaar in de manier waarop grensgevallen worden behandeld:</p>



<ul class="wp-block-list">
<li>In Brussel is er een “Rue Vilain XIIII”. Maar 14 wordt vaak geschreven als “XIV” en niet als “XIIII”. Dit verklaart ongetwijfeld waarom deze straatnaam in bijna de helft van de gevallen is weergegeven als “Rue Vilain Xiiii”;</li>



<li>Woorden als “midi” of “dix” werden door sommige tools als Romeinse cijfers beschouwd en met een hoofdletter geschreven (hoewel “MIDI” geen geldig getal is, in tegenstelling tot “DIX”). Maar aangezien Romeinse cijfers in straatnamen over het algemeen relatief kleine waarden vertegenwoordigen, zou het redelijk kunnen zijn om daarin geen “M” (1000) voor “D” (500) op te nemen. Op basis van deze observatie hebben wij hoofdzakelijk drie implementaties kunnen identificeren:
<ul class="wp-block-list">
<li>Een eenvoudige reguliere expressie waarin de toegestane tekens worden opgesomd: [IVXLCDM]+; dit was het geval bij de eerste iteratie van ChatGPT, Copilot en Mistral. In onze data worden DIX en MIDI dus beschouwd als Romeinse cijfers, maar we kunnen ons ook andere woorden voorstellen (Civil, Mix, Vil, Il, Clic&#8230;.)</li>



<li>Een lijst met aanvaardbare waarden (‘I’, ‘II’, ‘III’, ‘IV’ …), waarvoor Gemini heeft gekozen, of een van de implementaties van CoPilot</li>



<li>Een complexe, veel nauwkeurigere reguliere uitdrukking voor twee implementaties van ChatGPT of Claude, waarbij één daarvan een aanvullende lijst met uitsluitingen bevat (met daarin ‘midi’ en ‘dix’).</li>
</ul>
</li>
</ul>



<h3 class="wp-block-heading">Nummerherkenning</h3>



<p class="wp-block-paragraph">Bij het herkennen van het nummer dat in de straatnaam is opgenomen (“20 Avenue Fonsny”, “Avenue Fonsny 20” of “Avenue Fonsny, 20”) bleek er een grote verscheidenheid aan implementaties te bestaan. Hoewel ChatGPT en Claude geen noemenswaardige moeilijkheden ondervonden, liepen de andere systemen allemaal vast op meer of minder subtiele speciale gevallen. Bijvoorbeeld: twee van de drie pogingen van Gemini faalden bij het herkennen van gevallen zoals “Avenue Fonsny, 20 A”). De tweede iteratie van Copilot haalde geen enkel huisnummer aan het begin eruit, en geen enkele versie kon het geval “&#8230;, 20 A”) herkennen. Mistral laat zeer gemengde resultaten zien.</p>



<h3 class="wp-block-heading">Voorvoegsel</h3>



<p class="wp-block-paragraph">Situaties van het type “Av. Fonsny” of “A Fonsny” (te corrigeren naar “Avenue Fonsny”) werden eveneens op zeer uiteenlopende wijze geïmplementeerd. De derde iteratie van ChatGPT schoot volledig naast de doelstelling. Een “Petite rue des Loups” werd zo “Place Etite Rue des Loups”; “Abbaye de la Cambre” werd omgezet in “Avenue Bbaye de la Cambre”</p>



<h3 class="wp-block-heading">Fase 2</h3>



<p class="wp-block-paragraph">De tweede fase bestond uit het identificeren van kleine varianten tussen twee straatnamen binnen dezelfde postcode, om vervolgens de minst voorkomende waarde te vervangen door de meest voorkomende. Als wij bijvoorbeeld 10 vermeldingen van “Rue Sainte-Anne” en één van “Rue Sainte Anne” tegenkomen , vervangen wij deze laatste door de variant met het koppelteken. De moeilijkheid van deze fase ligt in het bepalen van de methoden en de drempels voor de vergelijking. Hoewel verschillende tests uitstekend zijn verlopen, was dit niet altijd het geval. Er werden met name verschillende “agressieve” fusies waargenomen. Zoals “Rue des Chalets”, gewijzigd in “Rue des Chats”; “Rue des Barques” in “Rue des Briques”, of “Rue des Ramoneurs” in “Rue des Rameurs”. Sommige systemen lijken echter nog toleranter te zijn geweest: Gemini heeft zo “Rue de la Fontaine” veranderd in “Rue de la Montagne”; “Rue Américaine” in “Rue Africaine”, of “Rue Vergote” in “Rue Verte”.</p>



<p class="wp-block-paragraph">Overigens moet worden opgemerkt dat Copilot deze fase in geen enkele iteratie heeft geïmplementeerd. Nadat wij hierop hadden aangedrongen, constateerden wij een volstrekt willekeurige implementatie. Hierbij werden uitsluitend wijzigingen in het type straat waargenomen (de “Place Saint-Vincent” werd de “Rue Saint-Vincent”; “Rue de Louvain” werd “Chaussée de Louvain”), zonder rekening te houden met de postcode. Dit is precies het tegenovergestelde van wat was gevraagd. Bovendien waren verschillende elementen van de eerste fase die in de eerste implementatie correct werkten, dat niet meer in de versie waarin beide fasen waren opgenomen.</p>



<p class="wp-block-paragraph">Wat Mistral betreft, was de situatie nog erger. De eerste test voerde geen andere correcties uit dan wijzigingen in hoofdlettergebruik of interpunctie; de tweede test bracht talrijke volstrekt ongepaste wijzigingen aan (van “Rue de Rome” naar “Rue de Mérode”; “Rue des Trois-Tilleuls” -&gt; “Rue du Loutrier”&#8230;), en dit voor 650 waarden, oftewel drie keer zoveel als de wijzigingen die bij de beste outputs werden waargenomen; de derde output lijkt simpelweg alle waarden door elkaar te hebben gehaald, met volstrekt willekeurige wijzigingen voor elke waarde. Dit verklaart de delta van 99,79 % in de bovenstaande tabel. Merk op dat het standaardiseren van de waarden van een dataset op basis van interne variaties duidelijk niet de beste aanpak is: het verdient ongetwijfeld de voorkeur om, indien mogelijk, de waarden te vergelijken met een referentiekader, dat in dit geval zou bestaan uit de lijst van alle straatnamen met hun officiële spelling.</p>



<h2 class="wp-block-heading">Cijfermatige evaluatie</h2>



<p class="wp-block-paragraph">Om de iteraties in hun totaliteit te kunnen vergelijken, hebben wij ongeveer dertig criteria vastgesteld die wij bij elk van de drie iteraties van de vijf onderzochte tools hebben beoordeeld. Voor bepaalde criteria hebben wij 2 punten toegekend indien het criterium correct of vrijwel correct was geïmplementeerd; 1 punt indien dit gedeeltelijk het geval was en 0 punten indien het helemaal niet of zeer slecht was geïmplementeerd. Sommige andere criteria zijn numeriek beoordeeld, zoals bijvoorbeeld het aantal waarden dat als “zonder nummer” werd geïdentificeerd. Dit soort criteria hebben wij omgezet in een schaal van 0 tot 2. Vervolgens hebben wij deze verschillende waarden bij elkaar opgeteld om een score te verkrijgen. Deze totale score is dus geen percentage en heeft op zichzelf geen betekenis. Zij stelt ons eenvoudigweg in staat om, met een zekere mate van objectiviteit, de verschillende outputs van de diverse tools met elkaar te vergelijken.</p>



<figure class="wp-block-image alignleft size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png"><img decoding="async" width="464" height="372" src="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png" alt="" class="wp-image-30306" style="aspect-ratio:1.2473746114424935;width:513px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png 464w, https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2-300x241.png 300w" sizes="(max-width: 464px) 100vw, 464px" /></a></figure>



<div class="wp-block-group is-nowrap is-layout-flex wp-container-core-group-is-layout-3a88641f wp-block-group-is-layout-flex">
<p class="wp-block-paragraph">De grafiek hiernaast geeft twee gegevens weer: de gemiddelde score die is waargenomen bij de drie herhalingen van dezelfde test (de hoogte van de blauwe balk en de waarden), en het verschil tussen de laagste en de hoogste waargenomen score (oranje lijn). Het spreekt voor zich dat deze metingen met een korreltje zout moeten worden genomen, aangezien ze elk slechts betrekking hebben op drie waarden. Toch maken ze het mogelijk om onze waarnemingen tot op zekere hoogte te objectiveren. Een hogere score duidt op een betere naleving van de instructies. Een kleiner verschil duidt op een betere consistentie tussen de uitvoeringen van dezelfde tool.</p>
</div>



<p class="wp-block-paragraph">Deze cijfers bevestigen het beeld dat onze analyse ons had gegeven. Claude is de duidelijke winnaar, zowel wat betreft de totale score als de stabiliteit. ChatGPT volgt op korte afstand. Verderop, op aanzienlijke afstand en nek aan nek, volgen Gemini en Copilot, terwijl Mistral ver achterblijft. Laten wij eraan herinneren dat het hier om de gratis versie gaat, maar dat geldt ook voor Claude.</p>



<h2 class="wp-block-heading">Algemene indruk</h2>



<p class="wp-block-paragraph">Onze algemene indruk tijdens deze test was dat wij over het geheel genomen het gevoel hadden een junior-ontwikkelaar tot onze beschikking te hebben: snel weliswaar, maar middelmatig, en iemand die voortdurend in de gaten moet worden gehouden. Hij maakt veel fouten en is niet consistent. Als hij gevraagd wordt een probleem op te lossen, is de kans groot dat hij tegelijkertijd problemen veroorzaakt in een heel ander deel van de code. Als hij twee keer hetzelfde moet doen, maakt hij soms radicaal verschillende keuzes.</p>



<p class="wp-block-paragraph">Het is duidelijk dat de eenvoudige aanpak (alle instructies in één keer versturen, in het vertrouwen dat de gegenereerde code correct is) voor geen van de tools werkt, in ieder geval niet voor dit specifieke gebruiksscenario. Op zijn minst moet dezelfde vraag meerdere keren worden gesteld om het resultaat te beoordelen en de beste onderdelen van elke tool te combineren. Het kostte ons echter veel tijd om deze vergelijkende analyse op te zetten, de problemen te identificeren en deze objectief te benaderen, ongeveer even lang als de tijd die wij nodig zouden hebben gehad om het script volledig zelf te schrijven. Misschien verdient onze opdrachtformulering verbetering. Misschien bevatte deze te veel instructies en hadden wij een meer iteratieve aanpak moeten volgen, maar dat zou de vergelijkingen aanzienlijk hebben bemoeilijkt. De vraag om niet alleen adressen op te schonen, maar ook het script daarvoor te leveren – zodat hergebruik mogelijk is – legde uiteraard een extra beperking op aan de tools. In een toekomstig onderzoek zullen wij deze beperking opheffen. Een meer &#8220;agentgerichte“ aanpak, waarbij een agent meerdere scripts zou kunnen opvragen en deze zou kunnen vergelijken, zou waarschijnlijk voordelen kunnen opleveren.</p>



<p class="wp-block-paragraph">Merk op dat wij ook een verbetering hebben geprobeerd: we hebben ChatGPT gevraagd: &#8220;<em>How to improve the attached prompt to make sure ChatGPT implements correctly all instructions?</em>”. Het heeft onze promptbestand aangepast, zodat het veel nauwkeuriger en gedetailleerder werd. Het resultaat was een bestand dat drie keer zo groot was. Maar helaas heeft dit de situatie niet echt verbeterd, integendeel. Copilot heeft het bij de eerste twee pogingen simpelweg opgegeven. Bij de derde poging leverde het ons wel een lijst op, maar niet het script. Gemini was in staat een script te genereren (waarvan twee van de drie moesten worden aangepast om uitvoerbaar te zijn), maar kon dit nooit daadwerkelijk uitvoeren. En we constateerden opnieuw grote verschillen tussen de verschillende iteraties van dezelfde tool.</p>



<p class="wp-block-paragraph">Bovendien bestaan er voor deze specifieke probleemstelling van het opschonen van adressen talrijke klassieke, zeer doeltreffende tools om deze taak uit te voeren. De trend van &#8220;alles met AI“, die we steeds vaker waarnemen, verdient ongetwijfeld enige matiging. In een tijd van grootschalige bosbranden, herhaaldelijke hittegolven en verwoestende overstromingen is het gebruik van tools die aanzienlijk meer energie en water verbruiken dan traditionele, beproefde methoden – die stabieler en vaak efficiënter zijn – duidelijk een aanpak die ter discussie moet worden gesteld.</p>



<p class="wp-block-paragraph">De informatica van morgen moet ongetwijfeld een belangrijke plaats inruimen voor generatieve AI, die in vele opzichten een onbetwistbare meerwaarde biedt in vele opzichten. Maar dit mag niet op een blinde manier gebeuren, waarbij de traditionele methoden, die in veel opzichten nog steeds duidelijk beter presteren, zomaar terzijde worden geschoven. Bovendien moeten we ons bewust zijn van het gebrek aan consistentie van deze tools. Dit is in veel situaties zeker geen probleem, maar kan dat in bepaalde gevallen wel zijn, met name wanneer een keuze juridische of medische gevolgen kan hebben.</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>L&#8217;IA générative&#160;: utile pour nettoyer des données&#160;?</title>
		<link>https://www.smalsresearch.be/lia-generative-utile-pour-nettoyer-des-donnees/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Mon, 07 Sep 2026 06:55:58 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[data quality]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=30005</guid>

					<description><![CDATA[Après une première expérience d'analyse d'un ensemble de données, nous nous sommes intéressés à un aspect fondamental : la qualité des données. En adoptant une approche rigoureuse et systématique, nous avons analysé comment se comportaient des outils comme ChatGPT, Gemini, Copilot, Claude ou Mistral, quand il s'agissait, non plus simplement d'analyser des données, mais de les nettoyer. ]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em>Dit artikel is ook beschikbaar&nbsp;in het&nbsp;<a href="https://www.smalsresearch.be/generatieveai-nuttig-voor-het-opschonen-van-gegevens/" data-type="post" data-id="30246">Nederlands</a>.</em></p>



<p class="wp-block-paragraph">Après une <a href="https://www.smalsresearch.be/talk-to-your-data-avec-chatgpt/" data-type="post" data-id="26535">première expérience d&#8217;analyse d&#8217;un ensemble de données</a> en utilisant des outils d&#8217;intelligence artificielle générative (GenAI), aux résultats impressionnants, nous nous sommes intéressés à un aspect fondamental pour tout analyste de données, en particulier dans le secteur des données administratives&nbsp;: la qualité des données. En adoptant une approche rigoureuse et systématique, nous avons analysé comment se comportaient des outils comme ChatGPT, Gemini, Copilot, Claude ou Mistral, quand il s&#8217;agissait, non plus simplement d&#8217;analyser des données, mais de les nettoyer. Nous avons choisi pour cette expérience un type de données que nous connaissons bien (<a href="https://www.smalsresearch.be/qualite-de-donnees-et-donnees-geographiques/" data-type="post" data-id="21336">1</a>, <a href="https://www.smalsresearch.be/pourquoi-une-adresse-belge-cest-complique/" data-type="post" data-id="20039">2</a>)&nbsp;: les adresses en Belgique. Il existe bien évidemment des outils dédiés au nettoyage d&#8217;adresses, voire même au <a href="https://www.smalsresearch.be/geocodage-quel-outil-pour-quel-besoin/" data-type="post" data-id="18567">géocodage</a>. Mais il nous paraissait pertinent d&#8217;évaluer les bénéfices ou défauts de cette nouvelle famille d&#8217;outils.</p>



<figure class="wp-block-gallery alignright has-nested-images columns-default is-cropped wp-block-gallery-2 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png"><img loading="lazy" decoding="async" width="1024" height="529" data-id="30057" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png" alt="" class="wp-image-30057" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-300x155.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/07/genAI_cleandata-e1790931736220-768x397.png 768w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Comme nous l&#8217;avons déjà fait dans <a href="https://www.smalsresearch.be/bepelias-un-geocodeur-local-base-sur-best-address/">des articles précédents</a>, nous sommes partis d&#8217;un <a href="https://kbopub.economie.fgov.be/kbo-open-data/login?lang=fr">jeu de données</a> provenant de la Banque Carrefour des Entreprises. Plus précisément, nous avons utilisé un ancien jeu de données datant de 2016, la qualité de la source s&#8217;étant entre temps notablement améliorée ; mais pour évaluer les performances d&#8217;un outil de nettoyage, il est préférable de ne pas se baser sur des données trop &#8220;propres&#8221;. On ne teste pas les performances d&#8217;un lave-vaisselle avec des couverts déjà lavés&#8230; Ce jeu de données contenait +/- 266.000 adresses, pour la plupart en français, d&#8217;entreprises dans la région de Bruxelles-Capitale.</p>



<p class="wp-block-paragraph">Nous avons tenté deux approches&nbsp;: </p>



<ul class="wp-block-list">
<li>En utilisant les versions &#8220;chat&#8221;, on envoie l&#8217;ensemble des adresses sous format CSV, accompagnées d&#8217;un &#8220;prompt&#8221; que nous détaillerons ci-dessous, qui pour l&#8217;essentiel demande de &#8220;standardiser ces adresses&#8221; et de fournir, outre un fichier Excel contenant le résultat, un script en Python permettant de le reproduire. C&#8217;est cette approche que nous décrivons dans cet article.</li>



<li>En utilisant l&#8217;API, on envoie une séquence de &#8220;batch&#8221; d&#8217;adresses (en JSON), avec des instructions sensiblement similaires à celles de la première approche, mais simplifiées. Cette approche fera l&#8217;objet d&#8217;un prochain article.</li>
</ul>



<p class="wp-block-paragraph">Nous nous sommes posé diverses questions&nbsp;: </p>



<ul class="wp-block-list">
<li>Le processus était-il facile, ou semé d&#8217;obstacles&nbsp;?</li>



<li>Les instructions étaient-elles respectées&nbsp;?</li>



<li>Le processus était-il stable, ou, en d&#8217;autre termes, obtient on le même résultat si on refait la même demande à quelques heures d&#8217;intervalles&nbsp;?</li>
</ul>



<p class="wp-block-paragraph">La difficulté principale de notre approche a été de définir le bon prompt. Le principe a été de fournir d&#8217;un seul coup un fichier &#8220;Markdown&#8221; contenant toutes les instructions que nous voulions voir appliquées.</p>



<p class="wp-block-paragraph">Le fichier de données contenait une série de colonnes, pour les différentes informations suivantes&nbsp;: &#8220;rue&#8221; (StreetFR), &#8220;numéro&#8221; (HouseNumber), &#8220;code postal&#8221; (Zipcode), &#8220;municipalité&#8221; (MunicipalityFR). Mais de nombreuses adresses sont mal encodées. Par exemple&nbsp;:</p>



<ul class="wp-block-list">
<li>Le numéro se trouve dans le champ &#8220;rue&#8221;, en début (&#8220;20 Avenue Fonsny&#8221;) ou à la fin (&#8220;Avenue Fonsny 20&#8221;)</li>



<li>Le noms sont abrégés (&#8220;Av. Fonsny&#8221;, &#8220;A FONSNY&#8221;&#8230;)</li>



<li>La casse n&#8217;est pas uniforme (&#8220;Avenue Fonsny&#8221;, &#8220;AVENUE FONSNY&#8221;)</li>



<li>De multiples variantes de la même rue existent (&#8220;Boulevard Albert II&#8221;, &#8220;Boulevard du Roi Albert II&#8221;, &#8220;Boulevard Albert 2&#8243;&#8230;)</li>



<li>Si le numéro n&#8217;est pas pertinent, de nombreuses façons de l&#8217;indiquer existent&nbsp;: &#8220;SN&#8221; (sans numéro), &#8220;ZN&#8221; (zonder nummer), &#8220;S/N&#8221;, &#8220;?&#8221;, &#8220;*&#8221;&#8230;</li>
</ul>



<h2 class="wp-block-heading">Instructions</h2>



<p class="wp-block-paragraph">Dans le fichier d&#8217;instructions, nous avons décrit en détails deux phases de nettoyage. La première consistait à analyser chaque ligne individuellement. La seconde demandait de comparer des enregistrements &#8220;proches&#8221; pour tenter d&#8217;en sortir des variantes et fautes de frappe.</p>



<h3 class="wp-block-heading">Phase 1&nbsp;: nettoyage</h3>



<p class="wp-block-paragraph">Dans la première phase de nettoyage, on demande de créer trois nouvelles colonnes&nbsp;: &#8220;StreetFR_cleansed&#8221; et &#8220;HouseNumber_cleansed&#8221;, pour y placer la version nettoyée de ce qui se trouve dans &#8220;StreetFR&#8221; et &#8220;HouseNumber&#8221;, ainsi que &#8220;ExtraInfo_cleansed&#8221;, pour y mettre les informations que l&#8217;outil estime ne faire ni partie du nom de la rue, ni du numéro de maison (un étage, par exemple).</p>



<p class="wp-block-paragraph">Pour le numéro de maison, nous demandons (entre autres)&nbsp;:</p>



<ul class="wp-block-list">
<li>De l&#8217;extraire du champ &#8220;StreetFR&#8221; s&#8217;il s&#8217;y trouve, en fournissant divers exemples ;</li>



<li>De le standardiser, de sorte de ne pas avoir, par exemple, une fois &#8220;10 a&#8221;, une autre fois &#8220;10A&#8221;, ou encore &#8220;10/A&#8221;&nbsp;:</li>



<li>De remplacer toutes les variantes de &#8220;sans numéro&#8221; par une valeur vide.</li>
</ul>



<p class="wp-block-paragraph">Pour le nom de rue, nous demandons&nbsp;:</p>



<ul class="wp-block-list">
<li>D&#8217;étendre les abréviations de préfix, principalement en français&nbsp;: &#8220;Av.&#8221;, &#8220;Blvd&#8221;, &#8220;Chée&#8221;&#8230; ;</li>



<li>De tout mettre en &#8220;casse de titre&#8221; (<em>title case</em>), en veillant à garder en minuscule les articles et conjonctions&nbsp;: &#8220;Rue des Chats&#8221;, &#8220;Avenue de l&#8217;Indépendance&#8221;&#8230; ;</li>



<li>De veiller à garder en majuscules les chiffres romains&nbsp;: &#8220;Boulevard Léopold II&#8221;, &#8220;Rue Charles VI&#8221;&#8230;</li>
</ul>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructions de la phase 1</em></summary>
<p class="wp-block-paragraph"><em>In this first cleansing phase, your task is to create a cleansed copy of columns StreetFR and HouseNumber, which will be named &#8220;HouseNumber_cleansed&#8221;, &nbsp;&#8220;StreetFR_cleansed&#8221;. An additionnal column &#8220;ExtraInfo_cleansed&#8221; will also be created.</em></p>



<p class="wp-block-paragraph"><em>In &#8220;HouseNumber_cleansed&#8221;, you will:</em></p>



<ul class="wp-block-list">
<li><em>In case of the format &#8220;20 A FONSNY&#8221; in StreetFR (all in upper case ; one number, one space, one letter in &#8216;A&#8217;, &#8216;R&#8217;, &#8216;C&#8217;, &#8216;B&#8217;, &#8216;S&#8217; or &#8216;P&#8217;, one space, several letters or spaces): extract the number in &#8216;HouseNumber_cleansed&#8217; ; Do the following street type replacement: A=Avenue ; R=Rue ; C=Chaussée ; B=Boulevard ; S=Square ; P=Place</em></li>



<li><em>Extract housenumber from &#8220;StreetFR&#8221; if needed, put in &#8220;ExtraInfo_cleansed&#8221; additionnal information which doesn&#8217;t seem to be part of the house number. Extract number only at the beginning of the string (&#8220;20 Avenue Fonsny&#8221;) or at the end (&#8220;Avenue Fonsny 20&#8221; or &#8220;Avenue Fonsny, 30&#8221;), possibly followed by one letter (&#8220;Avenue Fonsny 20 A&#8221;), or with ranges (&#8220;Avenue Fonsny 20-22&#8221; or &#8220;Avenue Fonsny 20/22&#8221;), or with a box number indication (&#8220;Avenue Fonsny 20 bus 3&#8221;, &#8220;Avenue Fonsny 20 box 3&#8221;, &#8220;Avenue Fonsny 20 bt 3&#8221;, &#8220;Avenue Fonsny 20 bte 3&#8221;, &#8220;Avenue Fonsny 20 boite 3&#8221;).</em></li>



<li><em>If you have to extract a housenumber &#8220;num1&#8221; from &#8220;StreetFR&#8221; but &#8220;HouseNumber&#8221; already contains a value &#8220;num2&#8221;, keep them both in &#8220;HouseNumber_cleansed&#8221;&nbsp;: &#8220;num2 / num1&#8221;</em></li>



<li><em>Standardise in a safe way the housenumber. For instance, &#8220;20A&#8221;, &#8220;20 A&#8221;, &#8220;20a&#8221; or &#8220;20/A&#8221; should become &#8220;20A&#8221;. But do not replace &#8220;20/22&#8221; by &#8220;2022&#8221;</em></li>



<li><em>Many values represent &#8220;no number&#8221;&nbsp;: &#8220;SN&#8221; (Sans numéro, in French), &#8220;ZN&#8221; (Zonder nummer, in Dutch), &#8220;S/N&#8221;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others. Replace them by an empty string</em></li>
</ul>



<p class="wp-block-paragraph"><em>In &#8220;StreetFR_cleansed&#8221;, you will&nbsp;:</em></p>



<ul class="wp-block-list">
<li><em>Standardise street names by expanding abbreviations. For instance &#8220;Av Fonsny&#8221;, &#8220;Av. Fonsny&#8221;, &#8220;Av.Fonsny&#8221; or &#8220;A Fonsny&#8221; should all become &#8220;Avenue Fonsny&#8221;. Use several variants&nbsp;: Avenue (Av, Ave, A), Chaussée (Ch, chée), Boulevard (B, Bd, blvd, bvd), Rue (R), Place (Pl), Square (Sq). Replace those pattern only at the begining of the sentence, or if they are only preceded by numbers. Replacement should always be followed by a space.</em></li>



<li><em>Trim heading or leading spaces, and collapse consecutive spaces.</em></li>



<li><em>As described in the previous section, extract housenumber and put them in HouseNumber_cleansed</em></li>



<li><em>Set all words in title case, excepts determiner (le, la, les, du, des, aux, de&#8230;).</em></li>



<li><em>Roman numbers should be in uppercase</em></li>



<li><em>Remove all variants of &#8220;no number&#8221; (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217; and many others), at the end of the string and isolated (Not in &#8220;FonSNy&#8221;)</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Phase 2&nbsp;: déduplication</h3>



<p class="wp-block-paragraph">Dans cette seconde phase, nous tentons d&#8217;identifier des variantes du même nom de rue. Par exemple, si, pour un même code postal, on trouve &#8220;Rue V. Horta&#8221; dans un enregistrement, et &#8220;Rue Victor Horta&#8221; dans un autre, on gardera la version la plus complète pour l&#8217;ensemble. Le fichier d&#8217;instructions fournit de nombreuses précisions et exemples (comme, par exemple, de ne pas fusionner &#8220;Boulevard Léopold II&#8221; avec &#8220;Boulevard Léopold III&#8221;), que nous ne détaillerons pas ici.</p>



<details class="wp-block-details is-layout-flow wp-block-details-is-layout-flow"><summary><em>Instructions de la phase 2</em></summary>
<p class="wp-block-paragraph"><em>In this second phase, you will be more aggressive in the cleansing of street names, and take more risks. Output of this second phase will be in column &#8220;StreetFR_cleansed2&#8221;. This column will be computed starting from &#8220;StreetFR_cleansed&#8221; and will:</em></p>



<ul class="wp-block-list">
<li><em>If an initial can be expanded from other values within the same zipcode, do it. For instance&nbsp;: &#8220;rue V. Horta, 1160 Auderghem&#8221; in one record, &#8220;rue Victor Horta, 1160 Auderghem&#8221; in another, keep the longest one for both. In this case, the extension from an initial to a full name should be the only change. Do not map &#8220;Avenue V. Horta&#8221; to &#8220;Rue Victor Horta&#8221;. Do not map &#8220;Rue V. Van Horta&#8221; to &#8220;Rue Victor Van Fonsny&#8221;.</em></li>



<li><em>Within different street names sharing the same zip, cluster spelling variants, keeping in &#8220;StreetFR_cleansed2&#8221; the most frequent value. For instance, if we have, for zipcode 1060, 100 times &#8220;Avenue Fonsny&#8221; and once &#8220;Avenue Fonsmy&#8221; or &#8220;Avenue Fonsni&#8221;, keep &#8220;Avenue Fonsny&#8221; in StreetFR_cleansed2.</em></li>



<li><em>Before comparing strings, always remove street type (Avenue, Boulevard, Rue, Place, Square, Chaussée&#8230;) at the beginning of the street name. But do not map a street on a street with another street type.</em></li>



<li><em>Similarity should be at least 0.9</em></li>



<li><em>If the only difference between two street names is a diacritic symbol or punctuation, keep the most frequent one even if they don&#8217;t share the same zipcode&nbsp;: &#8220;Chaussée de Wavre&#8221; vs &#8220;Chaussee de Wavre&#8221; or &#8220;Chaussée de Wavre,&#8221;</em></li>



<li><em>Be aware of roman numbers&nbsp;: &#8220;Boulevard Léopold II&#8221; should not be merged with &#8220;Boulevard Léopold III&#8221;</em></li>
</ul>
</details>



<h3 class="wp-block-heading">Résultat à produire</h3>



<p class="wp-block-paragraph">On demandera en conclusion&nbsp;: </p>



<ul class="wp-block-list">
<li>De fournir un listing téléchargeable au format Excel, en y ayant ajouté les colonnes calculées ;</li>



<li>De générer un ou plusieurs scripts en Python, lisibles et documentés, permettant d&#8217;effectuer le nettoyage.</li>
</ul>



<h2 class="wp-block-heading">Comparaison</h2>



<p class="wp-block-paragraph">Nous avons soumis le même jeu de données avec le même fichier Markdown d&#8217;instruction à une série d&#8217;outils, plusieurs fois et à quelques heures d&#8217;intervalle. Nous avons ensuite&nbsp;: </p>



<ul class="wp-block-list">
<li>Analysé chaque listing produit pour s&#8217;assurer que les instructions étaient bien suivies ;</li>



<li>Comparé deux listings produits par le même outil pour évaluer la constance du travail ;</li>



<li>Exécuté le script Python généré pour vérifier qu&#8217;il était exécutable et produisait bien le même résultat que le listing généré directement par l&#8217;outil.</li>
</ul>



<p class="wp-block-paragraph">Les outils que nous avons considérés sont les suivants&nbsp;:</p>



<ul class="wp-block-list">
<li>ChatGPT (OpenAI, forfait &#8220;Plus&#8221;), modèle GPT 5.6 Thinking ;</li>



<li>Gemini (Google, forfait &#8220;Pro&#8221;), modèle 3.1 Pro ;</li>



<li>Copilot (Microsoft, forfait &#8220;Base&#8221;, gratuit), modèle GPT 5. Nous avons par ailleurs également testé une version &#8220;Pro&#8221;, intégrée dans Excel et Github</li>



<li>Claude (Anthropic, forfait &#8220;Free&#8221;), modèle Sonnet 5 Medium</li>



<li>Mistral (forfait &#8220;Free&#8221;), &#8220;Réflexion&#8221;</li>
</ul>



<p class="wp-block-paragraph">Un premier aperçu de chaque listing donne une impression positive&nbsp;: en regardant les changements effectués entre les colonnes d&#8217;entrée et de sortie, ils semblent majoritairement pertinents. On pourrait donc estimer que ces outils &#8220;font leur job&#8221;. Mais en approfondissant un peu, la situation n&#8217;est pas aussi reluisante.</p>



<h2 class="wp-block-heading">Constance</h2>



<p class="wp-block-paragraph">Le premier aspect qui étonne est le manque de constance des outils. Aucun des outils n&#8217;a effectué les mêmes opérations sur les données au cours des trois évaluations successives (avec, rappelons-le, le même modèle, les mêmes données, le même prompt). Voici par exemple le pourcentage de changements entre la rue d&#8217;entrée et la rue modifiée à l&#8217;issue de la phase 2&nbsp;:</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th></th><th class="has-text-align-right" data-align="right">Essai 1</th><th class="has-text-align-right" data-align="right">Essai 2</th><th class="has-text-align-right" data-align="right">Essai 3</th><th class="has-text-align-right" data-align="right">Delta</th></tr></thead><tbody><tr><td><strong>ChatGPT</strong></td><td class="has-text-align-right" data-align="right">5,44%</td><td class="has-text-align-right" data-align="right">6,97%</td><td class="has-text-align-right" data-align="right">8,41%</td><td class="has-text-align-right" data-align="right">2,97 %</td></tr><tr><td><strong>Gemini </strong></td><td class="has-text-align-right" data-align="right">9,62%</td><td class="has-text-align-right" data-align="right">5,76%</td><td class="has-text-align-right" data-align="right">9,84%</td><td class="has-text-align-right" data-align="right">4,08%</td></tr><tr><td><strong>Copilot</strong></td><td class="has-text-align-right" data-align="right">16,20%</td><td class="has-text-align-right" data-align="right">0,27%</td><td class="has-text-align-right" data-align="right">13,52%</td><td class="has-text-align-right" data-align="right">15,93%</td></tr><tr><td><strong>Claude</strong></td><td class="has-text-align-right" data-align="right">5,28%</td><td class="has-text-align-right" data-align="right">5,22%</td><td class="has-text-align-right" data-align="right">5,30%</td><td class="has-text-align-right" data-align="right">0,08%</td></tr><tr><td><strong>Mistral</strong></td><td class="has-text-align-right" data-align="right">32,22%</td><td class="has-text-align-right" data-align="right">20,69%</td><td class="has-text-align-right" data-align="right">99,79%</td><td class="has-text-align-right" data-align="right">79,10%</td></tr></tbody></table><figcaption class="wp-element-caption">Proportion de rue modifiées par les différentes itérations d&#8217;un même outil.</figcaption></figure>



<figure class="wp-block-image alignright size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png"><img loading="lazy" decoding="async" width="493" height="320" src="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png" alt="" class="wp-image-30059" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1.png 493w, https://www.smalsresearch.be/wp-content/uploads/2026/07/image-1-300x195.png 300w" sizes="auto, (max-width: 493px) 100vw, 493px" /></a></figure>



<p class="wp-block-paragraph">La colonne &#8220;Delta&#8221; indique la différence entre la plus grande valeur et la plus petite&nbsp;: il correspond donc (virtuellement) à la proportion d&#8217;adresses que l&#8217;essai le plus &#8220;prudent&#8221; n&#8217;a pas modifiées, alors que la variante la plus &#8220;agressive&#8221; l&#8217;a fait. On peut donc observer une remarquable constance entre les itérations de Claude, voire de ChatGPT, là où Copilot et surtout Mistral semblent avoir fait des choix radicalement différents face au même problème.</p>



<p class="wp-block-paragraph">En terme de constance, s&#8217;il suffisait en général d&#8217;envoyer en une seule requête les données et les instructions pour pouvoir directement télécharger le fichier nettoyé et le script, ça n&#8217;a pas toujours été le cas. Par exemple, à la seconde itération de Copilot, le script généré était vide. Il a fallu &#8220;négocier&#8221; (3 demandes successives) pour finalement l&#8217;obtenir. Dans une phase précédente de notre étude, Gemini a pu correctement générer le fichier demandé lors d&#8217;une première tentative, mais a bloqué lors de la seconde&nbsp;: il a prétendu qu&#8217;il lui était impossible d&#8217;exécuter du code Python dans son environnement. Nous avons eu beau lui dire qu&#8217;il en fut capable quelques heures avant, rien n&#8217;y fit. Il nous a fallu démarrer une nouvelle session pour à nouveau y arriver.</p>



<h2 class="wp-block-heading">Exécution</h2>



<p class="wp-block-paragraph">Nous avons, pour chaque test, exécuté le script Python généré et comparé le résultat avec le listing reçu.</p>



<p class="wp-block-paragraph">Pour ChatGPT, rien à signaler&nbsp;: les scripts s&#8217;exécutent en +/- une minute, produisant un résultat rigoureusement identique au listing.</p>



<p class="wp-block-paragraph">Pour Claude, c&#8217;est également presque un sans-faute&nbsp;: une exécution légèrement plus longue (+/- 5 minutes), deux itérations produisant un résultat strictement conforme, et une avec 12 différences très légères, résultat chaque fois d&#8217;alternatives équivalentes.</p>



<p class="wp-block-paragraph">Chez Gemini, le bilan est plus contrasté&nbsp;: le premier script entrait dans une boucle infinie&nbsp;! Le second produisait un résultat conforme, le troisième 70 différences.</p>



<p class="wp-block-paragraph">Avec Copilot, c&#8217;est encore un peu plus problématique&nbsp;: pour l&#8217;un des tests, nous n&#8217;avons tout simplement pas réussi à obtenir le script. Pour un autre, il était directement disponible, et pour le 3<sup>ème</sup>, nous l&#8217;avons obtenu après négociations. Les deux scripts ont produit respectivement 637 et 810 lignes différentes par rapport au listing correspondant.</p>



<p class="wp-block-paragraph">Sur cet aspect, la palme du mauvais élève revient à Mistral (mais, pour rappel, avec un compte gratuit)&nbsp;: c&#8217;est le seul qui n&#8217;a jamais pu directement générer un listing, mais uniquement un script en Python. L&#8217;un deux n&#8217;était par ailleurs pas complètement en Python, mais contenait des instructions en Javascript. Après lui avoir fait remarquer, Mistral a corrigé son code, mais n&#8217;était toujours pas exécutable. Ce n&#8217;est que la troisième version que nous avons pu exécuter. Lors d&#8217;un de nos autres tests, le code ne contenant pas un &#8220;import&#8221; nécessaire. Par ailleurs, le temps d&#8217;exécution variant de 6 à &#8230; 50 minutes&nbsp;!</p>



<h2 class="wp-block-heading">Indicateurs</h2>



<p class="wp-block-paragraph">Nous avons ensuite parcouru les différentes instructions pour évaluer à quel point elles étaient respectées.</p>



<h3 class="wp-block-heading">&#8220;Sans numéro&#8221;</h3>



<p class="wp-block-paragraph">Dans nos instructions, nous avons donné 7 valeurs correspondant à l&#8217;absence de numéro dans une adresse (&#8216;SN&#8217;, &#8216;ZN&#8217;, &#8216;S/N&#8217;, &#8216;*&#8217;, &#8216;?&#8217;, &#8216;-&#8216;, &#8216;/&#8217;), en précisant qu&#8217;il y en avait d&#8217;autres. Certains n&#8217;en ont identifié aucune (2<sup>ème</sup> test Copilot), d&#8217;autres jusqu&#8217;à 19 (2<sup>ème</sup> test Claude). Aucun outil n&#8217;a identifié les mêmes valeurs lors de ses différentes itérations.</p>



<h3 class="wp-block-heading">Casse</h3>



<p class="wp-block-paragraph">Nous demandions en sortie de modifier la casse du nom de rue de façon un peu subtile&nbsp;: une casse de titre (<em>title case</em>, première lettre de chaque mot en majuscule, les autres en minuscules), mais avec une contrainte supplémentaire&nbsp;: garder les déterminant (de, la, des&#8230;) en minuscules. Nous devrions donc avoir &#8220;Rue de Sainte-Anne&#8221;, et non &#8220;Rue De Sainte-Anne&#8221; ou &#8220;Rue de Sainte-anne&#8221;. Nous avons observé plusieurs situations&nbsp;:</p>



<ul class="wp-block-list">
<li>L&#8217;absence totale de correction, gardant la casse originale (2<sup>ème</sup> test Copilot) ;</li>



<li>Une mauvaise gestion des tirets (&#8220;Rue Sainte-anne&#8221;) ou apostrophe (&#8220;Chaussée D&#8217;ixelles&#8221;). Étonnant, alors que la fonction &#8220;title&#8221; de Python aurait écrit &#8220;Rue Sainte-Anne&#8221; et &#8220;Chaussée D&#8217;Ixelles&#8221; (il &#8220;suffisait&#8221; ensuite de mettre le déterminant &#8220;D&#8221; en minuscules). On a également observé certaines incohérences dans un même listing, comme &#8220;Sainte-Anne&#8221;, mais &#8220;Grand-place&#8221; ou &#8220;Eglise-saint-pierre&#8221; ;</li>



<li>Un des tests de Mistral a mis en évidence une implémentation hasardeuse&nbsp;: chaque mot commençant par un déterminant (&#8220;de&#8221;, &#8220;la&#8221;, mais aussi &#8220;d&#8221; ou &#8220;l&#8221;) était mis en minuscules.</li>
</ul>



<h3 class="wp-block-heading">Chiffres romains</h3>



<p class="wp-block-paragraph">En complément de la correction de casse décrite ci-dessus, nous avons demandé à ce que les chiffres romains restent en majuscules. On retrouve ceux-ci principalement dans des noms de rois Belges (Albert II, Léopold I, II ou III), ou étrangers (Joseph II, Charles VI&#8230;) ou même des Papes (Léon XIII). Ceci a été pour presque tous les outils correctement implémenté. On observe principalement des différences dans la façon de gérer les cas limites&nbsp;:</p>



<ul class="wp-block-list">
<li>On a à Bruxelles une &#8220;Rue Vilain XIIII&#8221;. Or, 14 s&#8217;écrit souvent &#8220;XIV&#8221; et non &#8220;XIIII&#8221;. Ceci explique sans doute pourquoi dans près de la moitié des cas, celle-ci a été reprise comme &#8220;Rue Vilain Xiiii&#8221; ;</li>



<li>Des mots comme &#8220;midi&#8221; ou &#8220;dix&#8221; ont été considérés par certains outils comme des chiffres romains et mis en majuscule (bien que MIDI ne soit pas un nombre valide, contrairement à DIX). Mais étant donné que les chiffres romains dans les noms de rues représentent en général des valeurs relativement petites, il pourrait être raisonnable de ne pas y inclure &#8220;M&#8221; (1000) pour &#8220;D&#8221; (500). Cette observation nous a permis d&#8217;identifier principalement trois implémentations&nbsp;: 
<ul class="wp-block-list">
<li>Une simple expression régulière listant les caractères autorisés&nbsp;: [IVXLCDM]+ ; c&#8217;était le cas de la première itération de ChatGPT, de Copilot ou de Mistral. Dans notre jeu de données, DIX et MIDI sont donc considérés comme des chiffres romains, mais on pourrait imaginer d&#8217;autres mots (Civil, Mix, Vil, Il, Clic&#8230;.)</li>



<li>Une liste de valeurs acceptables (&#8216;I&#8217;, &#8216;II&#8217;, &#8216;III&#8217;, &#8216;IV&#8217; &#8230;), optée par Gemini, ou une des implémentations de CoPilot</li>



<li>Une expression régulière complexe, beaucoup plus précise, pour deux implémentations de ChatGPT ou Claude, avec pour l&#8217;une d&#8217;elle une liste additionnelle d&#8217;exclusions (contenant &#8220;midi&#8221; et &#8220;dix&#8221;).</li>
</ul>
</li>
</ul>



<h3 class="wp-block-heading">Extraction de numéro</h3>



<p class="wp-block-paragraph">L&#8217;extraction du numéro intégré au nom de rue (&#8220;20 Avenue Fonsny&#8221;, &#8220;Avenue Fonsny 20&#8221; ou &#8220;Avenue Fonsny, 20&#8221;) a montré une grande variété d&#8217;implémentations. Si ChatGPT ou Claude n&#8217;ont pas rencontré de difficulté notable, les autres ont tous buté sur des cas particuliers plus ou moins subtils. Par exemple, deux des trois essais de Gemini ont échoué à identifier des cas comme &#8220;Avenue Fonsny, 20 A&#8221;). La second itération de Copilot n&#8217;a extrait aucun numéro en tête, et aucune n&#8217;a pu identifier le cas &#8220;&#8230;, 20 A&#8221;). Mistral a un bilan très mitigé.</p>



<h3 class="wp-block-heading">Préfix</h3>



<p class="wp-block-paragraph">Les situations de type &#8220;Av. Fonsny&#8221; ou &#8220;A Fonsny&#8221; (à corriger en &#8220;Avenue Fonsny&#8221;) ont également été implémentées de façon très variable. La 3<sup>ème</sup> itération de ChatGPT est passée complètement à côté de l&#8217;objectif. Une &#8220;Petite rue des Loups&#8221; est ainsi devenue &#8220;Place Etite Rue des Loups&#8221; ; &#8220;Abbaye de la Cambre&#8221; a été transformé en &#8220;Avenue Bbaye de la Cambre&#8221;</p>



<h3 class="wp-block-heading">Phase 2</h3>



<p class="wp-block-paragraph">La seconde phase consistait à identifier des petites variantes entre deux noms de rue au sein du même code postal, pour ensuite remplacer la valeur la moins fréquente par la plus fréquente. Si nous rencontrons par exemple 10 occurrences de &#8220;Rue Sainte-Anne&#8221; et une de &#8220;Rue Sainte Anne&#8221;, nous remplaçons cette dernière par la variante avec le tiret. La difficulté de cette phase est de déterminer les méthodes et les seuils de comparaison. Si plusieurs tests ont tout à fait tiré leur épingle du jeu, ça n&#8217;a pas toujours été le cas. Principalement, plusieurs fusions &#8220;agressives&#8221; ont été observées. Comme &#8220;Rue des Chalets&#8221; changé en &#8220;Rue des Chats&#8221; ; &#8220;Rue des Barques&#8221; en &#8220;Rue des Briques&#8221;, ou &#8220;Rue des Ramoneurs&#8221; en &#8220;Rue des Rameurs&#8221;. Mais certains semblent avoir été encore plus permissifs&nbsp;: Gemini a ainsi changé &#8220;Rue de la Fontaine&#8221; en &#8220;Rue de la Montagne&#8221; ; &#8220;Rue Américaine&#8221; en &#8220;Rue Africaine&#8221;, ou &#8220;Rue Vergote&#8221; en &#8220;Rue Verte&#8221;.</p>



<p class="wp-block-paragraph">Notons par ailleurs que Copilot n&#8217;a tout simplement, dans aucune itération, implémenté cette phase. Après avoir insisté pour le faire, nous avons observé une implémentation tout à fait hasardeuse. On y a observé uniquement des changements de type de rue (&#8220;Place Saint-Vincent&#8221; devenant &#8220;Rue Saint-Vincent&#8221; ; &#8220;Rue de Louvain&#8221; devenant &#8220;Chaussée de Louvain&#8221;), sans tenir compte du code postal. Soit l&#8217;exact inverse de ce qui avait été demandé. Par ailleurs, plusieurs éléments de la première phase qui étaient au point dans la première implémentation ne l&#8217;étaient plus dans celle incluant les deux phases.</p>



<p class="wp-block-paragraph">Du côté de Mistral, ceci a été encore pire. Le premier test n&#8217;a fait d&#8217;autres corrections que des changements de casse ou de ponctuation ; le second a effectué de nombreux changements tout à fait inappropriés (&#8220;Rue de Rome&#8221; -&gt; &#8220;Rue de Mérode&#8221; ; &#8220;Rue des Trois-Tilleuls&#8221; -&gt; &#8220;Rue du Loutrier&#8221;&#8230;), ceci pour 650 valeurs, soit trois fois plus que les changements observés chez les bons élèves ; le troisième semble avoir tout simplement mélangé l&#8217;ensemble des valeurs, avec des changements complètement aléatoires pour chaque valeur. Ceci explique le taux de changements de 99,79 % du tableau ci-dessus.</p>



<p class="wp-block-paragraph">Notons que standardiser les valeurs d&#8217;un jeu de données en observant les variantes internes n&#8217;est clairement pas la meilleure approche&nbsp;: il est nettement préférable, quand c&#8217;est possible, de comparer les valeurs à une base de référence, qui, dans ce cas-ci, consisterait en la liste de tous les noms de rue avec leur orthographe officielle.</p>



<h2 class="wp-block-heading">Évaluation chiffrée</h2>



<p class="wp-block-paragraph">De sorte à pouvoir comparer de façon globale les itérations, nous avons identifié une trentaine de critères que nous avons évalués sur chacune des 3 itérations des 5 outils considérés. Pour certains critères, nous avons attribué 2 points s&#8217;il était correctement implémenté ou presque ; 1 point s&#8217;il l&#8217;était partiellement et 0 s&#8217;il ne l&#8217;était pas du tout ou très mal. Certains autres critères ont été évalués de façon numérique, comme par exemple le nombre de valeurs identifiées comme &#8220;sans numéro&#8221;. Pour ce type de critères, nous les avons transformés en une échelle de 0 à 2. Nous avons ensuite sommé ces différentes valeurs pour obtenir un score. Ce score global n&#8217;est donc pas un pourcentage et n&#8217;a pas de signification en soi. Il nous permet simplement de comparer, avec un certain degré d&#8217;objectivité, les différentes exécutions des différents outils.</p>



<p class="wp-block-paragraph">Le tableau ci-dessous reprend deux informations&nbsp;: le score moyen observé sur les 3 itérations du même outil, ainsi que sa déviation standard. Il va de soi qu&#8217;il faut prendre ces mesures avec des pincettes, étant donné qu&#8217;elles ne se rapportent chacune qu&#8217;à trois valeurs. Mais elles permettent néanmoins d&#8217;objectiver dans une certaine mesure nos observations. Un score plus élevé indique un meilleur respect des consignes. Une déviation standard plus faible indique une meilleure cohérence entre les exécutions du même outil.</p>



<figure class="wp-block-image alignleft size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png"><img loading="lazy" decoding="async" width="464" height="372" src="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png" alt="" class="wp-image-30306" style="aspect-ratio:1.2473746114424935;width:516px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2.png 464w, https://www.smalsresearch.be/wp-content/uploads/2026/09/image-2-300x241.png 300w" sizes="auto, (max-width: 464px) 100vw, 464px" /></a></figure>



<p class="wp-block-paragraph">Le graphique ci-contre reprend deux informations&nbsp;: le score moyen observé sur les 3 itérations du même outil (hauteur de la barre bleue, ainsi que les valeurs), ainsi que l&#8217;écart entre le plus petit et le plus haut score observé (ligne orange). Il va de soi qu&#8217;il faut prendre ces mesures avec des pincettes, étant donné qu&#8217;elles ne se rapportent chacune qu&#8217;à trois valeurs. Mais elles permettent néanmoins d&#8217;objectiver dans une certaine mesure nos observations. Un score plus élevé indique un meilleur respect des consignes. Une écart plus faible indique une meilleure cohérence entre les exécutions du même outil.</p>



<p class="wp-block-paragraph">Ces chiffres confirment le sentiment que notre analyse nous avait montré. Claude est nettement vainqueur, tant en terme de score global que de stabilité. Il est suivi de peu par ChatGPT. On observe ensuite sensiblement derrière, au coude à coude, Gemini et Copilot, et loin derrière Mistral. Rappelons qu&#8217;il s&#8217;agit de la version gratuite, mais c&#8217;est également le cas pour Claude.</p>



<h2 class="wp-block-heading">Sentiment général</h2>



<p class="wp-block-paragraph">Notre sentiment général lors de cet exercice est que globalement, on a l&#8217;impression d&#8217;avoir à notre disposition un développeur junior, très rapide, certes, mais moyen et derrière lequel il faut être continuellement. Il fait plein d&#8217;erreurs, manque de constance. Si on lui demande de corriger un problème, il y a beaucoup de chances qu&#8217;il en introduise en même temps d&#8217;autres dans une toute autre partie du code. Si on lui demande deux fois la même chose, il fait parfois des choix radicalement différents.</p>



<p class="wp-block-paragraph">Clairement, l&#8217;approche simple (envoyer d&#8217;un bloc toutes les instructions, en se fiant au code produit) ne marche pour aucun des outils, en tout cas pour le cas d&#8217;utilisation présent. À minima, il faut demander plusieurs fois la même chose, pour évaluer le résultat et combiner les meilleurs morceaux de chaque outil. Mais le temps qu&#8217;il nous a fallu pour mettre en place cette analyse comparative, identifier les problèmes, les objectiver, a probablement été proche du temps que nous aurions mis pour écrire le script intégralement.</p>



<p class="wp-block-paragraph">Peut-être que notre prompt mérite des améliorations. Peut-être contenait-il trop d&#8217;instructions, et aurions-nous dû adopter une démarche plus itérative, mais cela aurait notablement compliqué les comparaisons. La demande de ne pas uniquement nettoyer des adresses, mais de fournir le script pour le faire, permettant ainsi une réutilisation, rajouter bien sûr une contrainte aux outils. Dans de futurs travaux, nous ferons sauter cette contrainte. Une approche plus &#8220;agentic&#8221;, ou un agent pourrait demander plusieurs scripts et les comparer, peut probablement s&#8217;avérer bénéfique.</p>



<p class="wp-block-paragraph">Notons que nous avons également tenté une amélioration&nbsp;: nous avons demandé à ChatGPT &#8220;<em>How to improve the attached prompt to make sure ChatGPT implements correctly all instructions?</em>&#8220;. Il a adapté notre fichier d&#8217;instructions, pour être beaucoup plus précis et détaillé. Il en a résulté un fichier trois fois plus volumineux. Mais ça n&#8217;a malheureusement pas vraiment amélioré la situation, bien au contraire. Copilot a tout simplement abandonné aux deux premières tentatives. À la troisième, il nous a fourni un listing, mais pas le script. Gemini a été en mesure de générer un script (dont deux sur trois qu&#8217;il a fallu modifier pour qu&#8217;ils s&#8217;exécutent), mais jamais de l&#8217;exécuter. Et nous avons à nouveau observé de grandes différences entre les différentes itérations du même outil. </p>



<p class="wp-block-paragraph">Par ailleurs, pour cette problématique précise de nettoyage d&#8217;adresse, il existe de nombreux outils classiques très efficaces pour réaliser cette tâche. La tendance du &#8220;tout à l&#8217;IA&#8221; que l&#8217;on observe de plus en plus mérite sans doute d&#8217;être modérée. À l&#8217;heure des feux de forêts massifs, des canicules à répétition et des inondations dévastatrices, se servir d&#8217;outils considérablement plus consommateur en énergie et en eau que des méthodes classiques et éprouvées, plus stables et souvent plus efficaces, est de toute évidence une approche à remettre en question.</p>



<p class="wp-block-paragraph">L&#8217;informatique de demain doit sans nul doute faire une place majeure à l&#8217;IA générative, qui a une plus-value incontestable à bien des égards. Mais sans pour autant le faire de façon aveugle et mettre à la poubelle les méthodes traditionnelles qui restent pour de nombreux aspects clairement plus performantes. Il faut par ailleurs être conscient du manque de constance de ces outils. Ce n&#8217;est certes pas un problème dans de nombreuses situations, mais peut l&#8217;être pour certaines, en particulier quand un choix peut avoir des conséquences juridiques ou médicales.</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>&#8220;Talk to your data&#8221; met ChatGPT</title>
		<link>https://www.smalsresearch.be/talk-to-your-data-met-chatgpt/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Fri, 22 May 2026 09:08:08 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[ChatGPT]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=29352</guid>

					<description><![CDATA[De recente opkomst van GenAI heeft tal van sectoren op hun kop gezet, waaronder de IT-sector zelf. Het domein van de data-analyse, of data science, vormt hierop geen uitzondering.]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"></p>



<p class="wp-block-paragraph"><em>Cet article est aussi disponible en <a href="https://www.smalsresearch.be/talk-to-your-data-avec-chatgpt/">français</a>.</em></p>



<p class="wp-block-paragraph">De recente opkomst van generatieve artificiële intelligentie (GenAI) heeft tal van sectoren op hun kop gezet, waaronder de IT-sector zelf (<a href="https://www.smalsresearch.be/opensource-coding-assistants/">coding</a> <a href="https://www.smalsresearch.be/vibe-coding-met-agentic-ides/">assistants</a>, geautomatiseerd testen, vertaling van programmeertalen…). Het domein van de data-analyse, of <em>data science</em>, vormt hierop geen uitzondering. Vaak wordt gezegd dat 80% van de tijd van een <em>data scientist</em> wordt besteed aan het pre-processing van data (ingestion, transformatie, opschoning, verrijking…), wat vaak arbeidsintensief en repetitief is, en dat slechts 20% een beroep doet op zijn meest geavanceerde vaardigheden. Kan GenAI worden ingezet om deze 80% te versnellen? Aan de hand van dit inleidende artikel zullen we aantonen dat het antwoord grotendeels positief is, maar dat bovendien ook de resterende 20% al in belangrijke mate is aangepakt. We bekijken in hoeverre een tool als ChatGPT kan helpen bij het analyseren van data: begrijpen wat ze bevatten, statistische indicatoren extraheren, afwijkingen identificeren, specifieke fenomenen verklaren….</p>



<p class="wp-block-paragraph">Om dit te illustreren, baseren we ons op de dataset <a href="https://www.kaggle.com/datasets/nadianassiri/urgences-data">“urgences data”, beschikbaar op Kaggle</a>.<br>&nbsp;Het betreft een CSV-bestand van ~430 MB, bestaande uit 336.253 rijen en 39 kolommen, zonder bijbehorende metadata. Elke rij komt overeen met een bezoek van een patiënt aan de spoeddienst van een (niet nader genoemd) ziekenhuis in Noord-Frankrijk, tussen 6 januari 2016 en 6 december 2020. Het bevat een schat aan informatie: datum en tijdstip van aankomst en vertrek, vervoermiddel, oorzaak, leeftijd, een aantal medische parameters, zoals hartslag, bloeddruk, temperatuur, zuurstofsaturatie, evenals booleaanse waarden die lijken aan te geven of aanvullende onderzoeken zijn voorgeschreven (bloedonderzoek, röntgenfoto, echografie, CT-scan, MRI…)</p>



<p class="wp-block-paragraph">We gaan gebruikmaken van “Data Analyst”, een van de “GPT’s” die in ChatGPT worden aangeboden. Aangezien de gratis versie beperkt is tot een zeer klein aantal vragen, hebben we een betaalde versie (“Personal Plus”) gebruikt. Voor deze oefening hebben we in het Engels gecommuniceerd, maar vergelijkbare resultaten zouden waarschijnlijk ook in het Frans of Nederlands zijn verkregen.</p>



<h1 class="wp-block-heading">Voorafgaande analyse</h1>



<p class="wp-block-paragraph">Een eerste stap kan bestaan uit het simpelweg indienen van het te analyseren bestand bij “Data Analyst” en hem te vragen wat hij daarin kan vinden. Meer formeel levert een vraag als “<em>What useful insight can you extract from those data?</em>” ons het onderstaande resultaat op.</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-3 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png"><img loading="lazy" decoding="async" width="874" height="1433" data-id="26614" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png" alt="" class="wp-image-26614" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png 874w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-183x300.png 183w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-625x1024.png 625w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-768x1259.png 768w" sizes="auto, (max-width: 874px) 100vw, 874px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png"><img loading="lazy" decoding="async" width="823" height="1492" data-id="26616" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png" alt="" class="wp-image-26616" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png 823w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-165x300.png 165w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-565x1024.png 565w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-768x1392.png 768w" sizes="auto, (max-width: 823px) 100vw, 823px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png"><img loading="lazy" decoding="async" width="853" height="882" data-id="26615" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png" alt="" class="wp-image-26615" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png 853w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3-290x300.png 290w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3-768x794.png 768w" sizes="auto, (max-width: 853px) 100vw, 853px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;What useful insight can you extract from those data?&#8221;</figcaption></figure>



<p class="wp-block-paragraph">We verkrijgen een resultaat dat een structuur volgt die in bijna alle antwoorden terug te vinden is:</p>



<ol class="wp-block-list">
<li>Een reeks grafieken. Hier zien we een leeftijdsverdeling van de patiënten, de gemiddelde verdeling per tijdstip van de dag, evenals de verdeling van de bestemming (terug naar huis, interne overplaatsing…). Merk op dat ChatGPT, zonder dat wij daar iets over hebben gezegd, begrepen heeft dat het om patiënten van een spoeddienst ging;</li>



<li>Een gestructureerde tekstanalyse van wat het uit de gegevens heeft kunnen opmaken. De demografische gegevens van de patiënten, de piekuren, waar de patiënten na vertrek naartoe gaan en hoe ze zijn aangekomen;</li>



<li>Strategische voorstellen;</li>



<li>Voorstellen voor de volgende stappen. “<em>If you’d like, I can next:</em>”, gevolgd door een reeks relevante prompts om de analyse voort te zetten (die je helaas moet kopiëren en plakken).</li>
</ol>



<figure class="wp-block-image alignright size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png"><img loading="lazy" decoding="async" width="671" height="681" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png" alt="" class="wp-image-26618" style="aspect-ratio:1;object-fit:cover;width:320px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png 671w, https://www.smalsresearch.be/wp-content/uploads/2026/03/image-296x300.png 296w" sizes="auto, (max-width: 671px) 100vw, 671px" /></a></figure>



<p class="wp-block-paragraph">Bovendien eindigt de tekst altijd met een link “&lt;/&gt;”, die niet voorkomt in een “standaard” ChatGPT-chat en waarop je kan klikken om de Python-code te verkrijgen waarop deze analyse is gebaseerd. Deze code, die is gemaakt met behulp van de Python-library “Pandas” (een van de meest gebruikte open-source tools voor data-analyse en data science), maakt het mogelijk om de voorgestelde grafieken te genereren, evenals alle cijfers die in de beschrijvingen worden gebruikt. Het is dus volkomen mogelijk om deze code niet alleen direct te gebruiken, maar ook om er zeker van te zijn dat de cijfers niet volledig verzonnen zijn, maar gebaseerd zijn op algemene statistische modellen en zorgvuldig berekend zijn op basis van de verstrekte gegevens.</p>



<p class="wp-block-paragraph">Zo konden we met één enkele zin en na amper een minuut wachten drie grafieken, Python-code en een beschrijvende tekst verkrijgen, waar een data scientist normaal gesproken meerdere uren over zou hebben gedaan. Dit is natuurlijk een zeer beknopte eerste benadering. Maar we kunnen nog verder gaan.</p>



<p class="wp-block-paragraph">We kunnen bijvoorbeeld vragen naar een statistische beschrijving voor elke kolom. Het resultaat is hier een lange, zeer gestructureerde beschrijving, per type variabele (numeriek of categorisch), met een reeks indicatoren: gemiddelde, minimum/maximum, aantal ontbrekende waarden… evenals een opmerking (<em>“Not usable for analysis”, “Vital signs moderately complete”, “Excellent for resource utilization analysis”, “Likely categorical indicator”…</em>). De tool biedt ons ook enkele opmerkingen met betrekking tot de kwaliteit van de gegevens (bijvoorbeeld: <em>“Outliers: Age max = 218 (likely error)”</em>).</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-4 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1.png"><img loading="lazy" decoding="async" width="567" height="1024" data-id="26621" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-567x1024.png" alt="" class="wp-image-26621" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-567x1024.png 567w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-166x300.png 166w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-768x1388.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-850x1536.png 850w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1.png 860w" sizes="auto, (max-width: 567px) 100vw, 567px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2.png"><img loading="lazy" decoding="async" width="509" height="1024" data-id="26619" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-509x1024.png" alt="" class="wp-image-26619" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-509x1024.png 509w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-149x300.png 149w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-768x1546.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-763x1536.png 763w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2.png 828w" sizes="auto, (max-width: 509px) 100vw, 509px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png"><img loading="lazy" decoding="async" width="831" height="914" data-id="26620" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png" alt="" class="wp-image-26620" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png 831w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3-273x300.png 273w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3-768x845.png 768w" sizes="auto, (max-width: 831px) 100vw, 831px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;Perform descriptive statistics on each column&#8221;</figcaption></figure>



<p class="wp-block-paragraph">Op dezelfde manier kunnen we een “EDA” (Exploratory Data Analysis) aanvragen, die een vergelijkbare analyse oplevert, die deels overlapt maar ook andere aspecten behandelt.</p>



<figure class="wp-block-gallery has-nested-images columns-4 is-cropped wp-block-gallery-5 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1.png"><img loading="lazy" decoding="async" width="532" height="1024" data-id="26622" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-532x1024.png" alt="" class="wp-image-26622" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-532x1024.png 532w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-156x300.png 156w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-768x1478.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-798x1536.png 798w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1.png 827w" sizes="auto, (max-width: 532px) 100vw, 532px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2.png"><img loading="lazy" decoding="async" width="546" height="1024" data-id="26624" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-546x1024.png" alt="" class="wp-image-26624" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-546x1024.png 546w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-160x300.png 160w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-768x1441.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-818x1536.png 818w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2.png 820w" sizes="auto, (max-width: 546px) 100vw, 546px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3.png"><img loading="lazy" decoding="async" width="560" height="1024" data-id="26625" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-560x1024.png" alt="" class="wp-image-26625" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-560x1024.png 560w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-164x300.png 164w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-768x1403.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3.png 827w" sizes="auto, (max-width: 560px) 100vw, 560px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4.png"><img loading="lazy" decoding="async" width="567" height="1024" data-id="26623" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-567x1024.png" alt="" class="wp-image-26623" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-567x1024.png 567w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-166x300.png 166w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-768x1388.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4.png 830w" sizes="auto, (max-width: 567px) 100vw, 567px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;Provide an EDA for this dataset&#8221;</figcaption></figure>



<p class="wp-block-paragraph">Met dit soort “prompt” hebben we dus binnen enkele minuten een eerste gedetailleerd, cijfermatig maar duidelijk en begrijpelijk overzicht van een redelijk omvangrijke dataset. ChatGPT begrijpt, of gedraagt zich in ieder geval alsof het de inhoud van de gegevens begrijpt:</p>



<figure class="wp-block-image alignright size-medium"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30.png"><img loading="lazy" decoding="async" width="300" height="190" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-300x190.png" alt="" class="wp-image-26626" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-300x190.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-768x485.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30.png 845w" sizes="auto, (max-width: 300px) 100vw, 300px" /></a></figure>



<ul class="wp-block-list">
<li>De tool berekent een “<em>length of stay</em>” en interpreteert dus duidelijk twee kolommen (DH_arrivee en DH_sortie). Er is echter een klein probleempje: in de gegevens bevat het aankomsttijdstip een datum en een uur, maar de “DH_sortie” bevat alleen de datum (met 00:00 als uur), waardoor de berekening weinig relevant is, vooral voor korte verblijven. Maar als we hem vragen hoe hij deze &#8220;<em>length of stay</em>&#8221; heeft berekend, wijst hij op het probleem;</li>



<li>Hij ‘begrijpt’ dat de kolom ‘Code_CCMU’ (met de codes 1, 2, 3, 4, 5, P of D) verwijst naar de Franse nomenclatuur van de ‘<a href="https://fr.wikipedia.org/wiki/Classification_clinique_des_malades_aux_urgences">Classification Clinique des Malades aux Urgences</a>’ en de ernst aangeeft. Hij stelt voor om een “severity analysis (CCMU code distribution)” uit te voeren, waarin hij de codes correct interpreteert;</li>



<li>Hij komt met voorstellen die weliswaar enigszins naïef zijn, maar relevant in deze context. Hier volgen twee voorbeelden:</li>
</ul>



<figure class="wp-block-gallery has-nested-images columns-default wp-block-gallery-6 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png"><img loading="lazy" decoding="async" width="627" height="418" data-id="26627" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png" alt="" class="wp-image-26627" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png 627w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41-300x200.png 300w" sizes="auto, (max-width: 627px) 100vw, 627px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png"><img loading="lazy" decoding="async" width="530" height="294" data-id="26628" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png" alt="" class="wp-image-26628" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png 530w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59-300x166.png 300w" sizes="auto, (max-width: 530px) 100vw, 530px" /></a></figure>
</figure>



<h1 class="wp-block-heading">Analyse per categorie</h1>



<p class="wp-block-paragraph">Bij het bekijken van de gegevens viel ons op dat er twee kolommen zijn die betrekking hebben op de reden van opname van de patiënt: een kolom “motif_entree”, die zeer weinig gestructureerd is ( “Trauma cheville G”, “A avalé une LED avec une pile”…) en een andere “semi-gestructureerde” kolom: “Cardiologie: Douleur thoracique atypique”, “Pneumologie: Dyspnée sans détresse”, “Toxicologie: Alcoolisation/Ivresse aigue”… Het zou interessant zijn om bepaalde elementen te kunnen analyseren op basis van een “categorie”: “Cardiologie”, “Pneumologie”, “Toxicologie”…</p>



<p class="wp-block-paragraph">We kunnen ChatGPT eenvoudigweg vragen “extract categories from motif_venue”, zonder het enige informatie te geven over hoe dit moet gebeuren. Als antwoord krijgen we dan een overzicht van deze nieuwe attributen, met uitleg over hoe dit tot stand is gekomen, evenals enkele relevante opmerkingen over de kwaliteit van de gegevens:</p>



<figure class="wp-block-gallery has-nested-images columns-default wp-block-gallery-7 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png"><img loading="lazy" decoding="async" width="725" height="746" data-id="26632" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png" alt="" class="wp-image-26632" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png 725w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55-292x300.png 292w" sizes="auto, (max-width: 725px) 100vw, 725px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png"><img loading="lazy" decoding="async" width="572" height="314" data-id="26633" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png" alt="" class="wp-image-26633" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png 572w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20-300x165.png 300w" sizes="auto, (max-width: 572px) 100vw, 572px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Een vraag die dan natuurlijk in ons opkomt, is hoe deze zich in de loop van de tijd gedragen. We kunnen ons bijvoorbeeld voorstellen dat longproblemen vooral in de winter voorkomen, in de periode waarin griep en andere virussen heersen. Maar hoe zit het met de andere aandoeningen?</p>



<figure class="wp-block-image alignleft size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png"><img loading="lazy" decoding="async" width="592" height="491" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png" alt="" class="wp-image-26634" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png 592w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart-300x249.png 300w" sizes="auto, (max-width: 592px) 100vw, 592px" /></a></figure>



<p class="wp-block-paragraph">Laten we ChatGPT vragen: “<em>Plot occurrence line charts grouped by cleansed categories, for the top 10</em>“. We krijgen dan de grafiek tegenover deze tekst te zien, samen met een reeks opmerkingen. Men kan verrast zijn door de duizelingwekkende daling van de cijfers, over alle categorieën heen, die zich begin 2020 voordeed. Maar iedereen die in deze periode niet onder een steen heeft geleefd, zal de reden hiervoor snel hebben begrepen… wat ChatGPT ook niet is ontgaan, zoals blijkt uit een van zijn opmerkingen:</p>



<p class="wp-block-paragraph">&#8220;<em>The sharp drop in early 2020 is visible across all categories — a clear COVID shock to ED visit</em>&#8220;</p>



<p class="wp-block-paragraph">Om seizoensgebonden trends te verkrijgen, kunnen we vragen om de drie jaren waarvoor we volledige gegevens hebben bij elkaar op te tellen en de gegevens af te vlakken, waarbij we uitgaan van een voortschrijdend gemiddelde over 7 dagen: &#8220;<em>For the top 10 cleansed categories, plot the number of visits per date in year (summing up values for 2017, 2018 and 2019, excluding 2016 and 2020), with a moving average of 7 days</em>&#8220;.</p>



<p class="wp-block-paragraph">Na wat vallen en opstaan met prompts om de grafieklegende weer te geven of diverse aspecten aan te passen, verkrijgen we het volgende resultaat:</p>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg.png"><img loading="lazy" decoding="async" width="1024" height="504" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-1024x504.png" alt="" class="wp-image-26637" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-1024x504.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-300x148.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-768x378.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg.png 1186w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<p class="wp-block-paragraph">Zoals verwacht merken we dat longziekten (in het bruin) in de winter vaker voorkomen dan in de zomer, maar wat verrassend is, is die enorme piek in de stomatologie helemaal aan het einde van het jaar. Nadat we ons ervan hadden verzekerd dat de piek zich inderdaad elk jaar voordeed, met enkele uitschieters die we hier buiten beschouwing laten, stelden we de vraag: “<em>how to explain the peak of total visits for stomatology for the last week?</em>”.We waren duidelijk onder de indruk van de relevantie van het antwoord.</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-8 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1.png"><img loading="lazy" decoding="async" width="609" height="1024" data-id="26638" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-609x1024.png" alt="" class="wp-image-26638" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-609x1024.png 609w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-179x300.png 179w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-768x1291.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1.png 833w" sizes="auto, (max-width: 609px) 100vw, 609px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2.png"><img loading="lazy" decoding="async" width="654" height="1024" data-id="26639" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-654x1024.png" alt="" class="wp-image-26639" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-654x1024.png 654w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-192x300.png 192w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-768x1202.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2.png 815w" sizes="auto, (max-width: 654px) 100vw, 654px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Twee verklaringen, die ChatGPT niet in de dataset heeft kunnen vinden, maar alleen door een verband te leggen met zijn “algemene kennis”, lijken ons zeer aannemelijk:</p>



<ul class="wp-block-list">
<li>Tandartspraktijken zijn tijdens de feestdagen grotendeels gesloten (of meer in het algemeen tijdens de vakantie, gezien de twee kleinere pieken);</li>



<li>Veel mensen willen hun vergoedingsmogelijkheden vóór het einde van het jaar ‘volledig benutten’.</li>
</ul>



<p class="wp-block-paragraph">Het spreekt voor zich dat nader onderzoek nodig is alvorens hieruit operationele beslissingen te trekken, maar we hebben hier al tegen zeer lage kosten een reeks hypothesen om te onderzoeken.</p>



<h1 class="wp-block-heading">Beperkingen</h1>



<p class="wp-block-paragraph">Hoewel een eerste overzicht indrukwekkend kan lijken, is voorzichtigheid geboden. Het is duidelijk dat een dergelijk hulpmiddel een waardevolle bondgenoot kan zijn voor een <em>data scientist</em>, en zelfs professionals met beperkte technische vaardigheden in staat kan stellen toegang te krijgen tot een eerste analyse. Hier volgen enkele aandachtspunten uit onze ervaring met deze dataset.</p>



<ul class="wp-block-list">
<li>Je wordt geen “data scientist” alleen omdat je mooie grafieken kunt maken of cijfers kunt leveren. Je moet ze ook kunnen interpreteren en ervoor zorgen dat je niet in een van de vele valkuilen van de statistiek trapt;</li>



<li>In ons voorbeeld hebben we onze volledige dataset naar ChatGPT gestuurd. We hebben geen enkele controle over wat ermee gebeurt. In dit geval ging het om openbare gegevens, maar hoe zit het met vertrouwelijke gegevens? Het is altijd mogelijk om een LLM on-premise te installeren, maar de kosten zijn aanzienlijk hoger en de prestaties lager;</li>



<li>We hebben slechts één voorbeeld met één tabel getest. De literatuur lijkt aan te geven dat dit ook geldt voor een complexere database, maar we zullen dit nog moeten uitproberen;</li>



<li>De modus “vraag-antwoord” maakt alleen een lange, lineaire dialoog mogelijk. Al snel ontstaat er een lange, zeer rommelige discussie, met meerdere pogingen om de tool duidelijk te maken wat we willen. Als we bijvoorbeeld een criterium willen aanpassen voorafgaand aan een reeds uitgevoerde analyse (bijvoorbeeld door deze te beperken tot een bepaalde periode of bepaalde soorten gegevens te verwijderen), kunnen we niet teruggaan. Je moet dan een nieuwe chat starten of alle vragen opnieuw stellen;</li>



<li>In dezelfde lijn: als de invoergegevens worden bijgewerkt, moet het hele gesprek opnieuw worden gevoerd;</li>



<li>Naast het weinig gestructureerde karakter valt ook een gebrek aan consistentie op:
<ul class="wp-block-list">
<li>Bij het extraheren van de “categorie” hebben we gevraagd om, naast de scheiding op basis van de “:”, ook bepaalde kwaliteitsproblemen te corrigeren (bijvoorbeeld door “Cardiovasculaire” te vervangen door “Cardiologie” of “Intoxications” door “Toxicologie”). De vragen die kort na deze opschoning volgden, hielden rekening met de meest uitgebreide versie. Maar enkele dagen later, toen we het hadden over “cleansed categories”, hield ChatGPT het bij splitsen op basis van de “:”,</li>



<li>We hebben precies dezelfde vraag met een onderbreking van een maand gesteld. De numerieke waarden in het antwoord bleven consistent, maar de tekst was qua vorm radicaal anders (hoewel qua inhoud vergelijkbaar);</li>
</ul>
</li>



<li>De Python-code die bij elke vraag wordt voorgesteld, wordt daadwerkelijk uitgevoerd op de servers van ChatGPT, dat het resultaat gebruikt om zijn antwoord te genereren. Maar de beschikbare uitvoeringstijd is vrij beperkt. Het trainen van een eenvoudig machine learning-model (bijvoorbeeld “<em>Compute feature importance using Random Forest, with ‘scanner’ as target</em>”) leidt vaak tot een <em>time-out</em>. ChatGPT doet dan echter een reeks voorstellen om de benodigde rekentijd te verminderen (stratificatie, vermindering van het aantal bomen, vermindering van de cardinaliteit van bepaalde variabelen…).</li>
</ul>



<h2 class="wp-block-heading is-style-text-subtitle is-style-text-subtitle--9">Besluit</h2>



<p class="wp-block-paragraph">Een relevante aanpak zou waarschijnlijk zijn om ChatGPT of een van zijn concurrenten te gebruiken om de gegevens te verkennen, snel afwijkingen of kwaliteitsproblemen te identificeren, mogelijke benaderingen te vinden, geschikte voorspellingsmodellen te selecteren&#8230; Je zou ook kunnen vragen om grafieken, tabellen en cijfers te genereren&#8230; Vervolgens kunnen de voorgestelde stukjes code worden opgehaald en geïntegreerd in een script of een geconsolideerd notebook. Merk op dat er ook kan worden geïnterageerd met de API&#8217;s van ChatGPT en anderen, zoals Gemini. We zullen deze aanpak in een volgend artikel bespreken.</p>



<p class="wp-block-paragraph">Als we naar de toekomst kijken, zijn we niet bang dat GenAI data scientists zal vervangen. Het is duidelijk dat de onvermijdelijke toename van steeds grotere en complexere datavolumes de behoefte aan personeel dat deze analyse kan uitvoeren alleen maar zal vergroten. Maar GenAI zal hun beroep ongetwijfeld veranderen. En GenAI zal zeker de data scientists die het niet gebruiken, vervangen door data scientists die er effectief mee kunnen omgaan.</p>



<p class="wp-block-paragraph"></p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>&#8220;Talk to your data&#8221; avec ChatGPT</title>
		<link>https://www.smalsresearch.be/talk-to-your-data-avec-chatgpt/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Tue, 28 Apr 2026 07:08:41 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[Artificial intelligence]]></category>
		<category><![CDATA[ChatGPT]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/?p=26535</guid>

					<description><![CDATA[L'avènement récent du GenAI a bouleversé de nombreux secteurs, y compris directement en informatique. Le domaine de l'analyse de données n'y fait pas exception. Peut-on utiliser ces outils pour accélérer le travail des data scientists ?]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><em>Dit artikel is ook beschikbaar&nbsp;in het&nbsp;<a href="https://www.smalsresearch.be/talk-to-your-data-met-chatgpt/">Nederlands</a>.</em></p>



<p class="wp-block-paragraph">L&#8217;avènement récent de l&#8217;intelligence artificielle générative (GenAI) a bouleversé de nombreux secteurs, y compris directement en informatique (<a href="https://www.smalsresearch.be/vibe-coding-avec-les-ides-agentique/">assistants</a> de <a href="https://www.smalsresearch.be/opensource-coding-assistants-fr/">codage</a>, tests automatiques, traduction de langages de programmation&#8230;). Le domaine de l&#8217;analyse de données, ou <em>data science</em>, n&#8217;y fait pas exception. On dit souvent que 80 % du temps d&#8217;un <em>data scientist</em> est consacré à la préparation des données (ingestion, transformation, nettoyage, enrichissement&#8230;), qui est souvent laborieuse et répétitive, et que seulement 20 % fait appel à ses compétences les plus pointues. Peut-on utiliser le GenAI pour accélérer ces 80 %&nbsp;? Nous allons voir dans cet article préliminaire que la réponse est largement positive, mais qu&#8217;en plus les 20 % restants sont également fameusement entamés. Nous verrons dans quelle mesure un outil comme ChatGPT peut aider à analyser des données&nbsp;: comprendre ce qu&#8217;elles contiennent, en extraire des indicateurs statistiques, identifier des anomalies, expliquer des phénomènes particuliers&#8230;</p>



<p class="wp-block-paragraph">Pour illustrer ces propos, nous allons nous baser sur le jeu de données <a href="https://www.kaggle.com/datasets/nadianassiri/urgences-data">&#8220;urgences data&#8221;, disponible sur Kaggle</a>. Il s&#8217;agit d&#8217;un fichier CSV de ~430 MB, comprenant 336 253 lignes et 39 colonnes, sans aucune métadonnée associée. Chaque ligne correspond à la visite d&#8217;un patient dans le service d&#8217;urgences d&#8217;un hôpital (non identifié) du nord de la France, entre le 6 janvier 2016 et le 6 décembre 2020. On y trouve une multitude d&#8217;informations&nbsp;: date et heure d&#8217;arrivée et de sortie, moyen d&#8217;arrivée, motif, âge, un certain nombre de paramètres médicaux, tels que fréquence cardiaque, tension, température, saturation, ainsi que des booléens semblant indiquer si des examens complémentaires ont été prescrits (biologie, radio, échographie, scanner, IRM&#8230;)</p>



<p class="wp-block-paragraph">Nous allons utiliser &#8220;Data Analyst&#8221;, un des &#8220;GPTs&#8221; proposé dans ChatGPT. La version gratuite étant limitée à un très petit nombre de questions, nous avons utilisé une version payante (&#8220;Personal Plus&#8221;). Nous avons interagi en anglais pour cet exercice, mais des résultats semblables auraient probablement été obtenus en français ou en néerlandais.</p>



<h1 class="wp-block-heading">Analyse préliminaire</h1>



<p class="wp-block-paragraph">Une première étape peut consister à simplement soumettre le fichier à analyser à &#8220;Data Analyst&#8221;, et lui demander de dire ce qu&#8217;il peut y trouver. Plus formellement, une question telle que &#8220;<em>What useful insight can you extract from those data?</em>&#8221; nous fournit le résultat ci-dessous.</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-10 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png"><img loading="lazy" decoding="async" width="874" height="1433" data-id="26614" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png" alt="" class="wp-image-26614" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1.png 874w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-183x300.png 183w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-625x1024.png 625w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_1-768x1259.png 768w" sizes="auto, (max-width: 874px) 100vw, 874px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png"><img loading="lazy" decoding="async" width="823" height="1492" data-id="26616" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png" alt="" class="wp-image-26616" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2.png 823w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-165x300.png 165w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-565x1024.png 565w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_2-768x1392.png 768w" sizes="auto, (max-width: 823px) 100vw, 823px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png"><img loading="lazy" decoding="async" width="853" height="882" data-id="26615" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png" alt="" class="wp-image-26615" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3.png 853w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3-290x300.png 290w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_insight_3-768x794.png 768w" sizes="auto, (max-width: 853px) 100vw, 853px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;What useful insight can you extract from those data?&#8221;</figcaption></figure>



<p class="wp-block-paragraph">Nous obtenons un résultat qui va suivre une structure que l&#8217;on retrouvera dans presque toutes les réponses&nbsp;: </p>



<ol class="wp-block-list">
<li>Une série de graphiques. Ici, une distribution de l&#8217;âge des patients, la répartition moyenne suivant l&#8217;heure de la journée, ainsi que la répartition de l&#8217;orientation (retour domicile, transfert interne&#8230;). Notons que sans qu&#8217;on n&#8217;ait rien eu à dire, ChatGPT a compris qu&#8217;il s&#8217;agissait de patients d&#8217;un service d&#8217;urgences ;</li>



<li>Une analyse textuelle structurée de ce qu&#8217;il a pu comprendre des données. La démographie des patients, quelles sont les heures de pointe, où vont les patients à la sortie et comment sont-ils arrivés ;</li>



<li>Des propositions stratégiques ;</li>



<li>Des propositions d&#8217;étapes suivantes. &#8220;<em>If you&#8217;d like, I can next:</em>&#8220;, suivi d&#8217;une série de prompts pertinents pour continuer l&#8217;analyse (qu&#8217;il faut malheureusement copier-coller).</li>
</ol>



<figure class="wp-block-image alignright size-full is-resized"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png"><img loading="lazy" decoding="async" width="671" height="681" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png" alt="" class="wp-image-26618" style="aspect-ratio:1;object-fit:cover;width:320px;height:auto" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/image.png 671w, https://www.smalsresearch.be/wp-content/uploads/2026/03/image-296x300.png 296w" sizes="auto, (max-width: 671px) 100vw, 671px" /></a></figure>



<p class="wp-block-paragraph">Par ailleurs, le texte termine toujours par un lien &#8220;&lt;/&gt;&#8221;, que l&#8217;on ne retrouve pas dans un chat ChatGPT &#8220;de base&#8221; et sur lequel on peut cliquer pour obtenir le code Python sur lequel est basé cette analyse. Celui-ci, réalisé en utilisant la bibliothèque &#8220;Pandas&#8221; de Python (un des outils open source le plus répandu d&#8217;analyse de données/data science), permet de générer les graphiques proposés, ainsi que tous les chiffres utilisés dans les descriptions. Il est donc tout à fait possible non seulement d&#8217;utiliser ce code directement, mais aussi de s&#8217;assurer que les chiffres ne sont pas totalement inventés sur la base de modèles statistiques généraux et bien calculés à partir des données fournies.</p>



<p class="wp-block-paragraph">On a donc pu, en une seule phrase et à peine une minute d&#8217;attente, obtenir trois graphiques, du code Python et un texte descriptif qu&#8217;un data scientist aurait typiquement mis plusieurs heures à obtenir. Il s&#8217;agit, bien sûr, d&#8217;une première approche très sommaire. Mais on peut aller plus loin.</p>



<p class="wp-block-paragraph">On peut par exemple demander de fournir une description statistique pour chaque colonne. On obtient ici en résultat une longue description très structurée, par type de variable (numérique ou catégorique) avec une série d&#8217;indicateurs&nbsp;: moyenne, minimum/maximum, nombre de valeurs manquantes&#8230; ainsi qu&#8217;un commentaire (&#8220;<em>Not usable for analysis</em>&#8220;, &#8220;<em>Vital signs moderately complete</em>&#8220;, &#8220;<em>Excellent for resource utilization analysis</em>&#8220;, &#8220;<em>Likely categorical indicator&#8221;</em>&#8230;). L&#8217;outil nous propose également quelques observations liées à la qualité des données (Exemple&nbsp;: &#8220;<em>Outliers: Age max = 218 (likely error)</em>&#8220;).</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-11 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1.png"><img loading="lazy" decoding="async" width="567" height="1024" data-id="26621" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-567x1024.png" alt="" class="wp-image-26621" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-567x1024.png 567w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-166x300.png 166w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-768x1388.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1-850x1536.png 850w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_1-1.png 860w" sizes="auto, (max-width: 567px) 100vw, 567px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2.png"><img loading="lazy" decoding="async" width="509" height="1024" data-id="26619" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-509x1024.png" alt="" class="wp-image-26619" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-509x1024.png 509w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-149x300.png 149w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-768x1546.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2-763x1536.png 763w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_2.png 828w" sizes="auto, (max-width: 509px) 100vw, 509px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png"><img loading="lazy" decoding="async" width="831" height="914" data-id="26620" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png" alt="" class="wp-image-26620" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3.png 831w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3-273x300.png 273w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_descr_stats_3-768x845.png 768w" sizes="auto, (max-width: 831px) 100vw, 831px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;Perform descriptive statistics on each column&#8221;</figcaption></figure>



<p class="wp-block-paragraph">De façon similaire, on pourrait demander une &#8220;EDA&#8221; (Exploratory Data Analysis), qui fournira une analyse semblable, en partie redondante mais couvrant d&#8217;autres aspects.</p>



<figure class="wp-block-gallery has-nested-images columns-4 is-cropped wp-block-gallery-12 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1.png"><img loading="lazy" decoding="async" width="532" height="1024" data-id="26622" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-532x1024.png" alt="" class="wp-image-26622" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-532x1024.png 532w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-156x300.png 156w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-768x1478.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1-798x1536.png 798w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_1.png 827w" sizes="auto, (max-width: 532px) 100vw, 532px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2.png"><img loading="lazy" decoding="async" width="546" height="1024" data-id="26624" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-546x1024.png" alt="" class="wp-image-26624" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-546x1024.png 546w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-160x300.png 160w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-768x1441.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2-818x1536.png 818w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_2.png 820w" sizes="auto, (max-width: 546px) 100vw, 546px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3.png"><img loading="lazy" decoding="async" width="560" height="1024" data-id="26625" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-560x1024.png" alt="" class="wp-image-26625" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-560x1024.png 560w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-164x300.png 164w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3-768x1403.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_3.png 827w" sizes="auto, (max-width: 560px) 100vw, 560px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4.png"><img loading="lazy" decoding="async" width="567" height="1024" data-id="26623" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-567x1024.png" alt="" class="wp-image-26623" style="aspect-ratio:1" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-567x1024.png 567w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-166x300.png 166w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4-768x1388.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_eda_4.png 830w" sizes="auto, (max-width: 567px) 100vw, 567px" /></a></figure>
<figcaption class="blocks-gallery-caption wp-element-caption">&#8220;Provide an EDA for this dataset&#8221;</figcaption></figure>



<p class="wp-block-paragraph">Avec ce type de &#8220;prompt&#8221;, on a donc, en quelques minutes seulement, un premier aperçu détaillé, chiffré mais clair et facile à comprendre d&#8217;un jeu de données raisonnablement volumineux. ChatGPT comprend, ou à tout le moins se comporte comme s&#8217;il comprenait le contenu des données&nbsp;:</p>



<figure class="wp-block-image alignright size-medium"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30.png"><img loading="lazy" decoding="async" width="300" height="190" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-300x190.png" alt="" class="wp-image-26626" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-300x190.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30-768x485.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h10_30.png 845w" sizes="auto, (max-width: 300px) 100vw, 300px" /></a></figure>



<ul class="wp-block-list">
<li>Il calcule un &#8220;<em>length of stay</em>&#8220;, interprétant donc bien deux colonnes (DH_arrivee et DH_sortie). Petit bémol cependant&nbsp;: dans les données, l&#8217;heure d&#8217;arrivée contient une date et une heure, mais le &#8220;DH_sortie&#8221; uniquement la date (avec 00:00 comme heure), rendant le calcul peu pertinent, surtout pour les courts séjours. Mais si on lui demande comment il a calculé ce &#8220;<em>length of stay</em>&#8220;, il fait remarquer le problème ;</li>



<li>Il &#8220;comprend&#8221; que la colonne &#8220;Code_CCMU&#8221; (avec les codes 1, 2, 3, 4, 5, P ou D) fait référence à la nomenclature française de la &#8220;<a href="https://fr.wikipedia.org/wiki/Classification_clinique_des_malades_aux_urgences">Classification Clinique des Malades aux Urgences</a>&#8221; et dénote la gravité. Il propose de faire une &#8220;severity analysis (CCMU code distribution)&#8221;, dans laquelle il interprète correctement les codes ;</li>



<li>Il fait des propositions, certes un peu naïves, mais pertinentes dans le contexte, dont voici deux exemples&nbsp;:</li>
</ul>



<figure class="wp-block-gallery has-nested-images columns-default wp-block-gallery-13 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png"><img loading="lazy" decoding="async" width="627" height="418" data-id="26627" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png" alt="" class="wp-image-26627" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41.png 627w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h14_41-300x200.png 300w" sizes="auto, (max-width: 627px) 100vw, 627px" /></a></figure>



<figure class="wp-block-image size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png"><img loading="lazy" decoding="async" width="530" height="294" data-id="26628" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png" alt="" class="wp-image-26628" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59.png 530w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h18_59-300x166.png 300w" sizes="auto, (max-width: 530px) 100vw, 530px" /></a></figure>
</figure>



<h1 class="wp-block-heading">Analyse par catégorie</h1>



<p class="wp-block-paragraph">En observant les données, nous avons remarqué deux colonnes concernant la raison d&#8217;arrivée du patient&nbsp;: une colonne &#8220;motif_entree&#8221;, très peu structurée (&#8220;Trauma cheville G&#8221;, &#8220;A avalé une LED avec une pile&#8221;&#8230;) et une autre &#8220;semi-structurée&#8221;&nbsp;: &#8220;Cardiologie: Douleur thoracique atypique&#8221;, &#8220;Pneumologie: Dyspnée sans détresse&#8221;, &#8220;Toxicologie: Alcoolisation/Ivresse aigue&#8221;&#8230; Il serait intéressant de pouvoir analyser certains éléments en fonction d&#8217;une &#8220;catégorie&#8221;&nbsp;: &#8220;Cardiologie&#8221;, &#8220;Pneumologie&#8221;, &#8220;Toxicologie&#8221;&#8230;</p>



<p class="wp-block-paragraph">On peut tout simplement demander à ChatGPT &#8220;<em>extract categories from motif_venue</em>&#8220;, sans lui donner aucune information sur la façon de procéder. On reçoit alors en réponse une distribution de ce nouvel attribut, expliquant comment il l&#8217;a réalisé, ainsi que quelques commentaires pertinents sur la qualité des données&nbsp;: </p>



<figure class="wp-block-gallery has-nested-images columns-default wp-block-gallery-14 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png"><img loading="lazy" decoding="async" width="725" height="746" data-id="26632" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png" alt="" class="wp-image-26632" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55.png 725w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h52_55-292x300.png 292w" sizes="auto, (max-width: 725px) 100vw, 725px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png"><img loading="lazy" decoding="async" width="572" height="314" data-id="26633" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png" alt="" class="wp-image-26633" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20.png 572w, https://www.smalsresearch.be/wp-content/uploads/2026/03/2026-03-06_15h53_20-300x165.png 300w" sizes="auto, (max-width: 572px) 100vw, 572px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Une question qui viendrait naturellement à l&#8217;esprit serait de voir comment celles-ci se comportent dans le temps. On peut par exemple imaginer que les problèmes pulmonaires surviennent surtout en hiver à l&#8217;époque des grippes et autres virus. Mais qu&#8217;en est-il des autres pathologies&nbsp;?</p>



<figure class="wp-block-image alignleft size-full"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png"><img loading="lazy" decoding="async" width="592" height="491" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png" alt="" class="wp-image-26634" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart.png 592w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart-300x249.png 300w" sizes="auto, (max-width: 592px) 100vw, 592px" /></a></figure>



<p class="wp-block-paragraph">Demandons à ChatGPT &#8220;<em>Plot occurrence line charts grouped by cleansed categories, for the top 10</em>&#8220;. Nous obtiendrons alors le graphique ci-contre, ainsi qu&#8217;une série de commentaires. On peut être surpris par la chute vertigineuse des chiffres, toutes catégories confondues, survenue début 2020. Mais toute personne n&#8217;ayant pas vécu dans une grotte à cette période en aura rapidement compris la raison&#8230; qui n&#8217;a pas échappé à ChatGPT, comme en témoigne un de ses commentaires&nbsp;:</p>



<p class="wp-block-paragraph">&#8220;<em>The sharp drop in early 2020 is visible across all categories — a clear COVID shock to ED visit</em>&#8220;</p>



<p class="wp-block-paragraph">Pour obtenir des tendances saisonnières, on peut demander de sommer les trois années pour lesquelles on a des données entières et de lisser les données, en considérant une moyenne glissante sur 7 jours&nbsp;: &#8220;<em>For the top 10 cleansed categories, plot the number of visits per date in year (summing up values for 2017, 2018 and 2019, excluding 2016 and 2020), with a moving average of 7 days</em>&#8220;.</p>



<p class="wp-block-paragraph">Après quelques essais-erreurs de prompts pour sortir la légende du graphique ou adapter divers aspects, on obtient le résultat suivant&nbsp;:</p>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg.png"><img loading="lazy" decoding="async" width="1024" height="504" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-1024x504.png" alt="" class="wp-image-26637" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-1024x504.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-300x148.png 300w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg-768x378.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/category_linechart_movavg.png 1186w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<p class="wp-block-paragraph">Comme on s&#8217;y attendait, on peut observer que les pathologies pulmonaires (en brun) sont plus élevées en hiver qu&#8217;en été, mais ce qui est surprenant, c&#8217;est cet énorme pic à la toute fin de l&#8217;année de la stomatologie. Après s&#8217;être assuré que le pic se reproduisait bien tous les ans avec quelques prompts que nous passerons sous silence, nous avons demandé &#8220;<em>how to explain the peak of total visits for stomatology for the last week?</em>&#8220;<em>. </em>Nous avons été clairement bluffés par la pertinence de la réponse. </p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-15 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1.png"><img loading="lazy" decoding="async" width="609" height="1024" data-id="26638" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-609x1024.png" alt="" class="wp-image-26638" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-609x1024.png 609w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-179x300.png 179w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1-768x1291.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_1.png 833w" sizes="auto, (max-width: 609px) 100vw, 609px" /></a></figure>



<figure class="wp-block-image size-large"><a href="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2.png"><img loading="lazy" decoding="async" width="654" height="1024" data-id="26639" src="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-654x1024.png" alt="" class="wp-image-26639" srcset="https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-654x1024.png 654w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-192x300.png 192w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2-768x1202.png 768w, https://www.smalsresearch.be/wp-content/uploads/2026/03/chatgpt_urgences_stomato_2.png 815w" sizes="auto, (max-width: 654px) 100vw, 654px" /></a></figure>
</figure>



<p class="wp-block-paragraph">Deux explications, que ChatGPT n&#8217;a pas pu trouver dans le jeu de données, mais uniquement en faisant le lien avec son &#8220;savoir général&#8221;, nous paraissent très plausibles&nbsp;:</p>



<ul class="wp-block-list">
<li>Les cabinets de dentisteries sont majoritairement fermés pendant les fêtes (ou plus généralement pendant les congés, vu les deux plus petits pics) ;</li>



<li>Beaucoup de monde veut &#8220;épuiser&#8221; ses possibilités de remboursement avant la fin de l&#8217;année. </li>
</ul>



<p class="wp-block-paragraph">Il va sans dire qu&#8217;un approfondissement serait nécessaire avant d&#8217;en tirer des décisions opérationnelles, mais on a déjà ici à très petits frais une série d&#8217;hypothèses à explorer.</p>



<h1 class="wp-block-heading">Limitations</h1>



<p class="wp-block-paragraph">Si un premier aperçu peut sembler impressionnant, il faut cependant rester prudent. De toute évidence, un tel outil peut être un allié précieux pour un <em>data scientist</em>, et peut même permettre à des profils &#8220;métiers&#8221; aux compétences techniques limitées d&#8217;accéder à une première analyse. Voici quelques points d&#8217;attention issus de notre expérience sur ce jeu de données.</p>



<ul class="wp-block-list">
<li>On ne devient pas &#8220;data scientist&#8221; simplement parce qu&#8217;on est capable de produire des beaux graphiques ou livrer des chiffres. Encore faut-il être capable de les interpréter, de s&#8217;assurer qu&#8217;on n&#8217;est pas tombé dans un des nombreux pièges que les statistiques nous tendent ;</li>



<li>Dans notre exemple, nous avons envoyé tout notre jeu de données à ChatGPT. Nous n&#8217;avons aucun contrôle sur ce qu&#8217;il en fait. Il s&#8217;agissait en l&#8217;occurrence de données publiques, mais qu&#8217;en sera-t-il avec des données confidentielles&nbsp;? Il est toujours possible d&#8217;installer un LLM on-premise, mais les coûts sont autrement plus élevés et les performances moindres ;</li>



<li>Nous n&#8217;avons testé qu&#8217;un exemple avec une seule table. La littérature semble montrer que ça reste valable avec une base de données plus complexe, il nous faudra encore l&#8217;expérimenter ;</li>



<li>Le mode &#8220;question-réponse&#8221; permet uniquement un long dialogue linéaire. On se retrouve vite avec une longue discussion très désordonnée, plusieurs tentatives pour arriver à faire comprendre à l&#8217;outil ce que l&#8217;on veut. Si l&#8217;on veut par exemple corriger un critère en amont d&#8217;une analyse déjà faite (par exemple, la limiter à une période dans le temps, ou éliminer certains types de données), on ne peut pas revenir en arrière. Il sera nécessaire de recommencer un nouveau chat, ou de reposer toutes les questions ;</li>



<li>Dans le même ordre d&#8217;idée, si les données d&#8217;entrée sont mises à jour, il sera nécessaire de recommencer toute la conversation ;</li>



<li>À côté de l&#8217;aspect peu structuré, on note aussi un manque de cohérence&nbsp;:
<ul class="wp-block-list">
<li>Lors de l&#8217;extraction de la &#8220;catégorie&#8221;, nous avons demandé, outre la séparation sur la base du &#8220;:&#8221;, de corriger également certains problèmes de qualité (pour par exemple remplacer &#8220;Cardiovasculaire&#8221; par &#8220;Cardiologie&#8221; ou &#8220;Intoxications&#8221; par &#8220;Toxicologie&#8221;). Les questions qui suivaient de près ce nettoyage considéraient la version la plus élaborée. Mais quelques jours après, quand nous évoquions &#8220;cleansed categories&#8221;, ChatGPT se contentait de la séparation sur la base du &#8220;:&#8221;,</li>



<li>Nous avons posé exactement la même question à un mois d&#8217;intervalle. Les valeurs numériques fournies dans la réponse restaient cohérentes, mais le texte était radicalement différent sur la forme (bien que semblable sur le fond) ;</li>
</ul>
</li>



<li>Le code Python proposé à chaque question est réellement exécuté sur les serveurs de ChatGPT qui se sert du résultat pour générer sa réponse. Mais le temps d&#8217;exécution disponible est assez limité. Entraîner un modèle de Machine Learning simple (par exemple &#8220;<em>Compute feature importance using Random Forest, with &#8216;scanner&#8217; as target</em>&#8220;) provoque souvent un <em>timeout</em>. Cependant, ChatGPT fait alors une série de propositions, visant à réduire le temps de calcul nécessaire (stratification, réduction du nombre d&#8217;arbres, diminution de la cardinalité de certaines variables&#8230;).</li>
</ul>



<h2 class="wp-block-heading">Conclusion</h2>



<p class="wp-block-paragraph">Une approche pertinente serait probablement d&#8217;utiliser ChatGPT ou un de ses concurrents pour découvrir les données, identifier rapidement des anomalies ou des problèmes de qualité, les approches possibles, les modèles de prédiction adaptés&#8230; On pourrait aussi demander de générer des graphiques, des tableaux, des chiffres&#8230; On pourra ensuite récupérer les morceaux de codes proposés qui pourront être intégrés dans un script ou un notebook consolidé. Notons que l&#8217;on peut également interagir avec les API de ChatGPT et autres Gemini. Nous aborderons cette approche dans un prochain article.</p>



<p class="wp-block-paragraph">En regardant vers l&#8217;avenir, nous ne craignons pas que le GenAI remplace les data scientists. De toute évidence, l&#8217;augmentation inévitable des volumes de données de plus en plus importants et complexes ne va faire qu&#8217;accroître la nécessité de personnel capable de mener leur analyse. Mais le GenAI va indiscutablement changer leur métier. Et le GenAI va certainement remplacer les data scientists qui ne l&#8217;utilisent pas par les data scientists qui sauront s&#8217;en servir efficacement.</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>recordlinkage &#8211; matching and record linkage library</title>
		<link>https://www.smalsresearch.be/recordlinkage-matching-and-record-linkage-library/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Mon, 20 Oct 2025 09:43:27 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Quick reviews]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/recordlinkage-matching-and-record-linkage-library/</guid>

					<description><![CDATA[(FR) Recordlinkage est une librairie Python permettant le « matching » (lier des enregistrements entre deux tables Pandas, librairie de manipulation et d&#8217;analyse de données) ou le « dédoublonnage » (détecter des doublons au sein d’une table Pandas). (NL) Recordlinkage is een Python-bibliotheek die het mogelijk maakt om records tussen twee Pandas-tabellen (bibliotheek voor gegevensmanipulatie en -analyse) te matchen [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><strong>(FR) </strong>Recordlinkage est une librairie Python permettant le « matching » (lier des enregistrements entre deux tables Pandas, librairie de manipulation et d&#8217;analyse de données) ou le « dédoublonnage » (détecter des doublons au sein d’une table Pandas).</p>



<p class="wp-block-paragraph"><strong>(NL) </strong>Recordlinkage is een Python-bibliotheek die het mogelijk maakt om records tussen twee Pandas-tabellen (bibliotheek voor gegevensmanipulatie en -analyse) te matchen (koppelen) of te ontdubbelen (dubbele records in een Pandas-tabel opsporen).</p>



<div data-wp-interactive="core/file" class="wp-block-file"><object data-wp-bind--hidden="!state.hasPdfPreview" hidden class="wp-block-file__embed" data="/wp-content/uploads/2025/10/QR-recordlinkage.pdf" type="application/pdf" style="width:100%;height:600px" aria-label="Embed of QR-recordlinkage."></object><a id="wp-block-file--media-cce1aac4-f3e4-4327-8133-543b8b4f479e" href="https://www.smalsresearch.be/wp-content/uploads/2025/10/QR-recordlinkage.pdf">QR-recordlinkage</a><a href="/wp-content/uploads/2025/10/QR-recordlinkage.pdf" class="wp-block-file__button wp-element-button" download aria-describedby="wp-block-file--media-cce1aac4-f3e4-4327-8133-543b8b4f479e">Download</a></div>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Het dark web, het Eldorado voor criminelen?</title>
		<link>https://www.smalsresearch.be/het-dark-web-het-eldorado-voor-criminelen/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Mon, 13 Oct 2025 08:02:26 +0000</pubDate>
				<category><![CDATA[[NL]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[DarkWeb]]></category>
		<category><![CDATA[Security]]></category>
		<category><![CDATA[Tor]]></category>
		<guid isPermaLink="false">/?p=24105</guid>

					<description><![CDATA[Het Tor-netwerk, dat oorspronkelijk werd opgezet om dissidenten in autoritaire landen te beschermen, staat tegenwoordig vol met illegale inhoud. Wat is er allemaal te vinden? We zetten het op een rijtje.]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-image alignright size-medium"><a href="/wp-content/uploads/2025/04/image-1.png"><img loading="lazy" decoding="async" width="300" height="181" src="/wp-content/uploads/2025/04/image-1-300x181.png" alt="" class="wp-image-22264" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-300x181.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-1024x619.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-768x464.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-1536x929.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1.png 1920w" sizes="auto, (max-width: 300px) 100vw, 300px" /></a></figure>



<p class="wp-block-paragraph"><a href="/le-dark-web-leldorado-des-criminels/" data-type="post" data-id="22566"><em>Version en français</em></a></p>



<p class="wp-block-paragraph">In <a href="/https-incognito-vpn-tor-waartegen-beschermt-het-ons/">onze laatste blogpost</a> hebben we de werking van de “Tor”-browser beschreven, die het mogelijk maakt om vrijwel onvindbaar op het internet te surfen. Dit is een van de twee manieren om Tor te gebruiken. De tweede manier, is om deze tool te gebruiken als toegangspoort tot het “Dark Web”. De afgelopen maanden hebben we deze duistere kant van het internet verkend. Wat is het? Wat kun je daar vinden? Hoe kun je daar je weg in vinden? In deze blogpost delen we onze bescheiden ervaring met de wereld die, hoewel hij oorspronkelijk werd opgericht om een veilige expressieruimte te bieden aan dissidenten van autoritaire regimes, vandaag in wezen een paradijs voor cybercriminelen is geworden.</p>



<p class="wp-block-paragraph">Laten we beginnen met een beetje woordenschat. Eerst maken we een onderscheid tussen twee concepten die maar al te vaak door elkaar worden gehaald: het internet en het web. Internet is een infrastructuur die duizenden netwerken met elkaar verbindt, waardoor elke machine die er deel van uitmaakt, waaronder het toestel waarmee je dit artikel leest, kan communiceren met (bijna) elke andere machine (bijvoorbeeld de server die onze website host). Het internet, dat sinds begin jaren 70 bestaat, heeft de ontwikkeling van een groot aantal toepassingen mogelijk gemaakt: e-mail, bestandsoverdracht (FTP), bediening op afstand (telnet, SSH en opvolgers), messaging, videoconferenties en het (World Wide) Web, dat begin jaren 90 bij CERN ontstond en het internet echt populair heeft gemaakt. Met behulp van een “<em>browser</em>” (de eerste was Mosaic, die zich ontwikkelde tot Netscape en nu Firefox is, maar ook Chrome, Edge of Opera) kan interactief een document worden weergegeven dat door een <em>webserver</em> is gegenereerd. Het web, officieel “World Wide Web” genoemd, is dus een van de vele toepassingen die gebruikmaken van de infrastructuur van het internet. Het bestaat uit een communicatieprotocol tussen de server en de browser (HTTP/HTTPS), een protocol voor het aanwijzen van een bron (URL) en een documentformaat (HTML).</p>



<p class="wp-block-paragraph">Algemeen wordt aangenomen dat de inhoud van het web in drie categorieën kan worden onderverdeeld:</p>



<ul class="wp-block-list">
<li>Het “<strong>Oppervlakteweb</strong>” (Surface Web, Clear Web) is het gedeelte dat rechtstreeks toegankelijk is met een browser, zonder toegangsbeperkingen en geïndexeerd door zoekmachines: deze blog, de inhoud van de meeste media, Wikipedia en tal van andere bronnen;</li>



<li>Het “<strong>Deep Web</strong>” is het deel van het web dat niet door zoekmachines wordt geïndexeerd. Het is toegankelijk via een klassieke browser, zolang je het adres kent of de privégegevens (gebruikersnaam, wachtwoord, enz.) die nodig zijn om het te kunnen bezoeken. De niet-publieke inhoud op sociale media, je mailbox, de inhoud van bedrijven met beperkte toegang, &#8230;</li>



<li>Het “<strong>Dark Web</strong>” is het deel van het web waarvoor specifieke tools of bepaalde configuraties vereist zijn om toegang te krijgen. Meestal heb je een browser zoals Tor nodig, maar ook een ‘.onion-adres’, een reeks van 56 tekens die onmogelijk te onthouden is (bijvoorbeeld http://juhanurmihxlp77nkq76byazcldy2hlmovfu2epvl5ankdibsot4csyd.onion/).</li>
</ul>



<p class="wp-block-paragraph">In deze blogpost gaat onze interesse uit naar dat laatste deel. We zouden eigenlijk eerder moeten spreken van “Dark Webs”. Daar zijn er meerdere van, die elk een eigen architectuur en verschillende technologieën gebruiken. De populairste zijn Tor en, ver achterop, I2P en Freenet (nu Hyphanet). We zullen ons in deze blogpost toespitsen op Tor.</p>



<p class="wp-block-paragraph">Indien we de Tor-browser gebruiken om naar een “Clear Web”-site te surfen (bijvoorbeeld <a href="https://www.smals.be">https://www.smals.be</a>), is de client zeer goed beschermd, maar de bezochte website niet: het IP-adres kan gemakkelijk worden achterhaald, en dus ook waar de website wordt gehost, en de autoriteiten van het betreffende land kunnen de website laten sluiten of zelfs veel informatie over de gebruikers verkrijgen. Dit wordt veroorzaakt doordat het Tor-netwerk geen controle heeft over de verbinding tussen het uitgangsnode en de doelserver.</p>



<p class="wp-block-paragraph">Er bestaat een manier waarop de host van een website zichzelf net zo goed kan beschermen als de client, zodat zijn IP-adres nooit wordt onthuld. Het idee is om eerst een klassieke webserver op te zetten (met bijvoorbeeld NGINX of Apache) en vervolgens op dezelfde machine een “Tor-server” te installeren (minder dan 5 minuten werk). De server genereert een “publieke sleutel” van 56 alfanumerieke tekens die als adres wordt gebruikt (in de vorm &lt;public key&gt;.onion), en voert deze in de gedecentraliseerde mappen van het Tor-netwerk in. Zo kan de beheerder van de betreffende website een “.onion”-adres publiceren dat niet meer toegankelijk is voor gebruikers van een klassieke browser en van waaruit het erg moeilijk, zo niet onmogelijk, is om hem te traceren. Interessant voor een dissident in een autoritair land, maar ook om een criminele onderneming veilig te beheren.</p>



<p class="wp-block-paragraph">Voor meer details: zowel de client als de server gebruiken een “Tor-circuit” van 3 nodes, om elkaar te vinden op een “meeting point” waardoor zowel de client als de server volledige anonimiteit gegarandeerd is.&nbsp;Maar in <a href="https://support.torproject.org/glossary/#circuit">bepaalde situaties zijn er tot 6 tussenliggende nodes</a>. Merk op dat wanneer je verbinding maakt met de Tor-browser met een “.onion”-dienst, de verbinding end-to-end versleuteld is. Het is dus niet noodzakelijk om een extra versleutelingslaag toe te voegen met HTTPS.</p>



<h1 class="wp-block-heading">Algemene opmerkingen</h1>



<p class="wp-block-paragraph">We hebben een paar weken besteed aan het verkennen van het Dark Web en het vertrouwd raken met deze wereld. Dat is natuurlijk niet genoeg om ons experts te noemen, maar wel voldoende om een eerste indruk te krijgen. We hebben deze verkenning uitgevoerd met Tails + Tor. We hebben uiteraard nooit iets besteld op de “markets”, hebben niet deelgenomen aan forums en hebben uiteraard geen websites bezocht die in strijd zijn met de wet en de goede zeden. Voordat we dieper ingaan op de verschillende soorten inhoud, beginnen we met enkele algemene opmerkingen:</p>



<figure class="wp-block-image alignright size-full"><a href="/wp-content/uploads/2025/05/darkweb_captcha2.png"><img loading="lazy" decoding="async" width="291" height="462" src="/wp-content/uploads/2025/05/darkweb_captcha2.png" alt="" class="wp-image-22597" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_captcha2.png 291w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_captcha2-189x300.png 189w" sizes="auto, (max-width: 291px) 100vw, 291px" /></a></figure>



<ul class="wp-block-list">
<li>het beheer van “.onion”-namen is bijzonder ongebruiksvriendelijk. Ze zijn onmogelijk te onthouden en het is erg moeilijk om er zeker van te zijn dat je op de juiste site bent en niet op een “gepirateerde versie”;</li>



<li>veel meer dan op het “klassieke” web zijn de adressen erg veranderlijk.<br>Als je een adres op een pagina vindt (bijvoorbeeld via een zoekmachine of een “hidden wiki”, zie hieronder), is de kans groot dat het niet meer geldig is.</li>



<li>een groot deel van de sites (markets, forums, zoekmachines) lijkt rechtstreeks uit het begin van de jaren 2000 te komen&#8230; een zeer “vintage” ontwerp en ergonomie, weinig gebruiksvriendelijk, waar je moeilijk naar kan kijken. Misschien onder andere omdat de meeste zijn ontworpen om zonder Javascript te kunnen werken, wat wordt aanbevolen om de risico&#8217;s te beperken;</li>



<li>aangezien wantrouwen de norm is op het Dark Web, worden veel sites beschermd door een Captcha-systeem, maar deze zijn bijzonder moeilijk op te lossen. Om te voorkomen dat robots ze kunnen oplossen, zijn ze zo ingesteld dat zelfs een mens (in ieder geval ondergetekende) moeite heeft om ze op te lossen. Zie het voorbeeld hiernaast. Kun je het woord lezen?</li>



<li>de meeste websites zijn bijzonder traag. Dit is waarschijnlijk te wijten aan de aard van het Tor-netwerk, dat elke aanvraag van minstens 3 (of zelfs 6) tussenliggende nodes laat lopen, die niet noodzakelijk erg krachtig zijn.</li>
</ul>



<h1 class="wp-block-heading">Inhoud</h1>



<h2 class="wp-block-heading">Toegangspunten</h2>



<p class="wp-block-paragraph">Het is veel moeilijker om op het Dark Web te vinden wat je zoekt dan op het “Clear Web”.<br>Het is duidelijk onmogelijk om een “.onion”-adres te onthouden of zelfs maar over te typen. Er zijn grofweg twee manieren om een verkenning met Tor te beginnen:</p>



<ul class="wp-block-list">
<li>gebruik maken van een “hidden wiki”, een directory met links die op categorie zijn gerangschikt. Er zijn er een aantal, sommige op het Clear Web, die gemakkelijk te vinden zijn door met een klassieke zoekmachine op “hidden wiki” te zoeken. Je moet er echter rekening mee houden dat een groot deel van de links niet meer werkt;</li>



<li>een speciale zoekmachine gebruiken, die alleen toegankelijk is met Tor, waarvan de “.onion”-adressen gemakkelijk te vinden zijn op een “hidden wiki”. “Torch” of “Ahmia” zijn hier voorbeelden van. Verwacht echter geen prestaties die vergelijkbaar zijn met die van Google of DuckDuckGo: niet alleen zijn er weinig resultaten voor een gerichte zoekopdracht, maar vaak is de lijst met resultaten ook onduidelijk. Je weet dus niet altijd waarop je klikt.</li>
</ul>





<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-16 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_hiddenwiki.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="684" data-id="22623" src="/wp-content/uploads/2025/05/darkweb_hiddenwiki-1024x684.png" alt="" class="wp-image-22623" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-1024x684.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-300x200.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-768x513.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki.png 1198w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a><figcaption class="wp-element-caption">Een &#8216;hidden links&#8217;</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_ahmia.png" target="_blank"><img loading="lazy" decoding="async" width="1006" height="457" data-id="22624" src="/wp-content/uploads/2025/05/darkweb_ahmia.png" alt="" class="wp-image-22624" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia.png 1006w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia-300x136.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia-768x349.png 768w" sizes="auto, (max-width: 1006px) 100vw, 1006px" /></a><figcaption class="wp-element-caption">Zoekmachine &#8216;Ahmia&#8217;</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_ahmia_result.png" target="_blank"><img loading="lazy" decoding="async" width="989" height="829" data-id="22630" src="/wp-content/uploads/2025/05/darkweb_ahmia_result.png" alt="" class="wp-image-22630" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result.png 989w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result-300x251.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result-768x644.png 768w" sizes="auto, (max-width: 989px) 100vw, 989px" /></a><figcaption class="wp-element-caption">Resultaat van een zoekopdracht op Ahmia</figcaption></figure>
</figure>



<h2 class="wp-block-heading">Markets</h2>



<p class="wp-block-paragraph">Talrijke “markets” zijn beschikbaar op het Dark Web, die een beetje werken zoals Amazon of Bol.com. De meeste eisen betalingen in Bitcoin (of vaker Monero, waardoor er geen verband kan worden gelegd tussen twee transacties) en bieden een hele reeks producten aan die niet verkrijgbaar zijn op meer traditionele opdrachten:</p>



<ul class="wp-block-list">
<li>wapens en munitie, van kleine pistolen tot aanvalsgeweren.</li>



<li>drugs en medicijnen, waarschijnlijk de sector met het grootste aanbod.</li>



<li>valse documenten: paspoorten, rijbewijzen, identiteitskaarten, en dit voor meerdere landen.</li>



<li>gestolen creditcardnummers, die des te duurder zijn naarmate de limiet hoger is. Reken op tussen 50 en 100 euro per nummer.</li>



<li>vals geld.</li>



<li>diensten:
<ul class="wp-block-list">
<li>hackers&nbsp;: hackers bieden tal van opties, gaande van een DDoS-aanval tot het binnendringen van een systeem of het hacken van e-mailaccounts of sociale netwerken.,</li>



<li>aanslagen op personen: er zijn tal van “diensten” beschikbaar: moord, ontvoering, agressie. Sommigen zijn echter van mening dat het hier slechts om pogingen tot afpersing gaat.</li>
</ul>
</li>
</ul>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-gallery has-nested-images columns-4 is-cropped wp-block-gallery-17 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_hitman.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="505" data-id="22604" src="/wp-content/uploads/2025/05/darkweb_hitman-1024x505.png" alt="" class="wp-image-22604" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-1024x505.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-300x148.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-768x379.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-1536x757.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman.png 1570w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_drugs.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="483" data-id="22607" src="/wp-content/uploads/2025/05/darkweb_market_drugs-1024x483.png" alt="" class="wp-image-22607" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-1024x483.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-300x141.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-768x362.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-1536x724.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs.png 1793w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_guns.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="590" data-id="22605" src="/wp-content/uploads/2025/05/darkweb_market_guns-1024x590.png" alt="" class="wp-image-22605" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-1024x590.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-300x173.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-768x442.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns.png 1125w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_ids.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="668" data-id="22606" src="/wp-content/uploads/2025/05/darkweb_market_ids-1024x668.png" alt="" class="wp-image-22606" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-1024x668.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-300x196.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-768x501.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids.png 1116w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<h2 class="wp-block-heading">Forums</h2>



<p class="wp-block-paragraph">Talrijke forums zijn beschikbaar, in alle talen. Wat ze allemaal gemeen hebben, is dat de deelnemers niet traceerbaar zijn en zich dus niet inhouden om volstrekt illegale of zelfs ronduit verachtelijke verzoeken of voorstellen te doen. Beledigingen en vulgariteiten zijn de norm. Openlijk racistische berichten, voorstellen of zoektochten naar verdovende middelen, verzoeken om of verkoop van kinderpornografische inhoud…</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-18 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_forum.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="165" data-id="22608" src="/wp-content/uploads/2025/05/darkweb_forum-1024x165.png" alt="" class="wp-image-22608" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-1024x165.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-300x48.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-768x124.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum.png 1159w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_forum_dread.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="455" data-id="22639" src="/wp-content/uploads/2025/05/darkweb_forum_dread-1024x455.png" alt="" class="wp-image-22639" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-1024x455.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-300x133.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-768x342.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-1536x683.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread.png 1556w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<h2 class="wp-block-heading">Data leaks</h2>



<p class="wp-block-paragraph">Het is gemakkelijk om, al dan niet gratis, een grote hoeveelheid gestolen data te vinden, zowel op forums als op markets. Deze kunnen in twee categorieën worden ingedeeld:</p>



<ul class="wp-block-list">
<li>lijsten met “inloggegevens”: gebruikersnaam + wachtwoord, soms met de betreffende website. Waarschijnlijk verkregen door phishing of door een “keylogger”, moeilijk te controleren (zonder ze te hebben getest, wat we natuurlijk nooit hebben gedaan) of de data nog actueel zijn. Maar met miljoenen gegevens is het aannemelijk dat er altijd wel functionele toegangen te vinden zijn.</li>



<li>Resultaten van ransomware. Wanneer hackers erin slagen om in te breken in het systeem van een bedrijf, versleutelen ze vaak alle data en eisen ze losgeld om ze weer toegankelijk te maken. En als het losgeld niet wordt betaald, publiceren veel groepen de gestolen inhoud in zijn geheel. Een aantal websites biedt “bewijsmateriaal” (meestal screenshots van enkele documenten; zie hieronder voor de <a href="https://datanews.levif.be/actualite/securite/cybercrime/ahold-delhaize-victime-dune-importante-attaque-de-ransomware/">hack van de Ahold Delhaize-groep</a> door de INC Ransom-groep) voor “lopende” onderhandelingen en toegang tot grote volumes voor verlopen onderhandelingen.<br>Bijvoorbeeld:&nbsp;&nbsp;&nbsp;&nbsp;
<ul class="wp-block-list">
<li>data van een lokale missie in het zuidwesten van Frankrijk: lijst met de namen (geboortedata, telefoonnummers) van de gevolgde jongeren,</li>



<li>een Frans farmaceutisch bedrijf, met fabrieksplannen, contracten met partners, inhoud van een testdatabase,</li>



<li>voor een Franse vrijmetselaarsloge: interne veiligheidsanalyse, uitnodigingen, ledenlijsten en contributiebedragen,</li>



<li>voor de 200 GB aan data van de Nederlandse groep “Ahold Delhaize”, die vooral betrekking lijken te hebben op haar activiteiten in de Verenigde Staten,</li>



<li>voor een Belgisch revalidatiecentrum, naast talrijke data (beheer, aankopen, financiën, HR&#8230;), persoonlijke informatie over meer dan 30&nbsp;000 patiënten (naam, voornaam, geboortedatum, pathologiecode), evenals een “export” van 380&nbsp;000 patiënten met veel persoonlijke details (naam, adres, telefoonnummer, e-mailadres, nummer van het ziekenfonds&#8230; ), maar weinig medische gegevens.</li>
</ul>
</li>
</ul>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-19 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_inc_delhaize.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="341" data-id="22625" src="/wp-content/uploads/2025/05/darkweb_inc_delhaize-1024x341.png" alt="" class="wp-image-22625" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-1024x341.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-300x100.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-768x256.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-1536x511.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize.png 1754w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a><figcaption class="wp-element-caption">Bewijs van hacking</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_credentials.png" target="_blank"><img loading="lazy" decoding="async" width="428" height="427" data-id="22628" src="/wp-content/uploads/2025/05/darkweb_credentials.png" alt="" class="wp-image-22628" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials.png 428w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials-300x300.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials-150x150.png 150w" sizes="auto, (max-width: 428px) 100vw, 428px" /></a><figcaption class="wp-element-caption">Lijst met e-mailadressen en wachtwoorden</figcaption></figure>
</figure>



<h2 class="wp-block-heading">Activisme</h2>



<p class="wp-block-paragraph">Naast de hierboven beschreven illegale activiteiten zijn er ook een aantal websites die aansluiten bij de oorspronkelijke redenen voor de oprichting van het Tor-netwerk. Hier vinden we een aantal gerenommeerde organisaties die een “.onion”-versie van hun website hebben om informatie van klokkenluiders te verzamelen: Greenpeace, CNN, The Guardian, ProPublica, de CIA&#8230;</p>



<p class="wp-block-paragraph">Een aantal blogs die we als activistisch of rebels kunnen omschrijven, of strijden tegen politiegeweld, zijn op het dark web te vinden om censuur te vermijden.&nbsp;Het gaat vaak om websites met twee toegangen: één op het “Clear Web” en één op het Dark Web.</p>



<h2 class="wp-block-heading">Conclusies</h2>



<p class="wp-block-paragraph">De meest “gevoelige” goederen zijn alleen verkrijgbaar van persoon tot persoon, nadat een vertrouwensrelatie is opgebouwd met degenen die ze bezitten, met name als het gaat om hacking en de bijbehorende tools. Aangezien we geen contact hebben gelegd met iemand op het Dark Web, hebben we ongetwijfeld een groot deel van wat er te vinden is gemist.</p>



<p class="wp-block-paragraph">Maar wat we in slechts enkele weken tijd hebben gevonden, heeft ons ervan overtuigd dat veel overheidsinstellingen en bedrijven er goed aan zouden doen om op zijn minst na te gaan of er activiteiten te vinden zijn die verband houden met hun werkterrein, of data van hun personeel of klanten. Hoewel het vrijwel onmogelijk is om deze data te laten verdwijnen, is het raadzaam om in geval van een lek de juiste maatregelen te nemen.</p>



<p class="wp-block-paragraph">Als een probleem optreedt, is het essentieel om hulp in te roepen van specialisten. In België moet, afhankelijk van de omstandigheden, dringend contact worden opgenomen met het <a href="https://ccb.belgium.be/nl">CCB</a> (Center for Cybersecurity Belgium) of de FCCU (Federal Computer Crime Unit, politie).</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Le dark web, l&#8217;Eldorado des criminels&#160;?</title>
		<link>https://www.smalsresearch.be/le-dark-web-leldorado-des-criminels/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Tue, 07 Oct 2025 07:05:00 +0000</pubDate>
				<category><![CDATA[[FR]]]></category>
		<category><![CDATA[Blog post]]></category>
		<category><![CDATA[DarkWeb]]></category>
		<category><![CDATA[Security]]></category>
		<category><![CDATA[Tor]]></category>
		<guid isPermaLink="false">/?p=22566</guid>

					<description><![CDATA[Le réseau Tor, créé à la base pour protéger les dissidents de pays autoritaires, regorge aujourd'hui de contenus illégaux. Qu'y trouve-t-on ? On fait le point.]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-image alignright size-medium"><a href="/wp-content/uploads/2025/04/image-1.png"><img loading="lazy" decoding="async" width="300" height="181" src="/wp-content/uploads/2025/04/image-1-300x181.png" alt="" class="wp-image-22264" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-300x181.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-1024x619.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-768x464.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1-1536x929.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/04/image-1.png 1920w" sizes="auto, (max-width: 300px) 100vw, 300px" /></a></figure>



<p class="wp-block-paragraph"><a href="/het-dark-web-het-eldorado-voor-criminelen/" data-type="post" data-id="24105"><em>Nederlandstalige versie</em></a></p>



<p class="wp-block-paragraph">Dans <a href="/https-incognito-vpn-tor-de-quoi-ca-nous-protege/" data-type="post" data-id="22092">notre dernier article</a>, nous avons détaillé le fonctionnement du navigateur &#8220;Tor&#8221;, qui permet de naviguer de façon quasiment intraçable sur le web. C&#8217;est une des deux façons d&#8217;utiliser Tor. La seconde, c&#8217;est d&#8217;utiliser cet outil comme portail d&#8217;entrée sur le &#8220;dark web&#8221;. Nous avons ces derniers mois exploré cette zone sombre du web. Qu&#8217;est-ce que c&#8217;est&nbsp;? Qu&#8217;y trouve-t-on&nbsp;? Comment s&#8217;y retrouver&nbsp;? Dans cet article, nous allons partager notre modeste expérience de ce monde qui, s&#8217;il a été créé au départ pour offrir un espace d&#8217;expression sécurisé pour les dissidents de régimes autoritaires, est devenu aujourd&#8217;hui essentiellement le paradis de la cybercriminalité.</p>



<p class="wp-block-paragraph">Commençons par un peu de vocabulaire. Différencions d&#8217;abord deux concepts trop souvent confondus&nbsp;: Internet et le Web. Internet, c&#8217;est une infrastructure, interconnectant des milliers de réseaux, permettant à n&#8217;importe quelle machine en faisant partie, dont l&#8217;appareil avec lequel vous lisez cet article, de communiquer avec (presque) n&#8217;importe quelle autre (par exemple le serveur qui héberge notre site web). Internet, qui existe depuis le début des années &#8217;70, a permis le déploiement d&#8217;un grand nombre d&#8217;applications&nbsp;: le courrier électronique, le transfert de fichiers (FTP), le contrôle à distance (telnet, SSH et successeurs), les messageries, la visioconférence, ou encore le (World Wide) Web, apparu au CERN début des années &#8217;90 et qui a réellement popularisé Internet. Il permet, à l&#8217;aide d&#8217;un &#8220;<em>navigateur</em>&#8221; (le premier étant Mosaic, qui a évolué en Netscape, pour devenir aujourd&#8217;hui Firefox ; mais aussi Chrome, Edge, ou Opera), d&#8217;afficher de façon interactive un document généré par un <em>serveur Web</em>. Le Web, de son nom complet &#8220;World Wide Web&#8221;, c&#8217;est donc une des nombreuses applications utilisant l&#8217;infrastructure d&#8217;Internet ; il est composé d&#8217;un protocole de communication entre le serveur et le navigateur (HTTP/HTTPS), d&#8217;un protocole de désignation d&#8217;une ressource (URL) et d&#8217;un format de document (HTML).</p>



<p class="wp-block-paragraph">On considère en général que le contenu du Web peut être divisé en trois catégories&nbsp;:</p>



<ul class="wp-block-list">
<li>le &#8220;<strong>web de surface</strong>&#8221; (surface web, clear web) est toute la partie directement accessible avec un navigateur, sans restriction d&#8217;accès et indexée par les moteurs de recherche&nbsp;: ce blog, le contenu de la plupart des médias, Wikipédia ou tout un&nbsp;tas d&#8217;autres ressources ;</li>



<li>le &#8220;<strong>deep web</strong>&#8221; est la partie du web qui n&#8217;est pas indexée par les moteurs de recherche. On peut y accéder à l&#8217;aide d&#8217;un navigateur classique, pour autant qu&#8217;on en connaisse l&#8217;adresse, ou les informations privées (nom d&#8217;utilisateur, mot de passe&#8230;) pour s&#8217;y rendre. Le contenu non public des médias sociaux, votre boite mail, le contenu d&#8217;entreprises à accès restreint&#8230;</li>



<li>le &#8220;<strong>dark web</strong>&#8221; est la partie du web qui nécessitera des outils spécifiques ou des configurations particulières pour y accéder. On aura typiquement besoin d&#8217;un navigateur tel que Tor, mais également d&#8217;une &#8220;adresse .onion&#8221;, une chaine de 56 caractères impossible à retenir (par exemple http://juhanurmihxlp77nkq76byazcldy2hlmovfu2epvl5ankdibsot4csyd.onion/).</li>
</ul>



<p class="wp-block-paragraph">C&#8217;est cette dernière partie qui va nous intéresser dans cet article. Il faudrait en fait plutôt parler des dark webs. Il en existe plusieurs, chacun utilisant une architecture propre et des technologies différentes. Les plus populaires sont Tor, et, loin derrière, I2P et Freenet (devenu Hyphanet). Nous allons nous concentrer sur Tor dans la suite de cet article.</p>



<p class="wp-block-paragraph">Si on utilise le navigateur Tor pour naviguer sur un site du &#8220;clear web&#8221; (par exemple, <a href="https://www.smals.be">https://www.smals.be</a>), le client est très bien protégé, mais pas le site visité&nbsp;: on peut connaitre facilement son adresse IP, et donc où il est hébergé, et les autorités du pays concerné pourront imposer sa fermeture, voire obtenir de nombreuses informations sur ses utilisateurs. Ceci parce que le réseau Tor ne contrôle pas la connexion entre son nœud de sortie et le serveur de destination.</p>



<p class="wp-block-paragraph">Il existe une façon, pour l&#8217;hébergeur d&#8217;un site web, de se protéger autant que le client, de façon à ne jamais dévoiler son adresse IP. L&#8217;idée est de mettre d&#8217;abord en place un serveur web classique (avec NGINX ou Apache, par exemple), puis d&#8217;installer, sur la même machine, un &#8220;serveur Tor&#8221; (moins de 5 minutes de travail). Celui-ci va générer une &#8220;clé publique&#8221; de 56 caractères alphanumériques qui servira d&#8217;adresse (de la forme &lt;clé publique&gt;.onion), et la renseigner auprès des annuaires décentralisés du réseau Tor. En procédant de la sorte, le gestionnaire du site web en question peut publier une adresse &#8220;.onion&#8221;, qui ne sera plus accessible aux utilisateurs d&#8217;un navigateur classique, et à partir de laquelle il sera très difficile, voire impossible, de remonter jusqu&#8217;à lui. Intéressant pour un dissident dans un pays autoritaire, mais également pour gérer en toute sécurité un business criminel.</p>



<p class="wp-block-paragraph">Pour plus de détails, à la fois le client et le serveur vont utiliser un &#8220;circuit Tor&#8221; de 3 nœuds, pour se retrouver à un &#8220;point de rendez-vous&#8221;, ce qui permet tant au client qu&#8217;au serveur d&#8217;obtenir toutes les garanties d&#8217;anonymat.&nbsp;Mais avec dans <a href="https://support.torproject.org/glossary/#circuit">certaines situations jusqu&#8217;à 6 nœuds intermédiaires</a>. Notons que lorsqu&#8217;on se connecte avec le navigateur Tor a un service &#8220;.onion&#8221;, la connexion est chiffrée de bout en bout. Il n&#8217;est donc pas nécessaire d&#8217;ajouter une couche de chiffrement en utilisant HTTPS.</p>



<h1 class="wp-block-heading">Remarques générales</h1>



<p class="wp-block-paragraph">Nous avons passé quelques semaines à explorer le dark web et à nous familiariser avec cet univers. Clairement pas suffisant pour pouvoir se targuer d&#8217;en être devenus des experts, mais assez pour se faire une première impression. Nous avons fait cette exploration avec Tails + Tor. Nous n&#8217;avons bien sûr jamais rien commandé sur les &#8220;markets&#8221;, ne sommes pas intervenus sur les forums et ne sommes de toute évidence pas entrés sur des sites contraires à la loi et à la décence. Avant d&#8217;entrer dans plus de détails dans les différentes types de contenu, commençons par quelques remarques générales.&nbsp;</p>



<figure class="wp-block-image alignright size-full"><a href="/wp-content/uploads/2025/05/darkweb_captcha2.png"><img loading="lazy" decoding="async" width="291" height="462" src="/wp-content/uploads/2025/05/darkweb_captcha2.png" alt="" class="wp-image-22597" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_captcha2.png 291w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_captcha2-189x300.png 189w" sizes="auto, (max-width: 291px) 100vw, 291px" /></a></figure>



<ul class="wp-block-list">
<li>La gestion des noms &#8220;.onion&#8221; est particulièrement peu conviviale. Impossible à retenir, et très difficile de s&#8217;assurer qu&#8217;on est sur le bon site et pas sur une version &#8220;pirate&#8221; ;</li>



<li>Beaucoup plus que sur le web &#8220;classique&#8221;, il y a une grande volatilité des adresses. Si vous trouvez une adresse sur une page (par exemple via un moteur de recherche ou un &#8220;hidden wiki&#8221;, voir plus bas), il y a beaucoup de chances qu&#8217;elle ne soit plus valide ;</li>



<li>Une partie importante des sites (markets, forums, moteurs de recherches) semblent sortir tout droit du début des années 2000&#8230; un design et une ergonomie très &#8220;vintage&#8221;, peu conviviale, qui fait souvent presque mal aux yeux. Peut-être entre autres parce que la plupart sont conçus pour pouvoir fonctionner sans Javascript, ce qui est recommandé pour limiter les risques ;</li>



<li>La méfiance étant la norme sur le dark web, de nombreux sites sont protégés par un système de Captcha, mais ceux-ci sont particulièrement difficiles à résoudre. Pour empêcher les robots de les réussir, ils sont réglés à un tel niveau que même un humain (en tout cas votre serviteur) a du mal à les réussir. Voir l&#8217;exemple ci-contre. Sauriez-vous lire le mot&nbsp;?</li>



<li>La plupart des sites web sont particulièrement lents. Ceci est sans doute dû à la nature même du réseau Tor, qui fait passer chaque requête par au moins 3 (voire 6) nœuds intermédiaires, pas nécessairement très puissants.</li>
</ul>



<h1 class="wp-block-heading">Contenu</h1>



<h2 class="wp-block-heading">Points d&#8217;entrée</h2>



<p class="wp-block-paragraph">Il est de loin plus difficile de trouver ce que l&#8217;on veut sur le dark web que sur le &#8220;clear web&#8221;. Il est clairement impossible de retenir, voire même de retaper une adresse &#8220;.onion&#8221;. Il y a principalement deux façons de démarrer une exploration avec Tor&nbsp;:</p>



<ul class="wp-block-list">
<li>utiliser un&nbsp;&#8220;hidden wiki&#8221;, soit un annuaire de liens classés par catégorie. Il en existe un certain nombre, certains sur le clear web facilement trouvables en cherchant &#8220;hidden wiki&#8221; avec un moteur de recherche classique. Il faut cependant s&#8217;attendre à ce qu&#8217;une part importante des liens ne marchent plus.</li>



<li>se servir d&#8217;un moteur de recherche dédié, uniquement accessible avec Tor, dont on trouve facilement l&#8217;adresse &#8220;.onion&#8221; sur un &#8220;hidden wiki&#8221;. &#8220;Torch&#8221; ou &#8220;Ahmia&#8221; en sont des exemples. Il ne faut cependant pas s&#8217;attendre à des performances comparables à des Google ou autres DuckDuckGo&nbsp;: non seulement peu de résultats pour une recherche un peu ciblée, mais souvent une liste de résultats peu explicites. On ne sait donc pas toujours sur quoi on clique.</li>
</ul>





<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-20 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_hiddenwiki.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="684" data-id="22623" src="/wp-content/uploads/2025/05/darkweb_hiddenwiki-1024x684.png" alt="" class="wp-image-22623" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-1024x684.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-300x200.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki-768x513.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hiddenwiki.png 1198w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a><figcaption class="wp-element-caption">Un &#8216;hidden links&#8217;</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_ahmia.png" target="_blank"><img loading="lazy" decoding="async" width="1006" height="457" data-id="22624" src="/wp-content/uploads/2025/05/darkweb_ahmia.png" alt="" class="wp-image-22624" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia.png 1006w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia-300x136.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia-768x349.png 768w" sizes="auto, (max-width: 1006px) 100vw, 1006px" /></a><figcaption class="wp-element-caption">Moteur de recherche &#8216;Ahmia&#8217;</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_ahmia_result.png" target="_blank"><img loading="lazy" decoding="async" width="989" height="829" data-id="22630" src="/wp-content/uploads/2025/05/darkweb_ahmia_result.png" alt="" class="wp-image-22630" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result.png 989w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result-300x251.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_ahmia_result-768x644.png 768w" sizes="auto, (max-width: 989px) 100vw, 989px" /></a><figcaption class="wp-element-caption">Résultat d&#8217;une requête sur Ahmia</figcaption></figure>
</figure>



<h2 class="wp-block-heading">Markets</h2>



<p class="wp-block-paragraph">De nombreux &#8220;markets&#8221; sont disponibles sur le dark web, fonctionnant un peu comme Amazon ou Bol.com. La plupart exigent des paiements en Bitcoin (ou plus souvent Monero, qui empêche de faire le lien entre deux transactions), et proposent toute un série de produits qui ne sont pas accessibles sur des marchés plus classiques&nbsp;:&nbsp;</p>



<ul class="wp-block-list">
<li>armes et munitions, du petit pistolet aux fusils d&#8217;assaut ;</li>



<li>drogues et médicaments, probablement le secteur le plus fourni ;</li>



<li>faux documents&nbsp;: passeports, permis de conduire, cartes d&#8217;identité, et ce pour de multiples pays ;</li>



<li>numéros de cartes de crédit volés, d&#8217;autant plus cher que le plafond est élevé. Compter entre 50 et 100 euros le numéro ;</li>



<li>fausse monnaie ;</li>



<li>services&nbsp;:
<ul class="wp-block-list">
<li>hackers&nbsp;: des hackers proposent de nombreuses options, allant d&#8217;une DDoS, à la pénétration d&#8217;un système ou au piratage de comptes mail ou réseaux sociaux,</li>



<li>atteinte aux personnes&nbsp;: on trouve de nombreuses proposition de &#8220;services&#8221;&nbsp;: assassinat, enlèvement, agression. Certains estiment cependant qu&#8217;il ne s&#8217;agit là que de tentatives d&#8217;extorsion.</li>
</ul>
</li>
</ul>



<p class="wp-block-paragraph">&nbsp;</p>



<figure class="wp-block-gallery has-nested-images columns-4 is-cropped wp-block-gallery-21 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_hitman.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="505" data-id="22604" src="/wp-content/uploads/2025/05/darkweb_hitman-1024x505.png" alt="" class="wp-image-22604" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-1024x505.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-300x148.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-768x379.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman-1536x757.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_hitman.png 1570w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_drugs.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="483" data-id="22607" src="/wp-content/uploads/2025/05/darkweb_market_drugs-1024x483.png" alt="" class="wp-image-22607" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-1024x483.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-300x141.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-768x362.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs-1536x724.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_drugs.png 1793w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_guns.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="590" data-id="22605" src="/wp-content/uploads/2025/05/darkweb_market_guns-1024x590.png" alt="" class="wp-image-22605" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-1024x590.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-300x173.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns-768x442.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_guns.png 1125w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_market_ids.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="668" data-id="22606" src="/wp-content/uploads/2025/05/darkweb_market_ids-1024x668.png" alt="" class="wp-image-22606" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-1024x668.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-300x196.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids-768x501.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_market_ids.png 1116w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<h2 class="wp-block-heading">Forums</h2>



<p class="wp-block-paragraph">De nombreux forums sont disponibles, dans toutes les langues. Ils ont tous en commun&nbsp;que les participants étant intraçables, ils ne se privent pas pour faire des demandes ou propositions totalement illégales, voire carrément abjectes. Les insultes et vulgarités sont la norme. Messages ouvertement racistes, propositions ou recherches de stupéfiants, demande ou vente de contenu pédopornographique&#8230;</p>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-22 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_forum.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="165" data-id="22608" src="/wp-content/uploads/2025/05/darkweb_forum-1024x165.png" alt="" class="wp-image-22608" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-1024x165.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-300x48.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum-768x124.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum.png 1159w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_forum_dread.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="455" data-id="22639" src="/wp-content/uploads/2025/05/darkweb_forum_dread-1024x455.png" alt="" class="wp-image-22639" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-1024x455.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-300x133.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-768x342.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread-1536x683.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_forum_dread.png 1556w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a></figure>
</figure>



<h2 class="wp-block-heading">Data leaks</h2>



<p class="wp-block-paragraph">On peut trouver facilement, gratuitement ou non, une grande quantité de données volées, que ce soit sur des forums ou sur des markets. On pourrait les classer en deux catégories&nbsp;:&nbsp;</p>



<ul class="wp-block-list">
<li>des listes de &#8220;credentials&#8221;&nbsp;: nom d&#8217;utilisateur + mot de passe, parfois avec le site concerné. Vraisemblablement obtenus par phishing ou par &#8220;keylogger&#8221;, difficile de s&#8217;assurer (sans les avoir testés, ce que nous n&#8217;avons bien sûr jamais fait) de l&#8217;actualité des données. Mais sur des millions de lignes, on peut imaginer qu&#8217;on trouvera toujours des accès fonctionnels ;</li>



<li>des résultats de ransomware. Quand des pirates parviennent à s&#8217;introduire dans le système d&#8217;une entreprise, ils vont souvent chiffrer l&#8217;intégralité des données et exiger une rançon pour les rendre accessibles. Et si la rançon n&#8217;est pas payée, de nombreux groupes publient en intégralité le contenu volé. On peut trouver un certain nombre de sites, avec pour les négociations &#8220;en cours&#8221;, des &#8220;preuves&#8221; (captures d&#8217;écran de quelques documents, typiquement ; voir ci-dessous pour le <a href="https://datanews.levif.be/actualite/securite/cybercrime/ahold-delhaize-victime-dune-importante-attaque-de-ransomware/">piratage du groupe Ahold Delhaize</a> par le groupe INC Ransom), et pour celles expirées, un accès à de grands volumes. On pourrait citer&nbsp;:&nbsp;&nbsp;
<ul class="wp-block-list">
<li>les données d&#8217;une mission locale dans le Sud-Ouest de la France&nbsp;: listing avec les noms (dates de naissance, n° téléphones) des jeunes suivis,</li>



<li>une société pharmaceutique française, avec des plans d&#8217;usine, contrats avec des partenaires, contenu d&#8217;une base de données de test,</li>



<li>pour une Loge maçonnique française&nbsp;: analyse interne de sécurité, invitations, listes de membres et montants de cotisations,</li>



<li>pour les 200 GB de données du groupe néerlandais &#8220;Ahold Delhaize&#8221;, semble-t-il surtout concernant son activité aux États-Unis,</li>



<li>pour un pôle de revalidation belge, parmi de nombreuses données (gestion, achat, finances, RH&#8230;), des informations personnelles sur plus de 30.000 patients (nom, prénom, date de naissance, code de pathologie), ainsi qu&#8217;un &#8220;export&#8221; de 380.000 patients avec beaucoup de détails personnels (nom, adresse, téléphone, email, numéro de mutuelle&#8230;), mais peu de détails médicaux .</li>
</ul>
</li>
</ul>



<figure class="wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-23 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_inc_delhaize.png" target="_blank"><img loading="lazy" decoding="async" width="1024" height="341" data-id="22625" src="/wp-content/uploads/2025/05/darkweb_inc_delhaize-1024x341.png" alt="" class="wp-image-22625" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-1024x341.png 1024w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-300x100.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-768x256.png 768w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize-1536x511.png 1536w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_inc_delhaize.png 1754w" sizes="auto, (max-width: 1024px) 100vw, 1024px" /></a><figcaption class="wp-element-caption">Preuve de piratage</figcaption></figure>



<figure class="wp-block-image size-large"><a href="/wp-content/uploads/2025/05/darkweb_credentials.png" target="_blank"><img loading="lazy" decoding="async" width="428" height="427" data-id="22628" src="/wp-content/uploads/2025/05/darkweb_credentials.png" alt="" class="wp-image-22628" srcset="https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials.png 428w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials-300x300.png 300w, https://www.smalsresearch.be/wp-content/uploads/2025/05/darkweb_credentials-150x150.png 150w" sizes="auto, (max-width: 428px) 100vw, 428px" /></a><figcaption class="wp-element-caption">Liste d&#8217;adresse mails et mots de passe</figcaption></figure>
</figure>



<h2 class="wp-block-heading">Activisme</h2>



<p class="wp-block-paragraph">À côté des activités illégales citées plus haut, on trouve aussi une série de sites web qui se rapprochent des raisons initiales de la création du réseau Tor. On va y trouver un certain nombre d&#8217;organisations ayant pignon sur rue, mais ayant une version &#8220;.onion&#8221; de leur site web pour recueillir les informations de lanceurs d&#8217;alerte&nbsp;: Greenpeace, CNN, The Guardian, ProPublica, la CIA&#8230;</p>



<p class="wp-block-paragraph">On trouvera aussi un certain nombre de blogs que l&#8217;on pourrait qualifier d&#8217;activistes, de rebelles, en lutte contre les violences policières, et qui se mettent sur le dark web pour éviter la censure.&nbsp;Il s&#8217;agit souvent de sites web à deux accès&nbsp;: un sur le &#8220;clear web&#8221;, un autre sur le dark web.</p>



<h2 class="wp-block-heading">Conclusions</h2>



<p class="wp-block-paragraph">Il se dit que&nbsp;les marchandises les plus &#8220;sensibles&#8221; ne s&#8217;obtiennent de personne à personne qu&#8217;après avoir établi une relation de confiance avec ceux qui les possèdent, en particulier en ce qui concerne le hacking et ses outils. N&#8217;étant rentré en contact avec personne sur le dark web, nous sommes sans doute passé à côté de tout un pan de ce qu&#8217;on pourrait y trouver.</p>



<p class="wp-block-paragraph">Mais ce que nous avons pu y trouver en seulement quelques semaines d&#8217;exploration nous a convaincus que de nombreuses administrations et entreprises auraient tout intérêt à au minimum se demander si on y trouve des activités liées à leur domaine d&#8217;action, ou des données de leur personnel ou de leurs clients. Même s&#8217;il est quasiment impossible de faire disparaitre ces données, il conviendra de prendre les mesures adéquates en cas de fuite. En cas de problème, il est essentiel de se faire aider par des spécialistes. En Belgique, en fonction des circonstances, un appel au <a href="https://ccb.belgium.be/fr">CCB</a> (Center for Cybersecurity Belgium) ou la FCCU (Federal Computer Crime Unit, Police) sera à faire de tout urgence.</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Webinar &#8211; Le Dark web, menace ou opportunité pour le secteur public</title>
		<link>https://www.smalsresearch.be/le-dark-web-menace-ou-opportunite-pour-le-secteur-public/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Tue, 30 Sep 2025 10:10:55 +0000</pubDate>
				<category><![CDATA[Presentations]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/le-dark-web-menace-ou-opportunite-pour-le-secteur-public/</guid>

					<description><![CDATA[Vandy Berten d&#233;mystifie le &#8220;dark web&#8221; ou &#8220;web clandestin&#8221; au cours de son webinaire. Il explique pourquoi le navigateur Tor a &#233;t&#233; cr&#233;&#233; et ses avantages pour la protection de la vie priv&#233;e par rapport &#224; un navigateur classique. Gr&#226;ce &#224; de nombreux exemples concrets, vous d&#233;couvrez comment il permet de naviguer sur le dark [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">Vandy Berten d&eacute;mystifie le &#8220;dark web&#8221; ou &#8220;web clandestin&#8221; au cours de son webinaire. Il explique pourquoi le navigateur Tor a &eacute;t&eacute; cr&eacute;&eacute; et ses avantages pour la protection de la vie priv&eacute;e par rapport &agrave; un navigateur classique.</p><p class="wp-block-paragraph">Gr&acirc;ce &agrave; de nombreux exemples concrets, vous d&eacute;couvrez comment il permet de naviguer sur le dark web et quel type de contenu vous y trouvez. Vous comprenez aussi que le dark web pose un certain nombre de menaces pour le secteur public, comme pour la soci&eacute;t&eacute; en g&eacute;n&eacute;ral, mais qu&rsquo;il offre &eacute;galement l&rsquo;opportunit&eacute; &agrave; certaines institutions de suivre des secteurs absents du web classique.</p><p class="wp-block-paragraph">La session est anim&eacute;e en fran&ccedil;ais, avec des slides anglais. Aucune connaissance sp&eacute;cifique n&#8217;est requise&nbsp;: les aspects techniques sont expliqu&eacute;s suffisamment pour permettre &agrave; chacun de suivre.
</p>


<hr class="wp-block-separator has-alpha-channel-opacity">


<p class="wp-block-paragraph"></p><p>
Vandy Berten ontrafelt het mysterie van het &ldquo;dark web&rdquo; of &ldquo;ondergrondse web&rdquo; tijdens zijn webinar. Hij licht toe waarom de Tor-browser is ontwikkeld en welke voordelen deze browser biedt op het vlak van privacybescherming in vergelijking met een klassieke browser.</p><p class="wp-block-paragraph">Aan de hand van talrijke concrete voorbeelden ontdek je hoe het dark web werkt en wat voor soort inhoud je er kunt vinden. Je leert ook dat het dark web een aantal bedreigingen vormt voor de publieke sector en de samenleving in het algemeen, maar dat het bepaalde instellingen ook de kans biedt om sectoren te volgen die niet op het klassieke web aanwezig zijn.</p><p class="wp-block-paragraph">De sessie verloopt in het Frans, met Engelstalige slides. Er is geen specifieke kennis vereist: de technische aspecten worden voldoende uitgelegd zodat iedereen kan volgen.</p>





                    <h1 class="wp-block-heading">Recording</h1>
                

                
                <figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
                <iframe loading="lazy" title="The dark web: a threat or an opportunity for the public sector?" width="500" height="281" src="https://www.youtube.com/embed/JXAH_YqAwDE?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
                </div></figure>
                



                <h1 class="wp-block-heading">Presentation</h1>
            
            


            <div data-wp-interactive="core/file" class="wp-block-file">
                <object data-wp-bind--hidden="!state.hasPdfPreview" hidden class="wp-block-file__embed" data="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-Webinaire-Dark-Web.pdf" type="application/pdf" style="width:100%;height:600px" aria-label="Embed of 2025-09-Webinaire-Dark-Web."></object>
                <a id="wp-block-file--media-cbd4ec73-bcdf-43e7-8f29-3dba9a004359" href="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-Webinaire-Dark-Web.pdf">2025-09-Webinaire-Dark-Web</a><a href="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-Webinaire-Dark-Web.pdf" class="wp-block-file__button wp-element-button" download aria-describedby="wp-block-file--media-cbd4ec73-bcdf-43e7-8f29-3dba9a004359">Download</a>
                </div>
            ]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>bePelias, un géocodeur local basé sur BeSt Address</title>
		<link>https://www.smalsresearch.be/bepelias-un-geocodeur-local-base-sur-best-address-2/</link>
		
		<dc:creator><![CDATA[Vandy Berten]]></dc:creator>
		<pubDate>Thu, 25 Sep 2025 08:26:22 +0000</pubDate>
				<category><![CDATA[Presentations]]></category>
		<category><![CDATA[GIS]]></category>
		<guid isPermaLink="false">https://www.smalsresearch.be/bepelias-un-geocodeur-local-base-sur-best-address-2/</guid>

					<description><![CDATA[Slides de la pr&#233;sentation effectu&#233;e &#224; FOSS4G 2025 (https://www.foss4g.be/) G&#233;ocoder (standardiser + localiser) un grand volume d&#8217;adresses avec un outil commercial am&#233;ricain est un probl&#232;me dans beaucoup de situations. D&#8217;une part parce que cela n&#233;cessite d&#8217;envoyer ses adresses en dehors de l&#8217;Europe, d&#8217;autre part parce que le r&#233;sultat ne sera pas conforme &#224; BeSt Address, [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">Slides de la pr&eacute;sentation effectu&eacute;e &agrave; FOSS4G 2025 (https://www.foss4g.be/)</p><p class="wp-block-paragraph">G&eacute;ocoder (standardiser + localiser) un grand volume d&#8217;adresses avec un outil commercial am&eacute;ricain est un probl&egrave;me dans beaucoup de situations. D&#8217;une part parce que cela n&eacute;cessite d&#8217;envoyer ses adresses en dehors de l&#8217;Europe, d&#8217;autre part parce que le r&eacute;sultat ne sera pas conforme &agrave; BeSt Address, le standard administratif de BOSA pour les adresses en Belgique. Avec bePelias, une version am&eacute;lior&eacute;e du g&eacute;ocodeur open-source Pelias adapt&eacute; aux donn&eacute;es de BeSt Address, nous proposons une solution on-premise de g&eacute;ocodage, ayant des performances comparables aux grandes solutions commerciales.</p>







                <h1 class="wp-block-heading">Presentation</h1>
            
            


            <div data-wp-interactive="core/file" class="wp-block-file">
                <object data-wp-bind--hidden="!state.hasPdfPreview" hidden class="wp-block-file__embed" data="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-25-bePelias-FOSS4G.pdf" type="application/pdf" style="width:100%;height:600px" aria-label="Embed of 2025-09-25-bePelias-FOSS4G."></object>
                <a id="wp-block-file--media-c01bd3ce-c3b9-4b1a-82b5-a88f1637b8cd" href="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-25-bePelias-FOSS4G.pdf">2025-09-25-bePelias-FOSS4G</a><a href="https://www.smalsresearch.be/wp-content/uploads/2025/09/2025-09-25-bePelias-FOSS4G.pdf" class="wp-block-file__button wp-element-button" download aria-describedby="wp-block-file--media-c01bd3ce-c3b9-4b1a-82b5-a88f1637b8cd">Download</a>
                </div>
            ]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
