Présentation donnée lors du webinaire "Webscraping - by Smals Research" du 30/06/2020.

Le Web scraping/crawling/harvesting est un technique d’extraction de contenu sur des sites web, au moyen de scripts/programmes, dans le but de son utilisation dans un autre contexte.  L’utilisation de web scraping est très large, avec relativement peu de contraintes.

Dans sa présentation, Vandy Berten (Smals Research) présente plusieurs aspects techniques du web scraping, montre au travers d’un exemple concret comment les données collectées pourront être exploitées, et aborde également sommairement les contraintes non techniques (légales et éthiques).

• Slides


• Recording

Web scraping/crawling/harvesting is een techniek om inhoud van websites te extraheren, met behulp van scripts/programma's, met als doel deze in een andere context te gebruiken.  Het gebruik van web scraping is zeer breed, met relatief weinig beperkingen.

Vandy Berten (Smals Research) toont in zijn presentatie verschillende technische aspecten van web scraping, laat aan de hand van een concreet voorbeeld zien hoe de verzamelde gegevens kunnen worden geëxploiteerd en  gaat kort in op de niet-technische (juridische en ethische) beperkingen.

Languages:	Français
Author:	Vandy Berten
Category:	Presentation
Date:	2020/06
License:	Freeware
Download:	Download

Scrapy est un framework écrit en (et pour) Python permettant de faire du web-crawling (ou web-scraping), c’est-à-dire de l’extraction automatique de contenu à partir de pages web. Une grande partie du travail du web-crawling est gérée automatiquement par le framework. Pour des cas simples mais réalistes, le code (Python) à écrire peut se limiter à quelques lignes de code. Nous recommandons cet outil.

Scrapy is een framework geschreven in (en voor) Python dat het mogelijk maakt om web-crawling (of web-scraping) toe te passen, d.w.z. het automatisch extraheren van inhoud van webpagina's. Een grote deel van het web-crawling werk wordt automatisch beheerd door het framework. Voor eenvoudige maar realistische cases kan de te schrijven code (Python) worden beperkt tot een paar regels code. Wij bevelen deze tool aan.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2019/07
License:	Freeware
Download:	Download

Jupyter Notebook, projet Open Source issu de IPython, est une application web destiné à offrir un environnement interactif dans plusieurs dizaines de langages de programmation (dont, à l’origine, Julia, Python et R, d’où le nom JuPyteR), particulièrement adapté à l’analyse de données (data science).

Contrairement à la programmation traditionnelle (séquentielle), où on exécute un programme en démarrant toujours du même point d’entrée, puis en suivant le flux d’exécution défini par le programme, un « notebook » est un ensemble de blocs de code que l’on peut exécuter dans l’ordre désiré. L’ensemble de ces blocs partageront un contexte (appelé « kernel »), qui contiendra toutes les données.

---

Jupyter Notebook, een Open Source project van IPhyton, is een webtoepassing die een interactieve omgeving aanbiedt voor enkele tientallen programmeertalen (waaronder Julia, Phyton en R: vandaar de naam JuPyteR). Ze is speciaal aangepast om aan gegevensanalyse te doen (data science).

In Jupyter werkt men via “notebooks”. Deze bevatten een verzameling van codeblokken die men kan uitvoeren in een volgorde naar voorkeur. Al deze blokken zullen een zogenaamde “kernel” delen, welke een context is die alle te analyseren gegevens bevat. Dit in tegenstelling tot bij traditioneel (sequentiëel) programmeren, waar een programma altijd vanuit eenzelfde startpunt wordt uitgevoerd en men vervolgens de uitvoering volgt zoals ze werd vastgelegd door het programma.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2018/11
License:	Open Source
Download:	Download

Slides presented at Devoxx 2017.

Graphs are everywhere: When it comes to representing relationships between entities, there is no better mathematical model so far. Classical “SQL” databases perform very poorly in modeling complex relationships, both in terms of response time and in writing (queries) time. Graph database have been designed to tackle those limitations and excel in many domains, such as fraud detection, recommendation systems, social networks, MDM… After having introduced the basic concepts of graph databases, this presentation shares our experience in fraud detection in the Belgian social security sector, using graph databases.

Video of the presentation: https://www.youtube.com/watch?v=5u4hyNOh0Tc

Languages:	English
Author:	Vandy Berten
Category:	Presentation
Date:	2017/11
Download:	Download

iGraph est une librairie de manipulation de graphes (ou réseaux), structures de données permettant de représenter des relations entre des entités. Elle est écrite en C, et disponible pour C/C++, Python, R et Mathematica. iGraph est très populaire dans la communauté scientifique et des datascientists, et dispose d’un grand nombre de fonctionnalités.

---

iGraph is een library om grafen (of netwerken) te manipuleren. Dit zijn gegevensstructuren waarmee relaties tussen entiteiten voorgesteld kunnen worden. Deze library werd in C geschreven en is beschikbaar voor C/C++, Python, R en Mathematica. iGraph is zeer populair in de wetenschappelijke gemeenschap en bij datascientists en beschikt over een groot aantal functionaliteiten.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2017/07
Platforms:	Windows, Linux, Mac OS X
License:	GNU General Public License
Download:	Download

Détecter la fraude ; minimiser l’impact qu’aura une modification d’un package Java ou le changement de configuration d’un serveur ; optimiser la charge d’un cluster ; faire une suggestion intelligente d’achat à un client… toutes ces actions, a priori très différentes les unes des autres, ont un point commun : les méthodes de graph analytics, ou social network analytics excellent à les résoudre de façon efficace et aisément modélisable.

Nous pouvons voir le monde dans lequel nous vivons comme étant constitué d'entités (des personnes, des entreprises, des objets, des concepts, des documents…), mais surtout des relations entre ces entités : deux personnes sont amies ; une personne travaille pour une entreprise ; une entreprise sous-traite à une autre entreprise ; un document réfère un autre document. Beaucoup de techniques d’analyse ou de gestion de données placent les entités au centre, et se servent de moyens détournés pour représenter les relations (comme par exemple des attributs ou des join tables pour les bases de données relationnelles).

Les techniques de graph analytics ou social network analytics, placent les relations au centre de la réflexion et ouvrent de ce fait une voie pour toute une nouvelle gamme d’analyses ou de gestion des données.

Dans une première partie, nous commencerons la présentation par voir ce qu’un graphe (ou un réseau), constitué de nœuds (représentant les entités) et d’arcs (représentant les relations) peut modéliser, au travers de quelques exemples concrets.
Nous verrons ensuite comment un réseau peut être caractérisé, au travers de différentes métriques, issues tant du monde mathématique que de la sociologie ou des médias sociaux.
Nous présenterons par la suite les techniques et outils permettant de visualiser un réseau, tant pour le présenter que pour en affiner sa compréhension.

La seconde partie de la session sera consacrée d’abord aux techniques de manipulation de réseau utilisées par les data scientists, soit dans les environnements traditionnels de R ou Python, soit dans le monde Big Data avec Hadoop.
Pour finir, les bases de données orientées graphes, permettant d’interroger un réseau au moyen de requêtes, seront présentées, en détaillant leurs avantages et inconvénients par rapport aux bases de données relationnelles.

Tout au long de la présentation, des exemples concrets, tant dans le secteur de la lutte contre la fraude sociale que dans d’autres domaines (ICT, analyse historique…), seront donnés pour illustrer les différents concepts. Des outils, pour la plupart Open Source ou gratuits, seront présentés.

---

Fraude opsporen, de impact voorspellen van wijzigingen in java-packages of serverconfiguraties, de belasting van een cluster optimaliseren, een intelligente aankoopsuggestie doen bij een potentiële klant, ... al deze acties lijken op het eerste zicht erg verschillend van elkaar, maar hebben één punt gemeen: ze kunnen heel goed ondersteund worden met graph analytics of social network analytics.

We kunnen de wereld waarin we leven zien als bestaande uit entiteiten (van personen, ondernemingen, objecten, concepten, documenten, …), en – belangrijker en talrijker – uit relaties tussen deze entiteiten: twee personen zijn vrienden, een persoon werkt voor een onderneming, een onderneming besteedt uit aan een andere onderneming, een document verwijst naar een ander document. Veel analysetechnieken en oplossingen voor gegevensbeheer plaatsen evenwel de entiteiten centraal en gebruiken omwegen om de relaties voor te stellen (zoals attributen of join tables bij relationele databanksystemen).

De graph analytics technieken, of social network analytics, plaatsen de relaties centraal en bieden zo een volledig nieuw gamma van analysemogelijkheden en gegevensbeheer.

In een eerste deel van de sessie belichten we eerst het voorstellingsvermogen van grafen, netwerken bestaande uit knopen (entiteiten ) en bogen (relaties), aan de hand van concrete voorbeelden.
Vervolgens bespreken we hoe een netwerk kan gekenmerkt worden met behulp van verschillende metrieken, afkomstig uit de wiskundige en sociologische wereld, meer recent ook uit de sfeer van de sociale media.
We stellen ook technieken en tools voor waarmee een netwerk kan gevisualiseerd worden, en tonen hoe dit ons inzicht in het voorgestelde verbetert.

Het tweede deel van de sessie zal gewijd worden aan de technieken voor netwerkmanipulatie zoals gebruikt door data scientists hetzij in de traditionele omgevingen van R of Phyton, hetzij in de wereld van Big Data met Hadoop.
Tot slot zullen de graph databases voorgesteld worden, die toelaten om netwerken te onderzoeken: criteria op te leggen en te filteren aan de hand van queries. De voor-en nadelen ten opzichte van relationele databanken worden gedetailleerd besproken.

De presentatie is doorspekt met concrete voorbeelden uit verschillende domeinen: zowel de strijd tegen de sociale fraude als ICT-beheer, historische analyse, e.a. komen aan bod om de verschillende concepten te illustreren. Er is ook aandacht voor tools, de meeste Open Source of gratis.

Languages:	Français
Author:	Vandy Berten
Category:	Presentation
Date:	2017/06
Download:	Download

Neo4J est un système de gestion de base de données orienté « graphe ». Dans un tel système, les données sont composées d’une part de nœuds (ou entités), d’autre part de relations entre deux nœuds. Les nœuds et relations peuvent avoir des labels (Person, Company…), et des propriétés (name: « MyName », price: 1.20…).

---

Neo4J is een systeem voor databasebeheer dat "graph" georiënteerd is. In een dergelijk systeem bestaan de gegevens enerzijds uit nodes (of entiteiten) en anderzijds uit relaties tussen twee nodes. Nodes en relaties kunnen labels (Person, Company, ...) en eigenschappen (name: "MyName", price: 1.20…) bezitten.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2016/09
Platforms:	Windows, Linux, Mac OS X
License:	GNU General Public License
Download:	Download

Qlik Sense est une version allégée et gratuite de l’outil Qlik View, permettant de faire de l’exploration visuelle de données, sans avoir besoin de connaissances techniques poussées, mais uniquement avec une bonne connaissance des données.

---

Qlik Sense is een lichtere en gratis versie van de tool Qlik View waarmee aan visuele data-exploratie kan worden gedaan zonder dat daar een geavanceerde, technische kennis voor nodig is. Enkel een goede kennis van gegevens is nodig.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2015/10
Platforms:	Windows
License:	Freeware
Download:	Download

Toutes les sociétés et institutions publiques manipulent aujourd'hui des quantités considérables de données. Leur quantité et leur variabilité sont telles qu’on ne peut plus raisonnablement se contenter de les importer dans Excel pour en réaliser ensuite quelques graphiques. Leur diversité fait qu’on ne sait souvent pas à l’avance ce que l’on cherche, comment sont liées les données ou quel type de visualisation est le plus adéquat. Leur complexité implique qu’il faut posséder des connaissances métier très pointues et que l’exploration des données doit pouvoir se faire interactivement, sans connaissances IT avancées.

Le cerveau humain, s'il est « alimenté » correctement, a des capacités cognitives extraordinaires, qui sont loin d'être égalées par les plus puissants des ordinateurs. L'intuition, la capacité à remarquer des choses sans les regarder, à établir le lien entre ce que l'on observe et un phénomène vaguement similaire aperçu dans un autre contexte, font de notre cerveau un allié des machines, complémentaire et sans égal ; on peut le mettre à profit en utilisant au mieux les techniques modernes de visualisation de données.

Par ailleurs, communiquer des informations efficacement, de façon à transmettre un message précis, requiert un certain savoir-faire. En comprenant mieux le type de données auquel on a affaire, en maîtrisant plus précisément la façon dont le cerveau analyse ce qu'il voit, en pouvant mesurer objectivement la qualité d'un graphique, on sera capable d'élaborer une visualisation la plus performante possible. On comprendra également qu'un graphique peut suggérer exactement le contraire de ce que les données signifient réellement, ce qui permettra de mieux s'armer contre toute tentative de manipulation.

Durant l'exposé, nous commencerons par présenter des notions fondamentales : qu'est-ce qu'une mesure ? Qu’est-ce qu’une dimension ? En quoi une température est-elle fondamentalement différente d'une durée ? Pourquoi un graphique en barres offre-t-il une perception plus précise qu'un graphique circulaire ? Nous étudierons ensuite différents types de graphiques, tant classiques (histogrammes, graphiques circulaires, graphiques en ligne...) que moins classiques (Sankey, Chord, Parallel Coordinates, Small Multiples...), pour en comprendre les avantages et inconvénients, voir quand ils sont adaptés ou non. On s'intéressera ensuite au cas particulier des données géographiques et des difficultés liées au géocodage, pour ensuite s'intéresser au domaine relativement récent du « Visual Analytics ».

---

Alle bedrijven en overheidsinstellingen verwerken vandaag de dag aanzienlijke hoeveelheden data. De hoeveelheid en variabiliteit van deze data laten ons niet meer toe om ze enkel in Excel te importeren om er daarna enkele grafieken van te maken. Door hun diversiteit weten we vaak niet op voorhand wat we zoeken, hoe de data met elkaar verbonden zijn of welk type visualisatie het meest geschikt is. Omdat ze zo ingewikkeld zijn, hebben we zeer gerichte vakkennis nodig en moet de exploratie van de data interactief kunnen gebeuren, zonder gevorderde IT-kennis.

Als het menselijk brein zich correct "voedt", heeft het buitengewone cognitieve vaardigheden, die nog lang niet geëvenaard kunnen worden door de meest krachtige pc's. Intuïtie is de vaardigheid om dingen op te merken zonder ze te bekijken, om de link te leggen tussen wat we zien en een enigszins erop gelijkend fenomeen dat we ooit in een andere context gezien hebben. Dit alles maakt van ons brein een complementaire en niet te overtreffen bondgenoot van machines; we kunnen het ten volle benutten door de moderne technieken voor datavisualisatie zo goed mogelijk te gebruiken.

Data efficiënt communiceren, zodat een precieze boodschap doorgegeven wordt, vereist een zekere knowhow. Door het soort data waarmee we te maken hebben beter te begrijpen, door de manier waarop het brein analyseert wat het ziet preciezer te beheersen, door de kwaliteit van een grafiek objectief te kunnen meten, zullen we in staat zijn om de meest performant mogelijke visualisatie te ontwikkelen. We zullen ook begrijpen dat een grafiek net het omgekeerde kan suggereren van wat de data werkelijk betekenen, waardoor men zich beter zal kunnen wapenen tegen pogingen tot manipulatie.

De uiteenzetting zal aanvangen met een voorstelling van de basisbegrippen: wat is een maatregel, een dimensie, wat is het fundamentele verschil tussen een temperatuur en een periode, waarom is een staafgrafiek duidelijker waarneembaar dan een taartgrafiek. Vervolgens bestuderen we de verschillende soorten grafieken, zowel de klassieke (histogram, taartgrafiek, online, ...) als de minder klassieke (Sankey, Chord, Parallel Coordinates, Small Multiples, ...) om de voor- en nadelen ervan te begrijpen, om te kijken wanneer ze geschikt zijn en wanneer niet. Daarna bekijken we het speciale geval van de geografische data en de moeilijkheden die bij geocode komen kijken, om tot slot over te gaan tot een relatief recent domein, namelijk "Visual Analytics".

Languages:	Français
Author:	Vandy Berten
Category:	Presentation
Date:	2015/10
Download:	Download

Annexe au blog  http://www.smalsresearch.be/comparer-des-geocodeurs/

Nécessite Qlik Sense : http://www.qlik.com/products/qlik-sense/desktop

Placer le fichier dans C:Users<USER NAME>DocumentsQlikSenseApps

Languages:	English
Author:	Vandy Berten
Category:	Annexe
Date:	2015/06
Platforms:	Windows
Download:	Download

Ce document décrit de quelle façon deux médias sociaux (Facebook et Twitter) pourraient servir d’alternative à une adresse e-mail comme canal de communication entre les autorités et les citoyens. Nous décrivons pour ces deux outils comment il est possible d’envoyer de façon automatisée un message privé à un utilisateur qui s’est au préalable authentifié et a lié de façon sécurisée son compte Facebook ou Twitter à une « e-box ».

Dans le cas de Facebook, nous utilisons une « application Facebook », permettant d’envoyer des notifications à l’utilisateur. Dans le cas de Twitter, nous utilisons une « application Twitter », permettant d’envoyer, au nom d’un compte officiel, un « direct message » à un citoyen.

Quelques détails techniques seront donnés, mais pas suffisamment pour pouvoir réaliser l’ensemble d’une telle application, dont nous
avons développé un prototype fonctionnel. Il sera nécessaire de consulter la documentation technique spécifique au réseau social visé, afin de développer une application complète.

Après une introduction à portée générale, nous rentrerons, tant pour Facebook que pour Twitter, dans un niveau de détails s’adressant à des développeurs ou des lecteurs à profil technique.

---

 

Dit document beschrijft op welke manier twee sociale media (Facebook en Twitter) een alternatief zouden kunnen vormen voor een e-mailadres als communicatiekanaal tussen de overheid en de burgers. We beschrijven voor deze twee tools hoe men automatisch een privébericht kan sturen naar een gebruiker die zich vooraf geauthenticeerd heeft en die zijn Facebook- en Twitteraccount veilig gekoppeld heeft aan een "e-box".

In het geval van Facebook gebruiken we een "Facebook-applicatie" waarmee we meldingen kunnen versturen naar de gebruiker. In het geval van Twitter gebruiken we een "Twitter-applicatie" waarmee we, in de naam van een officieel account, een "rechtstreeks bericht" sturen naar een burger.

Er zullen een aantal technische details gegeven worden, maar niet genoeg om zo'n applicatie, waarvan we een functioneel prototype ontwikkeld hebben, volledig te kunnen realiseren. U zal de technische documentatie voor elk sociaal netwerk moeten raadplegen om een volledige applicatie te kunnen ontwikkelen.

Na een algemene inleiding zullen we, zowel voor Facebook als voor Twitter, meer details geven waarbij we ons richten tot de ontwikkelaars of lezers met een technisch profiel.

Annexes:	Presentation: Social Media & eGovernment Research Note: Social Media and eGovernment Research Note: Facebook and Network Analytics
Languages:	Français
Author:	Vandy Berten
Category:	Research Note
Date:	2014/11
Keywords:	Social Media, Facebook
Download:	Download

Le présent document a pour but de sensibiliser le lecteur à la quantité considérable d’information que l’on peut trouver à son propos sur les réseaux sociaux, en particulier sur Facebook. Nous verrons que ce qu’on peut trouver va bien au-delà de ce que les utilisateurs indiquent de leur plein gré.

Des techniques de network analytics permettront de déduire beaucoup de choses à propos d’une « cible », telles que les différents groupes sociaux auxquels elle appartient ou le degré de proximité avec ses amis.

Des méthodes d’inférence peuvent se baser sur les informations publiées par ses amis pour identifier parmi les groupes sociaux ceux correspondant au travail, au parcours scolaire, à la famille, aux loisirs…

En utilisant des outils de web crawling, il sera possible de reconstituer une grande partie du réseau d’amis de quelqu’un, même s’il a choisi de ne pas publier sa liste d’amis ou de masquer ses photos.

Nous verrons par ailleurs que le même genre de technique permettra de comprendre les relations entre les différents membres d’un groupe ou les fans d’une page Facebook.

---

 

Dit document heeft als doel de lezer te sensibiliseren voor de aanzienlijke hoeveelheid informatie die men over hem kan terugvinden op de sociale netwerken, in het bijzonder op Facebook. We zullen zien dat men veel meer kan terugvinden dan wat de gebruikers zelf hebben aangegeven.

Met "network analytics"-technieken kan veel afgeleid worden over een "doelwit", zoals de verschillende sociale groepen waar hij deel van uitmaakt of hoe close hij is met zijn vrienden.

Inferentie-methodes kunnen gebaseerd zijn op de gegevens gepubliceerd door zijn vrienden om de sociale groepen te identificeren die overeenstemmen met werk, school, familie, hobby's, ...

Door "web crawling"-tools te gebruiken, zal het mogelijk zijn om een groot deel van het vriendennetwerk van een persoon opnieuw samen te stellen, zelf als hij ervoor gekozen heeft om zijn vriendenlijst niet te publiceren of om zijn foto's te verbergen.

We zullen overigens zien dat dezelfde soort techniek ervoor kan zorgen dat we de relaties tussen de verschillende groepsleden of de fans van een Facebookpagina beter kunnen begrijpen.

Annexes:	Presentation: Social Media & eGovernment Research Note: Social Media and eGovernment Research Note: Social Media Interaction
Languages:	Français
Author:	Vandy Berten
Category:	Research Note
Date:	2014/11
Keywords:	Social Media, Facebook, Privacy
Download:	Download

Le présent document peut être vu comme un catalogue d’informations diverses collectées durant notre étude sur les médias sociaux : outils, définitions, articles de presse ou scientifique, réflexion… Il n’a pas vocation à être lu d’un bout à l’autre de façon linéaire, ni à être diffusé largement. Il s’agit parfois plus de notes rapides qu’une analyse détaillées.

La première partie reprend un certain nombre de définitions et de statistiques à propos de l’utilisation de médias sociaux en Belgique ou dans le monde. Nous y incluons également un rapide survol des institutions présentes sur les médias sociaux.
La deuxième partie introduit diverses lectures et références utiles à toute organisation voulant débuter dans les médias sociaux. Nous présenterons ensuite dans la troisième partie une série d’outils de gestion quotidienne, puis nous intéresserons à des techniques permettant de comprendre un réseau ou de suivre ce qui se dit sur les médias sociaux.

Dans une dernière partie, nous reprendrons divers articles collectés à propos de sujets très vastes : détection de fraude, gestion des catastrophes, lutte contre le terrorisme…

Ce rapport est un support pour les slides ayant servi à la session d’information « Social Media & eGovernment » des 21 et 23 octobre 2014 (http://www.smalsresearch.be/publications/document/?docid=119).

---

 

Dit document kan gezien worden als een catalogus met verschillend gegevens verzameld tijdens onze studie over sociale media: tools, definities, persartikels, wetenschappelijke artikels, bedenkingen, ... Het is niet de bedoeling dat het document in een stuk gelezen wordt of dat het wijd verspreid wordt. Het gaat soms eerder om vlugge nota's dan een gedetailleerde analyse.
Het eerste deel herneemt een bepaald aantal definities en statistieken over het gebruik van sociale media in België of in de wereld. We overlopen ook vlug de instellingen die aanwezig zijn op de sociale media.

Het tweede deel biedt verschillende lectuur en referenties aan die nuttig zijn voor elke organisatie die wil starten op de sociale media. We stellen vervolgens in het derde deel een reeks tools voor dagelijks beheer voor, daarna bekijken we de technieken waarmee we een netwerk kunnen begrijpen of kunnen volgen wat er gezegd wordt op de sociale netwerken.

In een laatste deel zullen we verschillende artikels hernemen die we verzameld hebben over zeer uitgebreide onderwerpen: fraudedetectie, beheer van catastrofes, strijd tegen het terrorisme, ...

Dit verslag dienst als ondersteuning bij de slides voor de informatiesessie "Social Media & eGovernment" van 21 en 23 oktober 2014 (http://www.smalsresearch.be/publications/document/?docid=119).

Annexes:	Presentation: Social Media & eGovernment Research Note: Facebook and Network Analytics Research Note: Social Media Interaction
Languages:	Français
Author:	Vandy Berten
Category:	Research Note
Date:	2014/11
Keywords:	Social Media
Download:	Download

Dans la société de communication dans laquelle nous vivons aujourd’hui, les médias sociaux sont devenus incontournables. Le citoyen qui autrefois s’exprimait en famille ou entre amis le fait maintenant sur Twitter ou Facebook. Une mine d’or pour les organismes qui veulent savoir ce que la population pense et dit à leur propos, qui veulent détecter au plus tôt un mouvement de grogne, une rumeur naissante ou une menace, de façon à pouvoir réagir rapidement de façon appropriée.

Durant la session, nous nous intéresserons à trois cas très concrets, basés sur nos clients ou d’autres institutions, à la suite de nombreux contacts que nous avons eus durant notre étude. Nous commencerons par voir ce que la page Facebook d’un organisme, où les citoyens postent des messages et/ou les commentent, peut nous apprendre. Quels sont les sujets de discussion ? Peut-on identifier des moments de tension ? Les citoyens sont-ils critiques ? Qui sont les citoyens qui s’expriment ?

Dans un second temps, nous nous concentrerons sur Twitter et verrons comment on peut identifier les « hot topics », en général mais aussi sur des sujets particuliers, par exemple à propos d’un organisme ou d’un projet. Comment peut-on collecter l’information et la traiter ? Peut-on identifier des pics de discussion ? De quoi parle-t-on ?

Notre troisième partie sera consacrée au « network analytics », c’est-à-dire l’étude des réseaux (un réseau d’amis Facebook, la structure des réactions sur une page Facebook, les « followers » sur Twitter…). Nous verrons qu’à partir d’un ensemble d’informations publiques, il est possible de reconstituer une grande quantité d’information qui semblait cachée. Nous partirons d’un compte Facebook qui semble bien protégé, et verrons qu’énormément d’information peut malgré tout être extraite.

Durant l’exposé, nous présenterons quelques outils, mais nous nous focaliserons sur les différentes techniques utilisées par ces outils, et les illustrerons abondamment.

---

In onze hedendaagse communicatiemaatschappij kunnen we niet om sociale media heen. De burger die zich anders bij familie of vrienden uitdrukte, doet dit nu op Twitter of Facebook. Een goudmijn voor de organisaties die willen weten wat de bevolking van hun denkt en over hun zegt, die gemopper, een nieuw gerucht of een bedreiging zo vroeg mogelijk willen opsporen zodat ze vlug en gepast kunnen reageren.

In deze sessie bekijken we drie zeer concrete gevallen die gebaseerd zijn op onze klanten of op andere instellingen als een gevolg van de vele contacten die we hadden tijdens onze studie. We zullen beginnen met na te gaan wat een Facebook-pagina van een organisatie met berichten en/of opmerkingen van burgers ons kan leren. Wat zijn de discussie-onderwerpen? Kunnen we spanningsmomenten identificeren? Zijn de burgers kritisch? Wie zijn de burgers die zich uitdrukken?

Daarna concentreren we ons op Twitter en we zullen kijken hoe we "hot topics" in het algemeen, maar ook specifieke onderwerpen kunnen identificeren, bijvoorbeeld over een organisatie of een project. Hoe kunnen we de informatie verzamelen en verwerken? Kunnen we discussie-pieken identificeren? Waarover praat men?

Het derde deel zal besteed worden aan "network analytics", dit wil zeggen de studie van de netwerken (een vriendennetwerk op Facebook, de structuur van de reacties op een Facebook-pagina, de "followers" op Twitter, ...). We zullen zien dat het mogelijk is om een grote hoeveelheid, schijnbaar verborgen, informatie opnieuw samen te stellen uit een verzameling publieke informatie. We zullen vertrekken van een Facebook-account dat goed beschermd lijkt te zijn en zullen zien dat ondanks deze bescherming er toch enorm veel informatie kan uitgehaald worden.

Tijdens de presentatie zullen we enkele tools voorstellen. We zullen ons echter focussen op de verschillende technieken gebruikt door deze tools en ze erna uitvoerig illustreren.

Annexes:	Research Note: Social Media and eGovernment Research Note: Facebook and Network Analytics Research Note: Social Media Interaction
Languages:	Français
Author:	Vandy Berten
Category:	Presentation
Date:	2014/10
Keywords:	Social Media
Download:	Download

Gephi est un outil de visualisation, de manipulation et d’analyse de toutes sortes de graphes ou réseaux. Il s’agit d’un outil puissant, facile à maîtriser, utilisant un format d’entrée pouvant être produit sans difficulté. Il sera précieux pour toute personne voulant analyser une structure complexe d’entités reliées entre elles (réseau social, lien entre des pages web, réseau informatique, organigramme, dépendance entre des concepts…). Il produit par ailleurs des graphiques esthétiques et largement paramétrables, dans divers formats.

Gephi is een tool om allerlei grafieken en netwerken te visualiseren, te bewerken en te gebruiken. Deze krachtige en gebruiksvriendelijke tool gebruikt een inputformaat dat zonder problemen geproduceerd kan worden. Gephi is nuttig voor iedereen die een complexe structuur van onderling verbonden entiteiten wilt analyseren (sociaal netwerk, verband tussen webpagina’s, informaticanetwerk, organigram, afhankelijkheid tussen concepten...). Bovendien genereert de tool mooie, erg configureerbare grafieken in verschillende formaten.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2014/10
Platforms:	Windows, Linux, Mac OS X
License:	GNU General Public License
Download:	Download

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas par exemple lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, dans le cadre des recommandés électroniques. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale. Dans certains cas, les coûts cumulés sur 5 ans peuvent atteindre plusieurs millions d’euros. À ces éléments s’ajoutent les gains indirects associés : respect de la législation, service rendu au citoyen et crédibilité…
Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : volatilité des usages, dynamique des noms de domaines, syntaxes non standards… En vue d’en assurer la maîtrise, le document présente :
- Les éléments syntaxiques, de validation (tests d’existence) et de « data matching »;
- Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.
Cette étude repose sur plus de dix ans d’expérience au sein de la « Data Quality Cell » de la section « recherche » de Smals, sur un ensemble de tests pratiques et sur un prototype concret et original

Annexes:	Presentation: Email Address Reliability
Languages:	Français
Author:	Vandy Berten, Isabelle Boydens
Category:	Deliverable
Date:	2013/12
Download:	Download

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, même après authentification, dans le cadre des recommandés électroniques, par exemple. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale, après traitement éventuel des cas erronés. Cela peut accroître les coûts cumulés sur 5 ans de plusieurs millions d’euros, selon la taille de la base de données. À ces éléments s’ajoutent les gains indirects associés (qui sont mentionnés également dans le secteur privé et « marketing ») : respect de la législation, service rendu au citoyen et crédibilité dans les campagnes de communication.

Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail authentifiée dans le cadre des échanges entre administrations et citoyens se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Largement utilisées de nos jours et pour un certain temps encore, les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : qu’il s’agisse de la volatilité des usages, de la dynamique des noms de domaines ou de la présence de syntaxes non standards.

En vue d’en assurer la maîtrise, l’exposé présentera :

• Les éléments syntaxiques, de validation (tests d’existence) et de « data matching » applicables en batch et « on line », selon les cas ;


• Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.

Annexes:	Deliverable: Email Address Reliability Annexe: Démo Syntaxe (vidéo) Annexe: Démo Validation 1 (vidéo) Annexe: Démo Validation 2 (vidéo) Annexe: Démo Matching (vidéo)
Languages:	Français
Author:	Vandy Berten, Isabelle Boydens
Category:	Presentation
Date:	2013/11
Download:	Download

OpenRefine est une très bonne alternative gratuite aux outils professionnels d’analyse de qualité de données, souvent hors de prix pour des petites organisations.
Il est par ailleurs beaucoup plus simple à utiliser, et permet une prise en main rapide, même sans connaissances poussées en informatique.

OpenRefine is een zeer goed gratis alternatief voor de professionele tools voor kwaliteitsanalyse van gegevens die vaak te duur zijn voor kleine organisaties.
De tool is overigens veel gemakkelijker in gebruik, en men krijgt hem vlug onder de knie, zelfs zonder doorgedreven informaticakennis.

Languages:	Français
Author:	Vandy Berten
Category:	Quick Review
Date:	2013/10
Platforms:	Windows, Linux, Mac OS X
License:	Licence BSD
Keywords:	Data quality
Download:	Download