|
|
SECONDE - PC
PREMIERE PC
SCIENCES PREMIERE
SCIENCES TERMINALE
ANCIENNES TS
CONCOURS
|
Différents types de données structuréesOn trouve énormément de données sur internet. Une partie de ces données sont publiques, par exemple le site data.gouv.fr récence un grand nombre de données publiques. À faire vous-même 1Afin de découvrir ce qu’est « l’open data », allez sur le site data.gouv.fr. À faire vous-même 2Explorez pendant quelques minutes le site data.gouv.fr. Recherchez les données « Opérations coordonnées par les CROSS » Vous pouvez constater que ces données sont au format csv. Le format csv est très courant sur internet, nous allons l’étudier en premier. Voici ce que nous dit Wikipédia sur le format CSV : Comma-separated values, connu sous le sigle CSV, est un format informatique ouvert représentant des données tabulaires sous forme de valeurs séparées par des virgules. Un fichier CSV est un fichier texte, par opposition aux formats dits « binaires ». Voici un exemple du contenu d’un fichier CSV :
Je pense qu’il est évident pour vous que nous avons ici 3 personnes :
« nom », « prenom » et « date_naissance » sont appelés des descripteurs. À faire vous-même 3Donnez les différentes valeurs du descripteur « date_naissance » ATTENTION : La virgule est un standard pour les données anglo-saxonnes, mais pas pour les données aux normes françaises. Les tableurs, tels que « Calc » (Libre Office), sont normalement capables de lire les fichiers au format CSV. À faire vous-même 4Après avoir téléchargé le fichier ident_pointVirgule.csv, ouvrez ce dernier à l’aide d’un tableur. Si par hasard votre tableur ne gère pas correctement le fichier avec le séparateur « point-virgule », voici une version « séparateur virgule » du fichier : ident_virgule.csv Dans la suite, gardez toujours cet éventuel problème à l’esprit (surtout avec des données « made in France ») Vous devriez obtenir ceci : Vous pouvez constater que les données sont bien « rangées » dans un tableau avec des lignes et des colonnes (voilà pourquoi on parle de données tabulaires). Il est possible de trouver sur le web des données beaucoup plus intéressantes à traiter que celles contenues dans le fichier « ident_pointVirgule.csv » (ou « ident_virgule.csv »). À faire vous-même 5Ouvrez le fichier ville_point_virgule.csv à l’aide d’un tableur (c’est une version légèrement modifiée de celle disponible sur le site sql.sh, j’y ai notamment ajouté des entêtes). Comme vous pouvez le constater, nous avons 12 colonnes (et 36700 lignes si on ne compte pas l’entête !), voici la signification de ces colonnes :
À faire vous-même 6En vous aidant du fichier ouvert dans le « À faire vous-même 4 », déterminez l’altitude maximale et l’altitude minimale de votre commune. Autre format de données très courant sur le « web », le JSON (JavaScript Object Notation). Un « objet » est encadré par des accolades :
souvent, pour une question de lisibilité, on écrira :
Un fichier au format JSON peut regrouper un grand nombre d’objets :
Ci-dessus, nous avons une liste (délimité par [ ]) contenant des objets. La « valeur » d’une paire « clé/valeur » peut être une liste :
ou même un autre objet :
Comme vous pouvez le constater, il est possible d’obtenir des structures de données très complexes avec le format JSON. À faire vous-même 7Téléchargez le fichier ident.json et ouvrez-le à l’aide d’un éditeur de texte. De nombreux sites web proposent des services basés sur des API (Application Programming Interface). Nous allons illustrer ce propos en utilisant l’API d’un site qui fournit des informations météo au format JSON. Vous trouverez ce site à l’adresse suivante : openweathermap.org/api Pour profiter de ce service, il est nécessaire d’obtenir une clé (API key). Cette clé vous sera fournie par votre enseignant. À faire vous-même 8Ouvrez votre navigateur préféré et copiez-collez l’url suivante dans la barre d’adresse du navigateur :
ATTENTION : il faut remplacer les « X » par la clé (API key) qui vous aura été fournie Au lieu d’obtenir, comme d’habitude, une page web, vous devriez obtenir uniquement quelque chose qui ressemblera à ceci :
Comme les données sont réactualisées relativement souvent, vous n’obtiendrez pas la même chose que moi ! Avec une simple url, le site open weather renvoie des informations météo sous forme de données JSON. Détaillons l’url :
Cette partie de l’url ne changera pas (sauf si vous désirez autre chose que les conditions météo actuelles, à ce moment-là, il faudra remplacer « weather » par autre chose
À partir du point d’interrogation, vous devez renseigner les différents paramètres qui permettront à open weather de vous renvoyer les bonnes informations.
Il est possible de construire des requêtes beaucoup plus complexes, encore une fois, veuillez consulter le site open weather pour plus d’informations. Intéressons-nous maintenant aux données JSON renvoyées (nous n’allons pas tout détailler) :
Dernier format de données que nous verrons aujourd’hui le geoJSON.
Comme indiqué dans Wikipédia, le geoJSON est avant tout du JSON, nous retrouverons donc les mêmes caractéristiques que le JSON (système de clé/valeur). À faire vous-même 9Dans la barre d’adresse de votre navigateur, tapez l’adresse suivante :
Vous avez obtenu des informations au format geoJSON, sur les tremblements de Terre ayant eu lieu entre le 31 juillet 2019 et le 01 août 2019, partout dans le monde. Le site « earthquake.usgs.gov », comme le site « http://openweathermap.org/ », propose une API qui renvoie des données à partir d’une simple url. Le site vous propose différentes options pour la requête, vous trouverez une description complète de ces options ici Attention, vous aurez un message d’erreur si votre requête renvoie plus de 20000 événements À faire vous-même 10En vous aidant de la documentation présente sur le site http://earthquake.usgs.gov, écrivez une requête sous forme d’url qui permettra d’obtenir des données (au format geoJSON) sur les tremblements de terre, d’une magnitude supérieure à 5, ayant eu lieu ces 30 derniers jours partout dans le monde. Testez votre requête en la copiant dans la barre d’adresse de votre navigateur. Une fois les données obtenues, étudiez-les afin de comprendre la structure de ces données. ATTENTION : les dates et les heures sont fournies au format « timestamp ». Le « timestamp » désigne le nombre de secondes écoulé depuis le 1er janvier 1970 à minuit UTC précise. Au lieu de donner une date et une heure pour un événement donné, il est possible de donner son « timestamp ». Par exemple, au lieu de dire l’événement A à eu lieu le 24 octobre 2018 à 13h 11 minutes et 10 secondes, on pourra dire que l’événement A à pour « timestamp » 1540379470 (durée qui s’est écoulé en seconde entre le 1er janvier 1970 à minuit UTC et le 24 octobre 2018 à 13h 11 minutes et 10 secondes). Vous trouverez un convertisseur de timestamp sur ce site. Attention, dans le JSON renvoyé par le site « earthquake.usgs.gov » le timestamp est donné en milliseconde, il est donc nécessaire de diviser par 1000 la valeur que vous allez trouver dans le JSON (et garder uniquement la partie entière du résultat de votre division).
Date de création : 10/01/2021 14:37
Dernière modification : 10/01/2021 14:37 Catégorie : - Les données Page lue 2918 fois |
SECONDE - SNT
SCIENCES & LABO
COURS DU SUPERIEUR
KHOLLES MPSI
AUTRES SITES
|