La typologie des données conditionne chaque décision méthodologique en analyse de données, du choix de l’algorithme au prétraitement. Confondre une variable ordinale avec une variable nominale, ou traiter une donnée semi-structurée comme du tabulaire, fausse les résultats bien avant l’étape de modélisation.
Données d’entraînement, de validation et de test : une séparation que l’analyse classique néglige
La plupart des guides sur les types de données se limitent aux catégories statistiques (quantitatives, qualitatives) ou aux niveaux d’analyse (descriptive, prédictive). Nous observons pourtant qu’une distinction opérationnelle est devenue déterminante avec la montée du machine learning : la séparation entre jeux d’entraînement, de validation et de test.
A découvrir également : Pourquoi activer la virtualisation ?
Le jeu d’entraînement sert à construire le modèle. Le jeu de validation permet d’ajuster ses hyperparamètres sans contaminer l’évaluation finale. Le jeu de test mesure la performance réelle sur des données jamais vues pendant l’apprentissage.
Cette séparation n’est pas qu’une bonne pratique. Le règlement européen sur l’intelligence artificielle impose, pour les systèmes d’IA à haut risque, des exigences distinctes pour chacun de ces trois ensembles, couvrant leur origine, leur représentativité et la détection de biais. Mélanger ces jeux revient à confondre performance apparente et performance réelle, un piège classique qui invalide des mois de travail.
Lire également : Comment mettre la luminosité plus forte ?
Données quantitatives et qualitatives en statistiques : au-delà de la dichotomie scolaire
La distinction entre données quantitatives et données qualitatives reste le socle de toute analyse statistique. Nous recommandons toutefois de ne pas s’arrêter à cette dichotomie binaire : les sous-catégories déterminent les méthodes applicables.
Variables quantitatives : discrètes et continues
Une variable discrète prend des valeurs entières dénombrables (nombre de commandes, nombre d’incidents). Une variable continue accepte toute valeur dans un intervalle (température, chiffre d’affaires). La différence a un impact direct : un test de Poisson s’applique aux données discrètes, un test de Student aux continues.
Variables qualitatives : nominales et ordinales
Une variable nominale classe sans hiérarchie (couleur, pays, catégorie produit). Une variable ordinale introduit un ordre (niveau de satisfaction, tranche d’âge). Encoder une variable ordinale en one-hot encoding, comme on le ferait pour une nominale, détruit l’information de rang. C’est une erreur fréquente dans les pipelines de data science.
- Nominale : aucun ordre entre les modalités, encodage par indicatrices ou target encoding
- Ordinale : ordre défini entre les modalités, encodage numérique séquentiel ou utilisation de modèles capables de capturer le rang
- Discrète : valeurs entières, distributions de comptage (Poisson, binomiale négative)
- Continue : valeurs réelles, distributions gaussiennes ou non paramétriques selon le cas
Données structurées, semi-structurées et non structurées : impact sur le pipeline d’analyse
Cette classification porte sur le format de stockage, pas sur la nature statistique de la variable. Elle détermine les outils et le temps de prétraitement nécessaires.
Les données structurées se logent dans des tables relationnelles avec un schéma fixe. Les requêtes SQL suffisent aux interroger. Les données semi-structurées (JSON, XML, logs serveur) possèdent des balises ou des clés, mais leur schéma varie d’un enregistrement à l’autre. Les données non structurées (texte libre, images, audio) nécessitent des étapes de transformation lourdes avant toute analyse.
En entreprise, la majorité des données générées sont non structurées. Les e-mails, les documents PDF, les enregistrements vocaux du service client constituent un gisement d’informations que l’analyse descriptive classique ne peut pas exploiter sans traitement NLP ou computer vision.
Données synthétiques : une catégorie opérationnelle récente
Les données synthétiques sont générées algorithmiquement pour reproduire les propriétés statistiques d’un jeu de données réel. Elles répondent à deux contraintes concrètes : la confidentialité (éviter d’exposer des données personnelles) et le déséquilibre de classes (augmenter artificiellement les cas rares dans un jeu d’entraînement).
Leur usage pose un problème méthodologique précis. Des données synthétiques mal calibrées amplifient les biais du jeu source au lieu de les corriger. La validation par des métriques de fidélité statistique (distribution marginale, corrélations inter-variables) est un prérequis, pas une option.
Qualité et traçabilité des données : ce que le règlement européen sur l’IA change pour l’analyse
Définir un type de données par son format ou son échelle de mesure ne suffit plus. Le règlement européen sur l’intelligence artificielle introduit une dimension supplémentaire : la qualité documentée.
Pour les systèmes d’IA à haut risque, la réglementation exige une gouvernance couvrant l’origine des données, les procédures de nettoyage, l’annotation, la représentativité, les biais identifiés et les lacunes documentées. Concrètement, cela signifie que deux jeux de données du même type statistique (par exemple deux tables de données quantitatives continues) n’ont pas la même valeur analytique si l’un dispose d’une traçabilité complète et l’autre non.
- Origine : provenance documentée (capteur, formulaire, scraping, base tierce)
- Nettoyage : procédures de détection d’anomalies, de gestion des valeurs manquantes et de déduplication
- Annotation : protocole, nombre d’annotateurs, taux d’accord inter-annotateurs
- Représentativité : couverture des sous-populations pertinentes, absence de biais de sélection
Nous observons que cette exigence réglementaire pousse les équipes data à intégrer la documentation des données dès la collecte, et non en fin de projet comme c’était la norme.
Méthode d’analyse et type de données : les correspondances qui comptent
Chaque type de données appelle des méthodes d’analyse spécifiques. L’analyse descriptive traite aussi bien du quantitatif que du qualitatif, mais les indicateurs diffèrent : moyennes et écarts-types pour le quantitatif, fréquences et tableaux de contingence pour le qualitatif. L’analyse prédictive repose sur des modèles de régression pour les variables continues, de classification pour les variables catégorielles.
L’analyse prescriptive combine données historiques et modèles d’optimisation pour recommander une action. Elle suppose des données de qualité suffisante sur les résultats passés et les contraintes opérationnelles, ce qui exclut de facto les jeux de données mal documentés.
Le choix de la méthode n’est jamais neutre. Appliquer une régression linéaire à des données ordinales traitées comme continues produit des coefficients interprétables mais biaisés. Appliquer un réseau de neurones à un jeu de données structuré de quelques centaines de lignes relève du surapprentissage garanti. Le type de données dicte la méthode, pas l’inverse.
