Qu'est-ce que l'analyse de données ?
L’analyse de données consiste à examiner un jeu de données pour en trouver la structure, les variables qui comptent et les valeurs qui ne correspondent pas.
Le NIST e-Handbook of Statistical Methods décrit l’analyse exploratoire des données comme une approche de ce travail. Elle utilise surtout des méthodes graphiques. Ses objectifs sont de montrer la structure des données, de trouver les variables importantes, de détecter les valeurs aberrantes et les anomalies, de tester les hypothèses et de construire des modèles simples.
Les étapes
Le NIST compare les approches selon l’ordre de leurs étapes.
- Analyse classique : Problème, Données, Modèle, Analyse, Conclusions. L’analyste impose un modèle avant l’analyse.
- Analyse exploratoire : Problème, Données, Analyse, Modèle, Conclusions. L’analyste examine d’abord les données et laisse celles-ci suggérer le modèle.
- Analyse bayésienne : la même que l’analyse classique, avec une distribution a priori ajoutée avant l’analyse.
En pratique, le travail va et vient. Une passe type collecte les données, vérifie les erreurs, les résume, les représente graphiquement, ajuste un modèle et présente le résultat avec ses limites. Voir qualité des données pour les contrôles à effectuer avant l’analyse.
Termes de base
OpenStax définit les mots par lesquels commence la plupart des analyses.
- Une population est un ensemble de personnes, de choses ou d’objets étudiés.
- Un échantillon est une partie, ou un sous-ensemble, de la population plus large.
- Un paramètre est une caractéristique numérique de la population entière.
- Une statistique est un nombre qui représente une propriété de l’échantillon.
OpenStax répartit la statistique en deux groupes. Organiser et résumer les données relève de la statistique descriptive. Les méthodes formelles qui permettent de tirer des conclusions sur une population relèvent de la statistique inférentielle. Voir analyse statistique pour en savoir plus.
Mesures descriptives
Les mesures descriptives indiquent où se situent les données et leur degré de dispersion.
- Moyenne. Additionnez les N valeurs et divisez par N.
- Médiane. Triez les valeurs. La médiane est la valeur du milieu, ou la moyenne des deux valeurs du milieu lorsque N est pair.
- Quartiles. Ils divisent les données ordonnées en quatre parties égales. Le deuxième quartile est la médiane.
- Écart-type. Il mesure l’écart des valeurs des données par rapport à leur moyenne.
L’écart-type d’un échantillon est s = racine carrée de [somme de (x moins la moyenne) au carré, divisée par (n moins 1)]. Le dénominateur est n moins 1 pour un échantillon. Voir écart-type et variance .
Exemple détaillé
Prenez cinq mesures : 4, 6, 8, 10 et 12.
- La moyenne est (4 + 6 + 8 + 10 + 12) / 5 = 8.
- Les écarts à la moyenne sont -4, -2, 0, 2 et 4. Leurs carrés valent 16, 4, 0, 4 et 16.
- La somme des carrés est 40. Divisez par n moins 1, soit 4, pour obtenir une variance de 10.
- L’écart-type de l’échantillon est la racine carrée de 10, soit environ 3,16.
Pour des données symétriques en forme de cloche, environ 68 % des valeurs se situent à moins d’un écart-type de la moyenne. Environ 95 % se situent à moins de deux écarts-types.
Valeurs aberrantes
Le NIST définit une valeur aberrante comme une observation située à une distance anormale des autres valeurs d’un échantillon. Un diagramme en boîte fournit une règle pour la repérer. Déterminez le premier quartile (Q1), le troisième quartile (Q3) et l’écart interquartile (EIQ = Q3 moins Q1).
- Un point au-delà des limites intérieures, Q1 moins 1,5 EIQ ou Q3 plus 1,5 EIQ, est une valeur aberrante modérée.
- Un point au-delà des limites extérieures, Q1 moins 3 EIQ ou Q3 plus 3 EIQ, est une valeur aberrante extrême.
Par exemple, avec Q1 = 10 et Q3 = 20, l’EIQ vaut 10. Les limites intérieures sont -5 et 35. Une valeur de 40 est une valeur aberrante modérée. La limite extérieure est 50, donc 40 n’est pas extrême.
Le test de Grubbs est la recommandation du NIST pour une seule valeur aberrante. Il suppose des données à peu près normales. Vérifiez donc d’abord un graphique de probabilité normale. Ne répétez pas un test d’une seule valeur aberrante pour en chercher plusieurs, car le masquage peut les dissimuler.
Examinez une valeur aberrante avant de la retirer. Le NIST indique qu’elle peut être une donnée erronée, que vous pouvez corriger ou retirer. Elle peut aussi être une variation aléatoire ou un phénomène scientifiquement intéressant.
Échantillonnage
La plupart des jeux de données sont des échantillons. Dans un échantillon aléatoire, chaque membre de la population a une chance égale d’être sélectionné. OpenStax présente trois plans courants.
- Stratifié : divisez la population en groupes et prélevez dans chacun un nombre proportionnel.
- En grappes : divisez la population en grappes et sélectionnez-en quelques-unes au hasard.
- Systématique : choisissez un point de départ au hasard et prenez chaque n-ième élément d’une liste.
Un biais d’échantillonnage survient lorsque certains membres ont moins de chances d’être choisis que d’autres. Les erreurs hors échantillonnage proviennent d’autres causes, comme un instrument de comptage défectueux. Voir échantillonnage .
Transformation des données
De nombreuses méthodes supposent que les données suivent une loi normale. Une transformation remplace chaque valeur par une fonction de cette valeur. Le NIST décrit la transformation de Box-Cox, qui peut souvent faire suivre à un jeu de données non normal une loi normale. Un lambda égal à 0 signifie que l’on prend le logarithme. Le meilleur lambda est celui qui a la corrélation la plus élevée sur le graphique de normalité de Box-Cox.
Erreurs courantes
- Retirer une valeur aberrante sans en chercher la cause.
- Utiliser un test qui suppose une loi normale sur des données qui ne sont pas normales.
- Diviser par n au lieu de n moins 1 pour un écart-type d’échantillon.
- Tirer une conclusion sur une population à partir d’un échantillon de commodité, qui se compose des résultats les plus faciles à obtenir.
L’analyse de données sur un aérodrome
Les documents ci-dessous mentionnent l’analyse de données ou l’analyse statistique pour des tâches précises. Ils ne définissent pas l’analyse de données comme sujet.
- Formation à la sécurité. Le matériel d’orientation de l’EASA indique que la formation des superviseurs et des gestionnaires devrait comprendre l’analyse des données de sécurité (GM1 ADR.OR.D.005(b)(8)).
- Données aéronautiques. Lors de la validation par échantillonnage, un échantillon représentatif de données est évalué. L’analyse statistique permet ensuite de déterminer le niveau de confiance dans la qualité des données (GM1 ADR.OPS.A.035).
- Orientation de piste. Une analyse des données de vent prend en compte la vitesse et la direction du vent pour les opérations existantes et prévues (FAA AC 150/5300-13B, paragraphe 3.4.3 et annexe B).
- Construction de chaussée. Le plan d’essais de contrôle qualité de l’entrepreneur repose sur un échantillonnage aléatoire fondé sur la statistique (AC 150/5370-10H, section 100-8). Pour la réception par pourcentage dans les limites (PWL), les résultats d’essai d’un lot font l’objet d’une analyse statistique (section 110-1).
Termes associés
Voir analyse statistique , écart-type , échantillonnage et analyse de régression .
Foire aux questions
- Qu'est-ce que l'analyse de données ?
- L'analyse de données consiste à examiner un jeu de données pour en trouver la structure, les variables qui comptent et les valeurs qui ne correspondent pas. Le NIST e-Handbook of Statistical Methods décrit l'analyse exploratoire des données comme une approche qui utilise surtout des méthodes graphiques pour ce travail.
- Quelles sont les étapes d'une analyse de données ?
- Énoncez le problème, recueillez les données, examinez-les, construisez un modèle et tirez des conclusions. Le NIST donne l'ordre Problème, Données, Analyse, Modèle, Conclusions pour l'analyse exploratoire. L'analyse classique ajuste un modèle avant d'analyser les données.
- Quelle est la différence entre la statistique descriptive et la statistique inférentielle ?
- La statistique descriptive organise et résume les données dont vous disposez. La statistique inférentielle regroupe les méthodes formelles qui utilisent un échantillon pour tirer des conclusions sur une population. OpenStax donne les deux définitions.
- Qu'est-ce qu'une valeur aberrante et faut-il la supprimer ?
- Une valeur aberrante est une observation située à une distance anormale des autres valeurs. Ne la supprimez pas tout de suite. Le NIST indique qu'elle peut être une donnée erronée, une variation aléatoire ou un phénomène scientifiquement intéressant, donc examinez-la d'abord.
- Comment calculer l'écart-type d'un échantillon ?
- Calculez la moyenne, élevez au carré chaque écart à la moyenne, additionnez les carrés, divisez par n moins 1 et prenez la racine carrée. OpenStax donne cette formule sous la forme s = racine carrée de la somme de (x moins la moyenne) au carré, divisée par (n moins 1).
- Qu'est-ce que la transformation des données ?
- La transformation des données remplace chaque valeur par une fonction de cette valeur, comme le logarithme, afin que les données respectent les hypothèses d'une méthode. Le NIST décrit la transformation de Box-Cox, qui peut souvent faire suivre à des données non normales une loi normale.
- Le règlement EASA exige-t-il une analyse de données sur un aérodrome ?
- Aucune règle des Easy Access Rules for Aerodromes ne l'exige comme tâche. Le matériel d'orientation de l'EASA indique que la formation des superviseurs et des gestionnaires devrait comprendre l'analyse des données de sécurité. Le matériel d'orientation n'est pas une exigence.
- Comment la statistique sert-elle à accepter un matériau de chaussée ?
- La circulaire FAA AC 150/5370-10H utilise la méthode du pourcentage dans les limites (PWL). Les résultats d'essai d'un lot font l'objet d'une analyse statistique pour estimer le pourcentage du lot qui se situe dans les limites de spécification. La méthode PWL utilise la moyenne de l'échantillon et l'écart-type de l'échantillon.
Références
- nist-eda-1-1-1
- NIST/SEMATECH e-Handbook of Statistical Methods, 1.1.1 What is EDA? NIST
- nist-eda-1-1-2
- NIST/SEMATECH e-Handbook of Statistical Methods, 1.1.2 How Does Exploratory Data Analysis differ from Classical Data Analysis? NIST
- nist-eda-outliers
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.6 What are outliers in the data? NIST
- nist-eda-grubbs
- NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.5.17 Detection of Outliers NIST
- nist-eda-location
- NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.5.1 Measures of Location NIST
- openstax-stat-1-1
- Introductory Statistics 2e, 1.1 Definitions of Statistics, Probability, and Key Terms OpenStax
- openstax-stat-1-2
- Introductory Statistics 2e, 1.2 Data, Sampling, and Variation in Data and Sampling OpenStax
- openstax-stat-2-3
- Introductory Statistics 2e, 2.3 Measures of the Location of the Data OpenStax
- openstax-stat-2-7
- Introductory Statistics 2e, 2.7 Measures of the Spread of the Data OpenStax
- easa-ear-aerodromes
- Easy Access Rules for Aerodromes (Regulation (EU) No 139/2014) EASA
- faa-ac-150-5300-13b
- AC 150/5300-13B, Airport Design FAA
- faa-ac-150-5370-10h
- AC 150/5370-10H, Standard Specifications for Construction of Airports FAA
Ceci est une entrée de référence. TarmacView fournit des services d'inspection par drone et ne vend pas l'équipement ou les matériaux décrits dans ce glossaire.