Nous avons \u00e9videmment entendu plusieurs blogs nous dire que 50% des donn\u00e9es mondiales sont collect\u00e9es au cours des deux ou trois derni\u00e8res ann\u00e9es. Les donn\u00e9es ne manquent donc pas. Mais, est-ce qu'il suffit d'avoir des donn\u00e9es ? Les donn\u00e9es dans leur forme originale sont-elles utiles telles quelles ? Le dumping de toutes les donn\u00e9es en un seul endroit est-il suffisant pour nous aider dans nos d\u00e9cisions commerciales ou nos tendances ? Et bien non!<\/p>\n\n\n\n
Qu'est-ce qu'ETL et comment \u00e7a marche ?<\/h3>\n\n\n\n
Les donn\u00e9es doivent subir un processus avant d'\u00eatre consid\u00e9r\u00e9es comme utilisables. Par exemple, Or !! Certes, on ne peut pas porter des roches dor\u00e9es telles quelles. Nous devrons<\/p>\n\n\n\n
- Extraire <\/strong>les particules d'or des roches. Cela peut provenir d'une mine ou d'une rivi\u00e8re, sous n'importe quelle forme.<\/li>
- L'or extrait est fondu, les impuret\u00e9s sont \u00e9limin\u00e9es, il est fabriqu\u00e9 selon un format standard approuv\u00e9, c'est-\u00e0-dire Transformer<\/strong><\/li>
- Enfin, il peut \u00eatre transform\u00e9 en(CHARGER<\/strong>) une alliance ou une ceinture WWE !<\/li><\/ul>\n\n\n\n
Donc, d\u00e9placer de l'or (lisez-le comme des donn\u00e9es : P), entre diff\u00e9rentes parties du syst\u00e8me s'appelle l'ETL<\/strong>.<\/p>\n\n\n\n
ETL est le processus par lequel les donn\u00e9es sont extraites de diverses sources sous leurs diverses formes, transform\u00e9es pour \u00e9liminer les incoh\u00e9rences et am\u00e9liorer la norme des donn\u00e9es, puis charg\u00e9es dans un endroit cible, \u00e0 partir duquel des donn\u00e9es propres peuvent \u00eatre utilis\u00e9es pour analyser, exp\u00e9rimenter, visualiser et pr\u00e9dire les donn\u00e9es.<\/em><\/p>\n\n\n\n
![\"\"](\"http:\/\/akyalab.com\/wp-content\/uploads\/2022\/03\/ETL-e1563879776366.jpg\")
<\/figure>\n\n\n\nExtraire<\/h3>\n\n\n\n
Tr\u00e8s peu d'entreprises s'appuient sur un seul type de donn\u00e9es ou de syst\u00e8me. Dans la plupart des cas, les donn\u00e9es sont g\u00e9r\u00e9es \u00e0 partir de plusieurs sources et divers outils d'analyse de donn\u00e9es sont utilis\u00e9s pour g\u00e9n\u00e9rer des informations commerciales. Les sources de donn\u00e9es les plus couramment utilis\u00e9es sont les bases de donn\u00e9es (DB), les fichiers plats, les services Web, d'autres sources telles que les flux RSS, etc. Pour que ces strat\u00e9gies de donn\u00e9es complexes fonctionnent, les donn\u00e9es doivent pouvoir se d\u00e9placer librement entre les syst\u00e8mes et les applications.<\/p>\n\n\n\n
Dans la premi\u00e8re phase du processus ETL, les donn\u00e9es structur\u00e9es et non structur\u00e9es sont import\u00e9es et int\u00e9gr\u00e9es dans un r\u00e9f\u00e9rentiel unique. Les donn\u00e9es brutes peuvent \u00eatre extraites d'un \u00e9ventail de sources et d\u00e9plac\u00e9es vers la zone de pr\u00e9paration.<\/p>\n\n\n\n
Une zone de transit ou zone d'atterrissage est une zone de stockage interm\u00e9diaire utilis\u00e9e pour le traitement des donn\u00e9es pendant le processus d'extraction, de transformation et de chargement (ETL). La zone de transit est utilis\u00e9e pour valider les donn\u00e9es extraites avant de les transf\u00e9rer vers le syst\u00e8me cible, la base de donn\u00e9es ou l'entrep\u00f4t de donn\u00e9es.<\/em><\/p>\n\n\n\n
Transformer<\/h3>\n\n\n\n
Apr\u00e8s l'extraction r\u00e9ussie des donn\u00e9es, elles passent \u00e0 l'\u00e9tape suivante, la transformation. Pour assurer la qualit\u00e9 et l'accessibilit\u00e9 des donn\u00e9es, pour faciliter une interrogation efficace, les donn\u00e9es sont transform\u00e9es. C'est l'une des \u00e9tapes les plus importantes du processus ETL. La raison en est que ce que nous alimentons est ce que nous retirons ! Si nous alimentons des donn\u00e9es erron\u00e9es et incompl\u00e8tes, cela entra\u00eenerait de mauvaises informations, une analyse incorrecte, et tout le cas d'utilisation se r\u00e9sumerait \u00e0 un \u00e9chec.<\/p>\n\n\n\n
Cette \u00e9tape implique,<\/p>\n\n\n\n
- Nettoyage : r\u00e9sout les incoh\u00e9rences de donn\u00e9es et les valeurs manquantes.<\/li>
- Normalisation : les r\u00e8gles de formatage sont appliqu\u00e9es \u00e0 l'ensemble de donn\u00e9es.<\/li>
- D\u00e9duplication : les donn\u00e9es redondantes sont exclues ou supprim\u00e9es.<\/li>
- V\u00e9rification : Les donn\u00e9es inutilisables sont supprim\u00e9es et les anomalies sont signal\u00e9es.<\/li>
- Trier : Les donn\u00e9es sont tri\u00e9es par type.<\/li><\/ul>\n\n\n\n
Certaines autres techniques de transformation incluent la d\u00e9rivation, le filtrage, le fractionnement, la jonction, la synth\u00e8se, l'agr\u00e9gation et la validation des donn\u00e9es. Les donn\u00e9es sont transform\u00e9es en un format utilisable et stock\u00e9es sous une forme d\u00e9normalis\u00e9e \u00e0 l'aide d'un ou plusieurs mod\u00e8les de table dans Data Warehouse.<\/p>\n\n\n\n
Charger<\/h3>\n\n\n\n
This is the final part of our ETL process. This involves migrating the data to the final destination. It could be a data warehouse or database on-premise or on the cloud. This data can be refreshed automatically when new data is extracted and transformed. This neat and organized data is further used by business analysts for visualization and exploration, by data scientists for experimentation and prediction, or other end users.<\/p>\n\n\n\n
Cas d'utilisation ETL<\/h3>\n\n\n\n
Chaque organisation utilise ETL pour g\u00e9rer les donn\u00e9es, les traiter et les rendre exploitables - \u00e0 utiliser par les parties prenantes, les analystes, les scientifiques, etc. Nous devons utiliser ETL lorsque nous devons,<\/p>\n\n\n\n
Migrer les donn\u00e9es<\/h3>\n\n\n\n
Avec l'av\u00e8nement de technologies nouvelles et avanc\u00e9es, les organisations passent de syst\u00e8mes h\u00e9rit\u00e9s \u00e0 des syst\u00e8mes plus r\u00e9cents. Cela n\u00e9cessite une migration des donn\u00e9es. Cela implique de transformer les donn\u00e9es dans le nouveau format et de les migrer vers la destination.<\/p>\n\n\n\n
Entreposage de donn\u00e9es<\/h3>\n\n\n\n
Un entrep\u00f4t de donn\u00e9es est une base de donn\u00e9es d\u00e9normalis\u00e9e dans laquelle toutes les donn\u00e9es extraites et transform\u00e9es sont charg\u00e9es. Ce r\u00e9f\u00e9rentiel de donn\u00e9es est interrog\u00e9 \u00e0 de nombreuses fins.<\/p>\n\n\n\n
![\"\"](\"http:\/\/akyalab.com\/wp-content\/uploads\/2022\/03\/data-warehousing1-1024x505-1.webp\")
<\/figure>\n\n\n\nInt\u00e9gration de donn\u00e9es<\/h3>\n\n\n\n
Que ce soit pour le marketing ou pour l'IoT, ETL est utilis\u00e9 pour collecter des donn\u00e9es \u00e0 partir de r\u00e9seaux sociaux, d'analyses Web, d'appareils, de capteurs, etc., et le tout en un seul endroit pour l'analyse de march\u00e9, l'int\u00e9gration de donn\u00e9es IoT et d'autres int\u00e9grations.<\/p>\n\n\n\n
R\u00e9plication de base de donn\u00e9es<\/h3>\n\n\n\n
Les donn\u00e9es sont d\u00e9plac\u00e9es \u00e0 partir de bases de donn\u00e9es sources telles que Microsoft SQL Server, Cloud SQL pour PostgreSQL, MongoDB ou autres et copi\u00e9es dans un entrep\u00f4t de donn\u00e9es. ETL peut \u00eatre utilis\u00e9 pour r\u00e9pliquer les donn\u00e9es pour cette op\u00e9ration ponctuelle ou un processus en cours.<\/p>\n\n\n\n
Machine Learning et L'intelligence Artificielle<\/h3>\n\n\n\n
Dans le cas d'utilisation le plus important, le syst\u00e8me apprend des donn\u00e9es \u00e0 l'aide de techniques d'intelligence artificielle. Les donn\u00e9es collect\u00e9es peuvent \u00eatre utilis\u00e9es \u00e0 des fins d'apprentissage automatique.<\/p>\n\n\n\n
ELT et ETL<\/h3>\n\n\n\n
En parlant de ML, les scientifiques et les analystes des donn\u00e9es pr\u00e9f\u00e8rent d'abord charger toutes les donn\u00e9es, puis, sur la base des donn\u00e9es brutes, tracer le processus de transformation des donn\u00e9es en fonction des besoins et de la recherche du cas d'utilisation \u00e0 port\u00e9e de main. En bref, les donn\u00e9es brutes seraient d'abord extraites, charg\u00e9es, puis transform\u00e9es. Ce processus est appel\u00e9 Extract, Load, and Transform(ELT).<\/strong><\/p>\n\n\n\n
![\"\"](\"http:\/\/akyalab.com\/wp-content\/uploads\/2022\/03\/microservices-etl_vs_elt_mobile.png\")
<\/figure><\/div>\n\n\n\nETL n\u00e9cessite l'ex\u00e9cution d'un processus de transformation avant le chargement dans le syst\u00e8me cible. Avec ELT, le syst\u00e8me cible est utilis\u00e9 comme lieu d'ex\u00e9cution des processus de transformation. Des cas d'utilisation complexes appliquent l'ELT o\u00f9 Data Lake est utilis\u00e9 comme r\u00e9f\u00e9rentiel pour stocker un vaste volume de donn\u00e9es brutes.<\/p>\n\n\n\n
Alors que Data Warehouse stocke des donn\u00e9es structur\u00e9es et filtr\u00e9es, Data Lake stocke des donn\u00e9es non filtr\u00e9es et h\u00e9t\u00e9rog\u00e8nes telles quelles. L'ELT donne aux organisations la flexibilit\u00e9 de transformer les donn\u00e9es brutes \u00e0 tout moment, quand et comme n\u00e9cessaire pour un cas d'utilisation, et n'a pas \u00e0 se soucier de la transformation en tant qu'\u00e9tape dans un pipeline de donn\u00e9es.<\/p>\n\n\n\n
Outils de pipeline ETL<\/h3>\n\n\n\n
Les donn\u00e9es sont au c\u0153ur d'une organisation, et ETL joue un r\u00f4le important pour les maintenir \u00e0 jour. Nous sommes confront\u00e9s \u00e0 deux options pour effectuer l'ETL. Nous pouvons r\u00e9aliser la magie d'ETL en utilisant deux m\u00e9thodes, la premi\u00e8re est le script. c'est-\u00e0-dire, construire nos propres outils ETL \u00e0 partir de z\u00e9ro en utilisant un langage de programmation et l'autre utilise des outils ETL d\u00e9j\u00e0 construits.<\/p>\n\n\n\n
![\"\"](\"http:\/\/akyalab.com\/wp-content\/uploads\/2022\/03\/0-vw4GNbYpNgP8k29F.jpeg\")
ETL Tools<\/figcaption><\/figure><\/div>\n\n\n\n \"Data is the new gold!<\/em>ils disent. Les donn\u00e9es sont n\u00e9cessaires \u00e0 la demande, facilement et rapidement dans leur forme la plus propre. Pour faciliter cela, de plus en plus de techniques de transformation sont utilis\u00e9es aujourd'hui. Les entreprises peuvent obtenir des informations, tirer des d\u00e9cisions, effectuer des analyses percutantes en utilisant des donn\u00e9es uniquement apr\u00e8s le processus magique de l'ETL<\/strong>!<\/p>\n\n\n\n
Avant d'utiliser les donn\u00e9es pour cr\u00e9er de beaux tableaux de bord employ\u00e9s, l'\u00e9quipe RH a besoin de donn\u00e9es bien organis\u00e9es, avant qu'un chef ne soit not\u00e9 ; les avis, les \u00e9valuations, les commentaires sont extraits, transform\u00e9s, charg\u00e9s \u00e0 partir d'une source unique de v\u00e9rit\u00e9, pour obtenir la cote de cr\u00e9dit, les donn\u00e9es de toutes les transactions, l'historique des pr\u00eats, le paiement sont combin\u00e9s et analys\u00e9s.<\/p>","protected":false},"excerpt":{"rendered":"
Introduction Vous \u00eates-vous d\u00e9j\u00e0 demand\u00e9 comment votre organisation obtient toutes les informations sur les employ\u00e9s, les salaires et les d\u00e9tails des projets sur un magnifique tableau de bord ? Vous vous demandez comment un Chef obtient toutes ses notes, ses avis consolid\u00e9s en une seule note ? Vous demandez-vous comment vous obtiendrez une cote de cr\u00e9dit bas\u00e9e sur tous vos ant\u00e9c\u00e9dents de cr\u00e9dit r\u00e9unis ? Bien s\u00fbr, [\u2026]<\/p>","protected":false},"author":3,"featured_media":3344,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0},"categories":[94,91],"tags":[],"_links":{"self":[{"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/posts\/3337"}],"collection":[{"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/comments?post=3337"}],"version-history":[{"count":3,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/posts\/3337\/revisions"}],"predecessor-version":[{"id":3374,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/posts\/3337\/revisions\/3374"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/media\/3344"}],"wp:attachment":[{"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/media?parent=3337"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/categories?post=3337"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/akyalab.com\/fr\/wp-json\/wp\/v2\/tags?post=3337"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- L'or extrait est fondu, les impuret\u00e9s sont \u00e9limin\u00e9es, il est fabriqu\u00e9 selon un format standard approuv\u00e9, c'est-\u00e0-dire Transformer<\/strong><\/li>