Styles architecturaux ETL Flashcards

Question

Expliquez le style architectural Extract-Transform-Load.

Answer 1

L'intention derrière le style ETL (extraction, transformation et chargement) est de faire l'interconnection entre plusieurs styles de données ensembles. On prend les données d'un système, souvent patrimonial, pour l'envoyer dans un nouveau système. On agit alors entant qu'intermédiaire qui va adapter les données pour que cela fonctionne entre les deux côtés. L'objectif d'une application de style ETL est d'éviter que deux systèmes indépendants se connaissent. Ainsi ce style veut juste réduire le couplage dans tout le système.

Answer 2

Le processus d'une application ETL est divisé en 3 partie, L'extraction des données que l'on sort d'un système, la transformation dans le bon format pour ensuite faire l'envoi dans le prochain système. L'extraction de données peut être fait selon 2 types de mécanismes, comme pour le patron observeur (pull ou push) . Cependant, c'est le vieux système qui doit informer que le processus doit se déclencher ou par une cron. Dans le cas de la transformation, c'est l'étape qui permet de faire la manipulation des données d'un système vers un autre. C'est l'étape du processus qui contient aussi les manipulations reliées à la logique d'affaire particulière d'un système. On peut voir cette étape comme la raison d'être initiale de l'application d'ETL. L'étape de load est responsable de la communication avec le système destinataire de toutes les transformations. Celui-ci ne contient que très peu de logique autre que la gestion d'erreur qui pourrait subvenir dans le système destinataire.

Answer 3

Le style ETL est souvent utilisé pour permettre de la communication entre des contextes d'affaires différents où ce ne sont pas les mêmes parties prenantes (équipes) qui sont responsables des 2 systèmes. Ainsi, on va élire une des deux parties comme responsable de l'ETL entre les deux. Le plus souvent c'est le système destinataire qui devient le responsable.

Answer 4

Le style pipe & filter est utile pour faire des transformations par étape sur des champs de données. Popularisé avec la manipulation d'image, l'intention est de passer à travers plusieurs filtres de modifications qui s'enchaînent. Comme chacune des étapes de transformation des données est divisée entre les filtres, cela permet une meilleure compréhension et testabilité des manipulations. On peut aussi enlever ou rajouter des étapes en fonction du contexte.

Answer 5

Il y a deux composantes clés dans le style pipe & filter, les pipes et les filtres. Les filtres représentent la logique de traitement des données. Chaque filtre doit avoir une seule responsabilité de traitement dans la chaîne. On peut avoir plusieurs filtres qui s'enchaînent entre eux. Les pipes servent à connecter les filtres entre eux. Ils adaptent les données

Answer 6

Ce style est utilisé dans toutes manipulations de données peu importe le format. Comme chaque étape est indépendante, ce style nous permet aussi d'utiliser le parallélisme dans l'application pour réduire la charge CPU ou même augmenter la vitesse de traitement. On utilise souvent ce style dans le milieu de la vision numérique (nuage de point/image/post-processing sur votre téléphone). Avec l'arrivée du big-data, le pipe & filter a été aussi vu avec le terme MapReduce, pour permettre de modifier les données avant l'ingestion dans le système d'apprentissage machine.

Answer 7

Il s'agit d'un Pipe & Filter qui branch out en diverses branches de filters et qui recombine en un seul output.

Answer 8

Version plus spécifique du Pipe & filter avec une différence majeure, il n'y a pas d'interchangeabilité des filtres. En fait l'intention derrière le data pipeline est de créer une structure plus simple de manipulation de données où les données vont passer toujours à travers les mêmes étapes de transformation. Ainsi, cela simplifie la nécessité d'avoir des pipes intelligentes. Il y a plusieurs façon de faire ce genre de pipeline de données.

Answer 9

- Persister plusieurs fois dans des systèmes différents le même jeu de données - Appliquer des transformations sur l'ensemble des données (logique d'affaire) - Effectuer diverses transactions sur les données (processus par étape)

Answer 10

Style plus simple dans la manipulation de données, le gateway est la version style du patron Adapter. Son intention est d'interfacer l'intéraction avec un autre système ou contexte pour toute une application. Avec le gateway, on centralise la logique de communication à une seule place dans le système. Cela permet alors d'avoir un seul contrat d'utilisation et si le système en amont change, il n'y aura que le gateway à changer. Nous avons ainsi un mécanisme qui nous permet de mocker ou de faire un objet faux avec le système externe.

Answer 11

Le gateway est le seul élément nécessaire à avoir. Il offre alors un contrat (abstraction) permettant de mocker ou d'avoir plusieurs implémentations différentes du système externe. Pour faire fonctionner le gateway, nous allons utiliser deux patrons, le proxy et l'adapter.

Answer 12

Nous allons voir l'utilisation de Gateway pour faire la connexion vers un système. Il se peut que cela soit utilisé même directement dans le même monolithe de l'application. Cependant, ce que l'on voit surtout c'est l'utilisation pour du gateway vers le monde extérieur (réseau, firmware, SO). Nous voyons souvent le gateway ayant deux types de langages (termes d'affaires) de DDD à l'intérieur de l'implémentation. C'est normal, il nous permet de nous protéger d'une contamination des contextes d'affaire externes à notre application.